Ngrep Network Traffic
Perintah berikut untuk menangkap perintah SPARQL yang dikirim ke SPARQL Endpoint
ngrep -t -qd any ‘(select|ask|construct|describe)’ host localhost and port 8001 or port 8000 -W byline
code is for fun, not for fund
fund is a plus. fun for your self and society.
Arsip untuk Kategori ‘ Jaringan Komputer ’
[Teori] Loosely Vs Tightly Coupled
Mungkin ada yang bingung membedakan antara loosely coupled dan tightly coupled seperti saya 
Ok, berikut sedikit penjelasan dari saya setalah membaca banyak literatur. In term of software terutama coding, loosely coupled berarti perancangan yang dibuat secara bebas dan merdeka, sehingga mudah diubah dan lebih fleksibel. Sebagai contoh, jika kita buat class dengan deklarasi interface, maka instance atau yang memakai class tersebut dapat dengan bebas menambahi fungsi dan tidak terikat dengan metode dalam class tersebut.
Sedangkan dalam dunia komputasi, loosely coupled berarti sistem dengan lingkungan berbeda begabung bersama dalam memberikan pelayanan tanpa saling tergantung sama lain.
[AWK] Ekstrak Pita Lebar TCPDump
AWK is really awesome script ! almost of my PhD code rely on AWK. At This time, I wanna share my snippet to extract uplink adn downlink bandwith for certain port in localhost. In this case, suppose that we will investigate port 8000, thus I put regex
(.*)8000:$
ok, let’s play TCPDUMP now.
tcpdump -l -i lo port 8000 -nNqttf > tcpdump
Here is the following awk code to parse each line of tcpdump that are stored in tcpdump file
cat tcpdump | awk -F " " '{
if($5 ~ /(.*)8000:$/)
uplink=uplink+$7
else
downlink=downlink+$7
}
END {
print uplink
print downlink
}'
Above code will produce the number of uplink and downlink in bytes.
[hadoop] tidak cocok untuk file kecil
Riset di daerah clustering, ternyata tidak mudah. Berbagai hal harus dipahami, terutama masalah memori. Beberapa hari yang lalu saya menemukan masalah pada hadoop ketika saya harus menyimpan jutaan files berkuran antara beberapa kilo bytes hingga 1 megabytes ke dalam HDFS. By default, Hadoop mengalokasi 64MB untuk setiap file. File dan Blok terkait menjadi sebuah objek, dimana objek tersebut menggunakan namespace. Celakanya kapasitas namespace ini sangat terbatas. Bisa dibayangkan jika file2 terkecil tersebut menghabiskan namespace hampir 100% padahal hanya memakai 20% dari hardisk.
Untuk itulah Hadoop menyediakan solusi dengan menggunakan HAR (Hadoop Archive). HAR ini mirip dengan TAR dan JAR. Fungsinya adalah mengumpulkan file-file menjadi satu file berekstensi .har.
Cara membuat HAR cukup mudah :
hadoop archive -archiveName namafilehar direktorisumber tempatfilehar
contoh :
hadoop archive -archiveName kumpulan.har /home/iin/data/* /home/iin/
Cara mengakses HAR dari program hadoop/cascading
hadoop jar filejava.jar namaClass fileHARname.har output
Info lebih lanjut bisa dibaca di blog developer yahoo
Instalasi Hadoop
Menggunakan facebook, google, yahoo mungkin hampir tiap hari kita
lakoni. tapi apakah kita tahu bagaimana sistem kerja mereka dalam
menangani jumlah data yang cukup besar. Untuk itulah mereka menggunakan membuat konsep map-reduce dalam pengelolan data mereka. Salah satu program yang menerapkan kosnep map-reduce itu adalah hadoop (dibaca hadup bukan handuk 
). Bentuk logo hadoop sangat lucu, sebuah gajah. Mungkin karena yang ditangani data2 besar. halah kok jadi bahas logo, nggak penting banget. Ok, kita mulai instalasi hadoop ya ! Persyaratan supaya hadoop bisa berjalan dengan komputer, anda harus install java dulu.
- Download hadoop
- ekstrak hadoop tar xzf hadoop-0.20.2.tar.gz
- Export JAVA_HOME atau bisa langsung disetting di hadoop-env.sh yang terletak didirektori conf. Contoh : export JAVA_HOME=/usr/lib/jvm/java-6-openjdk/
- Setting core-site.xml, mapred-site.xml, atau anda bisa membiarkan saja sesuai dengan yang terinstall.
core-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/dir/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property><property>
<name>fs.default.name</name>
<value>hdfs://localhost:58887</value>
<description></description>
</property>
</configuration>
mapred-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:58888</value>
<description>
</description>
</property>
</configuration> - Sekarang coba test apakah Hadoop udah bisa jalan
#bin/start-all.sh - Berikut adalah perintah dalam hadoop yang hampir sama dengan perintah command line di Linux
- bin/hadoop dfs -copyFromLocal direktorilocal direktorihdfs
- bin/hadoop dfs -ls direktori
- bin/hadoop dfs -rm
- testing sebuah contoh di hadoop
bin/hadoop jar hadoop-0.20.0-examples.jar wordcount inputfile outputfile
yAnG bAru
kOnEk
Blogroll
pArA kOmEnTaTor
Serba-Serbi
iTuNg2
- 506,135 Ceklik
