Instalasi Hadoop


Menggunakan facebook, google, yahoo mungkin hampir tiap hari kita
lakoni. tapi apakah kita tahu bagaimana sistem kerja mereka dalam
menangani jumlah data yang cukup besar. Untuk itulah mereka menggunakan membuat konsep map-reduce dalam pengelolan data mereka. Salah satu program yang menerapkan kosnep map-reduce itu adalah hadoop (dibaca hadup bukan handuk😆 ). Bentuk logo hadoop sangat lucu, sebuah gajah. Mungkin karena yang ditangani data2 besar. halah kok jadi bahas logo, nggak penting banget. Ok, kita mulai instalasi hadoop ya ! Persyaratan supaya hadoop bisa berjalan dengan komputer, anda harus install java dulu.

  1. Download hadoop
  2. ekstrak hadoop tar xzf hadoop-0.20.2.tar.gz
  3. Export JAVA_HOME atau bisa langsung disetting di hadoop-env.sh yang terletak didirektori conf. Contoh : export JAVA_HOME=/usr/lib/jvm/java-6-openjdk/
  4. Setting core-site.xml, mapred-site.xml, atau anda bisa membiarkan saja sesuai dengan yang terinstall.
    core-site.xml
    <?xml version=”1.0″?>
    <?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
    <configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/dir/hadoop-${user.name}</value>
    <description>A base for other temporary directories.</description>
    </property><property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:58887</value>
    <description></description>
    </property>
    </configuration>
    mapred-site.xml
    <?xml version=”1.0″?>
    <?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>localhost:58888</value>
    <description>
    </description>
    </property>
    </configuration>
  5. Sekarang coba test apakah Hadoop udah bisa jalan
    #bin/start-all.sh
  6. Berikut adalah perintah dalam hadoop yang hampir sama dengan perintah command line di Linux
    • bin/hadoop dfs -copyFromLocal direktorilocal direktorihdfs
    • bin/hadoop dfs -ls direktori
    • bin/hadoop dfs -rm
  7. testing sebuah contoh di hadoop
    bin/hadoop jar hadoop-0.20.0-examples.jar wordcount inputfile outputfile
  1. Thanks kaka, Bagus nih Tutorialnya kebetulan lagi baru mau nyoba belajar hadoop..
    klo boleh tau apakah hadoop cuma bisa digunakan dilinux saja?
    trus untuk konsep hadoop itu sendiri lebih seperti RDBMS ex:MySQL atau berbeda?
    maaf banyak nanya cz nubie hehe…

  1. No trackbacks yet.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s