hadoop vs ketika cinta bertasbih

Judul nya jaka sembung yah (gak nyambung gitu lohh)..:D.

Ceritanya sabtu kemaren, ikutan jugi ke detikcom, belajar hadoop&keluarga Apache lain, yg dipresentasiin team search.detik. com (bukan detik.search.com loh…), wow..saya excited, bisa belajar, secara saya tuh outofdate soal java system network, trus ini nyangkut datawarehouse pula..

Tapi niat baik saya sebagai pemudi pembangun bangsa dengan belajar giat dan rajin menabung itu luluh :D..sekonyong2 novita(..jeng, kusebut namamu di blog ini :d ) sebagai teman lama, telp dan ngajak nonton kcb..dengan kangen segunung dan iming2 luch gratis, saya jadinya gak full ikut belajar hadoopnya (gak kuat imannn hehehe), well ini sedikit yg bisa saya faham dari hadoop kemaren..cmiiw

Hadoop itu framework.

Hadoop menangani cluster dengan mempunyai master(selanjutnya bernama namenode) dan slaves. Namenode hanya berfungsi sebagai dispatcher, jd masing2 proses akan dilakukan oleh slaves. Hadoop punya secondary namenode untuk berjaga2 jika master down, tapi cara yg paling aman, di clone. Hadoop belum bisa untuk realtime jadi data harus di batch dulu (misal spt detik yg ngolah data dari log).

Tech yang dipake detik :

-Hadoop

Lucene : engine, bisa support Perl, Ruby, Java, Phyton

Nutch : base on Lucene, u/ crawler  ato parser HTML

Pig : script dipake sama yahoomail, yahoosearch untuk platform analyst data nya

Hbase : hadoop database. Beda banget konsepnya dengan db konvensional, yang ini base on column.

Oiya..kemaren sempet diketawain si tttm(yang gak tau tttm, harap baca post sebelumnya..:D penting banget yak..)..begitu saya cerita progress saya belajar DW dengan .net, dia bilang .net gak akan kepake, u/ sebegitu complicated nya BI proses, detik yg udah pernah coba pake Ejb3 aja collapse..

saya cuma bisa menjawab…”oh mann..aku percaya tiap orang punya pendekatan dan kebutuhan masing2 untuk ngerti suatu hal, aku cuman pengen tau konsep and hasil ETL, OLAP..kalo aku mampu cepetnya pake .net, aku akan pake itu, tools laennya tinggal waktu aja” ..hayo,siapa yang setuju dengan saya  (v^_^).

Well,untuk mssql dibutuhkan tambahan Microsoft SQL Server  Integration Services (SSIS) & Microsoft SQL Server Analysis Services (SSAS) untuk proses ETL. Ayo kita coba…:).

Advertisements

7 Comments (+add yours?)

  1. choco
    Sep 30, 2009 @ 10:18:04

    maaf saya mw tanya, cara install hadoop bgmn??saya sudah coba menambah repository tp tetap tdk bisa. lalu saya download file hadoop-0.20.1.tar.gz. tapi saya bingung yg diinstal yg mana??

    makasih sebelumnya….

    Reply

  2. choco
    Oct 03, 2009 @ 20:12:16

    maaf bukan “mas”. choco=chocolate..:D
    ok, makasih…

    Reply

  3. gilang @ komunitaz
    Jan 18, 2010 @ 18:10:15

    salut, mainannya hadoop
    salam kenal

    Reply

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: