Pribadi

Jika tidak salah, semua berawal pada bulan Juni 2008 di mana ada kebutuhan untuk membuat data warehouse khusus untuk data mining. Saya bergabung ke dalam tim untuk projek impementasi solusi kebutuhan data warehouse tersebut. Sejalannya waktu, dari solusi khusus untuk data mining, projek ini pun bermetamorfosis menjadi migrasi data warehouse dari platform lama ke platform yang baru.

Pada dasarnya migrasi tersebut sangatlah mudah secara teknik, namun banyak hal dan kepentingan yang membuatnya menjadi serba kompleks. Dan kendala terbesar adalah banyak pihak berekspetasi tinggi bahwa dengan memigrasikan ke platform baru maka performansi menjadi lebih baik. Yeah, right! Analogi yang mungkin sedikit tepat untuk projek ini adalah migrasi Windows XP ke Windows Vista namun dengan downgrade hardware. Platform baru memang menjanjikan, tapi tolong dong dilihat secara keseluruhan.

Terus terang saya merasa kesal dengan tim terdahulu yang telah melakukan perhitungan kapasitas hardware yang sangat jauh dari kebutuhan untuk melakukan migrasi data warehouse ini.

Awalnya saya coba menawarkan data model baru yang sedikit lebih kompleks dibandingkan dengan data model di platform yang lama. Data model yang saya tawarkan setidaknya dapat menjawab semua report yang dilayani oleh platform lama. Perlu re-engineer sedikit agar yang biasanya disimpan secara detail diganti dengan pendekatan Ralph Kimball yang saya pahami. Alasan utama saya menawarkan data model baru adalah agar proses report dan analisis pada platform lama dapat tetap terakomodasi, dan data bisa muat ke platform baru yang kapasitas storage-nya cuma satu per sepuluh dari platform lama (80 TB).

Aaah, saya berhadapan dengan orang-orang berparadigma data-sedetail-mungkin dan model-yang-future-proof. Terus terang saya agak bingung mengapa mereka tetap memaksa untuk menyimpan sedetail mungkin dengan keadaan seperti itu? Singkat cerita akhirnya didapat juga data model baru versi 2.0, setelah melewati tawar-menawar yang sengit *halah*.

Data warehouse sudah jalan hampir 2 bulan di platform yang baru. Saya tetap merasa bahwa projek ini merupakan sebuah keberhasilan yang luar biasa (bagi saya pribadi). Namun, seperti yang saya bilang, orang lain mempunyai ekspetasi berbeda. Berbagai masalah muncul satu per satu. Dan satu per satu itu pun patch-patch baru diterapkan. Terus terang saya cukup kecewa dengan proses yang sekarang sedang saya jalani dalam men-support data warehouse pada platform baru ini. Ya sudahlah, sigh…

Oia, rencananya dalam waktu dekat apa yang telah dikerjakan dalam hampir setahun ini akan digantikan dengan pendekatan data model baru, 3rd normal form, produk dari platform tersebut. Dulu sempat seru dibahas, namun karena mentok di kapasitas hardware maka data model 3rd normal form ditunda dulu. Entah apa yang menjadi pertimbangan, saya tidak dilibatkan dalam projek ini. Ya sudah, jangan minta tolong teknikal lagi ke saya atau tanya minta penjelasan tentang projek yang hampir setahun ini, semua ada di dokumen.

Data warehouse dengan pendekatan 3rd normal form??

Mungkin saya adalah satu-satunya orang yang ada dalam tim tersebut yang tidak begitu percaya dengan pendekatan ini dapat diterapkan. Dan untuk pemikiran ini ternyata saya tidak sendirian, Matt Casters dari Pentaho juga memiliki pandangan serupa:

After all these years, after sooooo many Kimball modelling success stories, no slowly changing dimensions and stars are being built. There is always one hot-shot in every organisation that will claim they “need it to be 3rd normal form”. In all (100% and at least 10) of the emergency “build it now or we’re dead” cases that I have experience with, there was no real data warehouse in place.

Semoga pandangan saya salah.