Konsep Dasar Data Warehouse

Data warehouse merupakan fasilitas sistem yang menampung data institusi secara menyeluruh dan menyajikannya kembali untuk berbagai keperluan pelaporan dan analisis data. Tujuan dari pembangunan data warehouse adalah untuk menunjang pengambilan keputusan yang strategis berdasarkan pada analisis data.

Ide dasar dari data warehouse adalah untuk mengumpulkan berbagai macam data yang ada pada dan dihasilkan oleh suatu institusi, lalu mentransformasi seluruh data yang ada untuk kepentingan penyajian informasi strategis bagi institusi.

Jika kita ambil contoh pada institusi seperti pemerintahan daerah, seringkali kebutuhan penyajian data seperti berikut ini tidak bisa dalam waktu yang singkat segera ditampilkan:

Berapa kenaikan/penurunan anggaran pada masing-masing urusan pemerintahan pada 3 tahun terakhir?
Berapa kenaikan/penurunan belanja alat tulis kantor pada masing-masing Satuan Kerja pada 3 tahun terakhir?
Berapa persen belanja pemeliharaan gedung jika dibandingkan dengan nilai gedung milik Pemerintah Daerah pada tiap tahunnya?
Berapa besar pertumbuhan/penurunan pendapatan pajak pada tiap objek pajak pada 3 tahun terakhir?

Database VS Datawere House

Perbandingan Database VS Data Warehouse

Data warehouse bukanlah semacam software atau produk yang bisa dibeli secara langsung dan digunakan di lingkungan institusi untuk mendapatkan informasi strategis. Pembangunan suatu datawarehouse akan sangat tergantung pada kebutuhan pengguna pada suatu institusi dan juga tergantung pada domain data yang dikelola.

Baca Juga : Belajar Database - Pengenalan PostgreSQL

Karakteristik Data Warehouse

Diperuntukan bagi analisa data dan penyajian informasi untuk penunjang keputusan stratejik.
Sangat ditentukan oleh domain data yang diolah dan kebutuhan pengguna (customized).
Meliputi keseluruhan data yang pada suatu institusi, juga memungkinkan menyertakan data dari luar institusi untuk domain data yang sama untuk keperluan perbandingan (benchmark).
Menyediakan (lewat pengembangan rancangan) pola-pola data yang kompleks untuk keperluan penyajian informasi yang kompleks dan saling berkaitan.
Memiliki metoda khusus untuk akuisisi (pengumpulan) data.
Memiliki metoda khusus untuk pembersihan data yang kotor/rusak (data cleansing).
Berdasarkan pada pola data dibentuk agregasi data sehingga memenuhi model data yang diperlukan.

Data Warehouse Bukan Sekedar Kumpulan Data

Banyak yang memulai dengan pengumpulan data dan diberi istilah integrasi data atau bahkan diberi istilah sebagai data warehouse.
Data terkumpul bertahun-tahun tanpa ada rancangan penyimpanan data untuk disajikan kembali menjadi informasi untuk keperluan analisa dan pengambilan keputusan.
Ketika data akan dijadikan informasi maka ditemui banyak kendala: kesulitan mengambil informasi yang diinginkan, data terlalu banyak dan perlu waktu lama untuk mendapatkan informasi.

Persiapan Rancangan Data Warehouse

Kebutuhan akan data warehouse timbul dari adanya tuntutan penyajian data lintas tahun secara subjektif, akurat dan cepat. Pengembangan suatu sistem data warehouse dalam suatu institusi harus melalui tahapan-tahapan yang terukur dan dilakukan dengan baik dan akurat.

Setidaknya tahapan langkah berikut harus dilakukan untuk mendapatkan hasil berupa pembangunan sistem data warehouse yang sesuai dengan kebutuhan.

Mempertimbangkan dan merancang arsitektur data warehouse yang cocok.
Memperhitungkan seluruh sumber data yang akan akan menjadi pemasok data ke dalam data warehosue.
Merancang perangkat ETL (Extract, Transform, Load) yang sesuai dengan karakter data dan juga sesuai dengan arsitektur sistem data warehouse yang akan dibangun.
Merancang data warehouse sebagai sentral dari keseluruhan bagian sistem yang akan dibangun.
Merancang kebutuhan penyajian data dan merancang data mart sebagai sub-data-warehouse yang akan menunjang penyajian data secara kontekstual dengan cepat.

Proses Umum Data Warehouse

Transformasi Data : ETL

Extract merupakan proses pengambilan atau pemisahan data dari sumber data asal. Sumber data ini bisa berupa berbagai macam jenis data yang disimpan dalam berbagai macam jenis teknologi penyimpanan data.
Transform meliputi beberapa tahapan proses mulai dari cleansing, pembentukan format ulang data agar sesuai dengan rancangan data warehouse yang telah ditetapkan, pembentukan agregasi agar sesuai dengan subject informasi yang diinginkan dan penetapan konteks varian waktu.
Load merupakan proses penyimpanan data yang telah ditransformasi ke dalam teknologi penyimpanan data warehouse seperti suatu sistem manajemen database yang telah dirancang khusus untuk menjadi data warehouse.

Arsitektur Umum Data Warehouse

Pemisahan. Arsitektur data ware house harus memisahkan data transaksi dan data analisis. Dalam hal ini secara jelas data warehouse sebagai basis data analisis harus berupa sistem yang terpisah dari sistem transaksional yang memasok data.
Skalabilitas. Data warehouse harus bisa diperbesar kapasitasnya secara dinamis sesuai kondisi perkembangan volume data, peningkatan jumlah pengguna, penambahan model data, dan lainnya.
Ekstensibilitas. Aristektur data warehouse harus memungkinkan penambahan sumber data, penambahan perangkat analisa, dan semacamnya, secara dinamis tanpa harus membongkar sistem data warehouse yang telah ada.
Keamanan. Data warehouse harus memiliki sistem keamanan yang menjamin konsistensi data, perlindungan data dari serangan pihak yang tidak bertanggung jawab, strategi menghadapi bencana alam yang mengakibatkan kerusakan data atau sistem.
Mudah Dikelola. Data warehouse harus menyediakan perangkat pengelola sistem yang memudahkan dalam pemeliharaan dan pengelolaan sistem date warehouse.

Baca Juga : Arsitektur Big Data

Teknik Implementasi

Lapisan-lapisan abstraksi dari arsitektur data warehouse dapat diimplementasikan dengan teknologi dan cara yang berbeda-beda. Implementasi teknis yang berbeda ini biasanya tergantung pada:

Kapasitas dan skala data yang dikelola. Pengelolaan data dalam skala kecil akan menuntut teknik implementasi data warehouse yang lebih sederhana. Sebaliknya, pengelolaan data kelas enterprise yang besar akan menuntut teknik implementasi yang lebih kompleks dikarenakan harus memperhitungkan banyak hal seperti arsitektur sistem database yang tepat untuk mewadahi data yang besar, jaminan akses informasi yang efesien dan cepat.
Kompleksitas data juga sangat mempengaruhi bagaimana suatu arstektur data warehouse diimplementasikan. Semakin kompleks dan beragam (memiliki konteks yang luas dan heterogen) data yang dikelola maka rancangan arsitektur data warehouse bisa menjadi lebih kompleks pula. Terutama dalam hal ini adalah dalam lapisan ETL akan memerlukan berbagai macam perangkat atau bahkan juga memerlukan suatu lapisan pendukung seperti lapisan rekonsiliasi data hasil ETL sebelum masuk ke dalam data warehouse.

Implementasi arsitektur data warehouse dalam lingkungan jaringan komputer / sistem informasi yang cukup kompleks. Kompleksitas suatu sistem informasi dikarenakan struktur organisasi yang besar dan, sistem aplikasi yang beragam meliputi berbagai modul dan domain bisnis proses, besarnya volume data transaksional dan letak geografis institusi yang tidak terpusat, melainkan tersebar di berbagai tempat dan lokasi.

Kompleksitas organisasi ini melahirkan sistem informasi yang kompleks pula. Maka pembangunan data warehouse pada lingkungan organisasi seperti demikian mau tidak mau akan memerlukan suatu implementasi arsitektur yang cukup kompleks pula. Gambar di atas memperlihatkan bahwa setiap sumber database transaksional, yang dalam hal ini biasanya berupa modul aplikasi atau suatu domain proses bisnis yang diwakili oleh suatu database, memerlukan perangkat ETL tersendiri yang bisa mengolah data sebelum dimasukan ke dalam data warehouse.

Data warehouse sendiri akan berupa server aplikasi tersendiri, yang berdiri sendiri, terpisah dari sistem lainnya. Perangkat ETL akan bisa terkoneksi ke data warehouse lewat jaringan komputer, baik itu berupa private network ataupun internet.

Baca Juga : Pengenalan Big Data

Sekian materi pengenalan tentang data warehouse.