Mengenal lebih dekat Big Data, Data Warehouse, Data Mart dan Data Lake

Pada kesempatan kali ini everything1520 akan membagi tentang pembahasan menarik. Dalam pembahasan kali ini akan di jelaskan pengenalan dasar mengenai Big Data, Data Warehouse, Data Mart dan Data Lake.

Big Data

    Istilah "big data" mengacu pada data yang sangat besar, cepat atau kompleks sehingga sulit atau tidak mungkin untuk diproses menggunakan metode tradisional. Tindakan mengakses dan menyimpan sejumlah besar informasi untuk analitik sudah ada sejak lama. Tetapi konsep big data mendapatkan momentum di awal 2000-an ketika analis industri Doug Laney mengartikulasikan definisi big data yang sekarang-mainstream sebagai tiga V:

• Volume : Organisasi mengumpulkan data dari berbagai sumber, termasuk transaksi bisnis, perangkat pintar (IoT), peralatan industri, video, media sosial dan banyak lagi. Di masa lalu, menyimpannya akan menjadi masalah - tetapi penyimpanan yang lebih murah pada platform seperti danau data dan Hadoop telah meringankan beban.
• Velocity : Dengan pertumbuhan Internet of Things, data mengalir ke bisnis dengan kecepatan yang belum pernah terjadi sebelumnya dan harus ditangani tepat waktu. Tag RFID, sensor, dan smart meter mendorong kebutuhan untuk menangani torrent data ini dalam waktu yang hampir bersamaan.
• Varietas : Data hadir dalam semua jenis format - dari terstruktur, data numerik dalam database tradisional hingga dokumen teks, email, video, audio, data ticker saham, dan transaksi keuangan yang tidak terstruktur.

Mengapa Big Data Penting?

    Pentingnya big data tidak berkisar pada seberapa banyak data yang Anda miliki, tetapi apa yang Anda lakukan dengan data tersebut. Anda dapat mengambil data dari sumber apa pun dan menganalisisnya untuk menemukan jawaban yang memungkinkan adalah :

• Pengurangan biaya dan waktu.
• Pengembangan produk baru, dan penawaran yang dioptimalkan.
• Pengambilan keputusan yang cerdas.

    Saat Anda menggabungkan big data dengan analitik berkekuatan tinggi, Anda dapat menyelesaikan tugas-tugas yang terkait dengan bisnis seperti:

• Menentukan akar penyebab kegagalan, masalah, dan kegagalan hampir secara real time.
• Menghasilkan kupon di titik penjualan berdasarkan kebiasaan membeli pelanggan.
• Menghitung ulang seluruh portofolio risiko dalam hitungan menit.
• Mendeteksi perilaku curang sebelum memengaruhi organisasi Anda.
  

Data Warehouse

    Data warehouse adalah database yang didesain khusus untuk mengerjakan proses query, membuat laporan dan analisa. Data yang di simpan adalah data business history dari sebuah organisasi /perusahaan, dimana data tersebut tidak tersimpan secara rinci/detil. Sehingga data dapat bertahan lebih lama berbeda dengan data OLTP (Online Transactional Processing) yang tersimpan sampai prosesnya berlangsung secara lengkap.

    Sumber data pada datawarehouse berasal dari berbagai macam format, software, platform dan jaringan yang beda. Data tersebut adalah hasil dari proses transaksi perusahan / organisasi sehari.hari. Karena berasal dari sumber yang berbeda beda tadi, maka data pada data warehouse harus tersimpan dalam sebuah format yang baku.

    Data warehouse juga merupakan salah satu sistem pendukung keputusan, yaitu dengan menyimpan data dari berbagai sumber, mengorganisasikannya dan dianalisa oleh para pengambil kebijakan. Akan tetapi datawarehouse tidak dapat memberikan keputusan secara langsung. Namun ia dapat memberikan informasi yang dapat membuat user menjadi lebih paham dalam membuat kebijakan strategis. Ada 4 karakteristik dari data warehouse : subject oriented, integrated, time variant dan non volatile

Fungsi Data Warehouse

1. Membantu pengambilan keputusan yang lebih baik
2. Cepat dan mudah mengakses data
3. Kualitas dan konsistensi data
4. Menyediakan historical intelligence
5. Menghasilkan ROI tinggi

Data Mart

    Data mart adalah struktur organisasi di dalam data warehouse. Data mart mungkin berisi data dari berbagai sumber yang lebih kecil dan diringkas, bukan raw data. Tujuan dari data mart adalah untuk membuat analitik nyaman dan dapat diakses oleh tim dan unit bisnis tertentu.

Beberapa keuntungan menggunakan data-mart:

• Isolated Security: Karena data mart hanya berisi data khusus untuk bisnis tertentu, Anda yakin bahwa tidak ada akses data yang tidak diinginkan (data keuangan, data pendapatan) yang secara fisik dimungkinkan.
• Isolated Performance: Karena setiap data mart hanya digunakan untuk bisnis tertentu, beban kinerja dikelola dengan baik dan dikomunikasikan dalam departemen, sehingga tidak mempengaruhi beban kerja analitik lainnya.

Data Lake

    Data warehouse dan data mart didasarkan pada asumsi bahwa data perusahaan penting terstruktur. Data terstruktur mengikuti format yang dapat diprediksi, dengan mudah diinterpretasikan oleh mesin, dan dapat disimpan dalam database relasional. data lake sebaliknya adalah objek atau penyimpanan file yang dapat dengan mudah menampung volume besar raw data dan tidak terstruktur seperti teks bentuk bebas, gambar, video dan media lain, serta data terstruktur.

    Penggunaan data lake yang paling dasar adalah untuk menyimpan data dalam jumlah besar secara komprehensif sebelum memutuskan apa yang harus dilakukan dengannya. Dalam pendekatan ini, data lake adalah area pementasan untuk gudang data. Penggunaan lainnya adalah untuk melatih aplikasi pembelajaran mesin menggunakan kumpulan data pelatihan tidak terstruktur yang sangat besar.

Terimakasih sudah setia di everything1520, semoga info kali ini bermanfaat. Tetap semangat, dan jangan lupa ;