Big Data (Büyük Veri) Nedir?

Değerli arkadaşlar, merhaba! Bu yazımızda sizlere, 'Big Data (Büyük Veri)' kavramından bahsedeceğiz.

Bilgi toplumu oluşumuz, hayatımızın her alanında teknoloji sayesinde veri alışverişi yaptığımız anlamına da gelir. Üretilen her bilgi işimize yarayacak diye bir kaide söz konusu değildir. Dolayısıyla bilgiyi üretmenin yanında yararlı bilgiye ulaşmamız da, bu konuda çok önemli bir unsurdur. Veri, yapısal ve yapısal olmayan veri olarak ikiye ayrılır. Geçmişte, yapısal olan veriler işe yarar olarak görülürken yapısal olmayan veriler işe yaramaz olarak görülürdü. Burada devreye Büyük Veri (Big Data) girmektedir.

Büyük veri; sosyal medya, ağ günlükleri, bloglar, fotoğraf, video, log dosyaları gibi değişik kaynaklardan toparlanan 'tüm verinin', anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir; bir bilgi okyanusudur. Bu özelliği sayesinde internet kullanan herkesin deneyimini iyileştirir ve istediği bilgiye kolayca erişmesini sağlar. Çünkü Büyük Veri sayesinde bilgi çöplüğü içerisinden ihtiyacımız olan önemli, yararlı ve kritik bilgileri bulup kolay bir şekilde çıkarabilir duruma geldik. Yani yapısal olmayan verilerin değersiz olduğu algısı, Büyük Veri sayesinde kırılmış oldu.

Büyük Veri içerisinde bulunan bilgilere 'bazı' örnekler:

  1. Web sunucularının logları
  2. İnternet istatistikleri,
  3. Sosyal medya yayınları
  4. Bloglar, mikrobloglar
  5. İklim algılayıcıları ve benzer sensörlerden gelen bilgiler
  6. GSM operatörlerinden elde edilen arama kayıtları gibi.

Bütün bunlar olurken Dünyada üretilen tüm verinin yüzde 90'ı son beş yılda oluştu. IBM'e göre her gün 2,5 milyar GB veri üretiliyor ve Forbes'e göre 2023 yılında Büyük Veri Analitiği (Big Data Analytics) pazarı 103 milyar dolar büyüklüğüne ulaşacak.

Büyük Veri, doğru analiz metotları ile yorumlandığında şirketlerin stratejik kararlarını doğru bir biçimde almalarına, risklerini daha iyi yönetmelerine ve inovasyon yapmalarına imkân sağlar. Şirketlerin birçoğu hâlâ veri ambarı ve veri madenciliği kullanarak elde ettikleri verilerle işlem yapmaktadır. Bunların yanında şirketlerin, müşteri isteklerini ve dinamiklerini daha iyi anlamak, analiz etmek ve ona göre bir stratejik uygulamak için Büyük Veri'yi kullanması gerekir. Google, Amazon, Apple, Microsoft ve Facebook gibi, Dünya'nın en büyük şirketleri Büyük Veri'yi en etkili şekilde kullanan şirketlerdendir.

Büyük Veri; veriyi oluşturma, saklama, transfer etme,  akışı takip etme ve analiz etme gibi konuları içerisinde barındırır.

Büyük Veri'deki veriler, bildiğimiz normal veri tabanlarında saklanamayacak kadar büyüktür. Klasik veri tabanları GigaByte (GB) bazında veri depolarken Büyük Veri'nin depolama kapasitesi PetaByte ile ölçülür. 1 PetaByte, 1024 TeraByte ve 1,125,899,906,842,624 bayt'tan oluşur. Büyüklüğü tahmin edebilmeniz açısından aşağı bir tablo bırakıyorum.

1 Byte 8 Bit 1 byte (bayt)
     
1 Kilobyte 1024 Bytes 1024 Bytes
     
1 Megabyte 1024 Kilobytes 1,048,576 Bytes
     
1 Gigabyte 1024 Megabytes 1,073,741,824 Bytes
     
1 Terabyte 1024 Gigabytes 1,099,511,627,776 Bytes
     
1 Petabyte 1024 Terabytes 1,125,899,906,842,624 Bytes
     
1 Exabyte 1024 Petabytes 1,152,921,504,606,846,976 Bytes
     
1 Zettabyte 1024 Exabytes 1,180,591,620,717,411,303,424 Bytes
     
1 Yottabyte 1024 Zettabytes 1,208,925,819,614,629,174,706,176 Bytes

Büyük Veri, 5V olarak da bilinen 5 özelliği barındırması gerekir. Bunlar aşağıdaki gibi sıralanabilir.

1. Çeşitlilik (Variety)

Toplanan verilerin yapısal değil, farklı ortamlardan gelen veri formatında olması gerekir. Sağlıklı bir çalışma için çeşitli formattaki bilgilerin, birbirine dönüştürülebiliyor olmaları önemlidir.

2. Hacim - Veri Büyüklüğü (Volume)

Veri akışı sürekli ve büyük hacimlerde olmalı. Veri hacmi ve hızı her geçen gün katlanarak büyümektedir. Dolayısıyla verinin gerçek zamanlı olarak işlenmesi ve bilgiye dönüştürülmesi gerekiyor.

3. Hız (Velocity)

Verinin devamlılık göstermesi ve çok hızlı olması gerekmektedir. Veriyi işleyerek analiz edecek sürecin de büyük verinin üretimiyle aynı hızda olması gerekiyor. Örneğin 2021 verilerine göre internette 1 dakikada olanları sıralayabiliriz. Böylece büyüklüğün boyutunu anlayarak hızın ne denli önemli olduğunu anlayabiliriz.

  • 575.000 Tweet atılıyor.
  • Instagram'a yaklaşık 65.000 fotoğraf atılıyor. Bu sayı Facebook için yaklaşık 240.000.
  • YouTube üzerinden 694.000 saat video izleniyor.
  • Google'da 5.7 milyon adet arama yapılıyor.

4. Doğruluk (Veracity)

Verinin güvenilir ve doğru bilgiler içermesi gerekir. Veriler içinde doğru olmayan ve anlamsız kayıtların sağlıklı sonuç alabilmek adına temizlenmesi gerekmektedir. Doğru olmayan veri zaten anlamlı bilgiye dönüştürülemez.

5. Değer (Value)

Büyük Veri'nin en önemli bileşenlerinden olan 'Value', Büyük Veri’lerin işlenmesi sonucunda elde edilen tutarlı verilerin analiz edilerek, kişiler veya kurumlar için değerli bir hale getirilmesini savunur. Bu koca veriler, şirketlerin karar vermelerinde yardımcı olmalıdır.

Büyük veri çözümleri sunan bazı şirketler:

  • Amazon Web Service (AWS)
  • Google Cloud
  • Microsoft HDInsight
  • IBM Big Data Platform
  • IBM Watson
  • Cloudera CDH

Yayınlanma Tarihi: 2022-07-06 22:57:46

Son Düzenleme Tarihi: 2022-07-09 11:31:41