big data

büyük veri. direk akla gelen hali ile boyut olarak değil misal bilindik bir arama algoritmasının beklenen performansı gösteremediği veri. ama sayesinde yazılım dünyası nosql gibi güzel birşey ile tanıştı. (bkz: nosql)

zamanla veritabanları büyüyünce ortaya çıkan bir kavram.
big dataya yönelik çözümler üreten öne çıkan firmalar şunlar: sas, sybase, oracle,teradata, ibm.

Biraz karanlıktır. Şirketlerin ve ülkelerin insanların kişisel verilerini çeşitli amaçlarla toplaması da kast edilebilir.

büyük veri şeklinde türkçeleştilen teknoloji. diyelimki bi kaç bin satır veriniz var. bu veri sattığınız ürün olur, web sitenize kayıtlı kullanıcı olur, makale olur, ... bunun için big data teknolojisine ihtiyacınız yok. excel yada access tarzı uygulamalar işinizi görür. verilerininiz biraz dahamı fazlalaştı? o zaman artık bir veritabanı kullanma vakti gelmiş. oracle, mssql, mysql gibi veritabanlarını kullanarak milyonlarca satır datalarınızı saklayabilir ve analiz edebilirsiniz. verileriniz milyarları geçtiyse artık sizi ne excel ne veritabanları yetmez, daha büyük çözümlere ihtiyacınız var burada devreye big data devreye girer.

oracle yada microsoft bu alanda yatırım yapıyor ama onlardan önce yaygınlaşan hadoop gibi dağıtık veritabanları var. örneğin youtubeda video izliyorsunuz. milyonlarca video arasından size ilgili videoları getirmesi, sizin izlediğiniz videoları kaydetmesi, size ilgilendiğiniz konulara göre video sunması ve bunları aynı anda milyonlarca kullanıcı için tekrarlaması aynı zamanda arka planda tüm kullanıcı datalarını analiz etmesi normal veritabanları ile yapılamaz ama big data teknolojisi için geliştirilen cloudera yada hadoop tarzı veritabanları ile çok hızlı bir şekilde yapılabiliyor. bu aynı zamanda yeni bir iş alanı demek. artık büyük firmalar big data bilen eleman arayışında. bunun için çoğu firma mecburen çözümü yurtdışında arıyor. ben yüksek maaşla prestijli bir kariyer yapmak isterim diyorsanız http://www.bilginc.com/eg...a/649/big-data-egitimleri eğitim ve sertifika ile başlamanızı tavsiye ederim. artık herşeyin çokta eski olmayan cloud teknolojisi üzerinde olduğunu düşünürsek teknolojiyi kullanan değil üreten olmak için yeni bir sayfa açabiliriz.

büyük veri, bir işletmenin her gün karşı karşıya kaldığı, hem yapılandırılmış hem de yapılandırılmamış nitelikteki büyük miktarlardaki verileri açıklayan bir terimdir. Ama burada önemli olan verilerin miktarı değildir. Önemli olan, kuruluşların bu verilerle neler yaptığıdır. Büyük veriler, daha iyi kararlar verilebilmesini sağlayan ve işlerle ilgili stratejik hareketleri yönlendiren bilgilerin elde edilebilmesi amacıyla analiz edilebilir. Big data ile ilgili daha ayrıntılı bilgi almak isteyen arkadaşlar : https://goo.gl/33JQhj link'ten detaylı bilgi edinebilir.

BIG DATA NEDiR?

21. Yüzyılın PETROLÜ olarak tanımlanmış bir kavramdan bahsediyoruz.

Kitlesel silhaların hepsi tüy olarak kalır bu kavramın yanında. Çünkü bu kavram için, bütün insanlar bir maden ve madeni sadece bunu bilenler çıkartabilir.

insanoğlu elinde hep veri olan bir varlıktı, bunları ya bir şekilde depolamaya çalışıyordu ya da fazlasını gereksiz görüp göz ardı ediyordu.

insanoğlu internet, bilgisayar gibi teknolojilerin yaygınlaşması ile artık daha yoğun bir veri bombardmanına tutulmaya başladı. Bunların içinde de artık işe yarar veri sayısı çok fazla ve göz ardı edilemeyecek kadar değerli idi.

Big data, geleneksel veri uygulamalarının yakalama, muhafaza etme, yönetme ve analiz etmesi için oldukça yüksek, kompleks ve dinamik veridir.

Her yıl %40 yükselen bu dev veri tabanında, dünya üzerinde pazarlama hedefindeki hemen hemen herkesin demografik, ekonomik ve hatta duygusal durumlarını detaylıca analiz edebilirsiniz.

Akıllı telefonlarımız, her şeyimizi paylaştığımız sosyal medya ile internete göbekten bağlı yaşam tarzımız. bankacılık, telekomünikasyon ve diğer devlet işlerinin de internet tabanlı olmaya başlamasıyla elimizdeki veri cidden ciddi anlamda büyüdü.

Dolayısıyla bu yaşam tarzına sahip güzel tüketici kitlenin ne yapıp ne ettiği (Yeni anne fotoğrafları, bebek yüzü kapalı fotoğraflar, yeni gelin tatlı telaşları vb.), neden hoşlandığı (Yemek fotoğrafları, manzara vs.), nerelere gittiği (Starbucks Check inleri vb.), neyi ne zaman nerede ne kadar satın aldığını , ne derdinin olduğu (Serumlu Fotoğraflar vb.) ve başka pek çok ıvır zıvır bilgi bu büyük veriye yüklenip daha da büyütüyor.

Büyük veri ve bunun yarattığı piyasa aslında çok yeni bir şey de değil. Örneğin Google'ın bu kadar değerli bir şirkete dönüşmesinin temel nedeni kullanıcı verilerini satmak. Keza Facebook da aynı şeyi kullanarak reklam satıyor. ileride işin daha da gelişmesi ile pazarlama daha doğru ve daha az masraflı şekilde satın alacak kişilere yapılabilecek. Hatta belki ileride bizim kararımız beklenmeden, sizin şuna ihtiyacınız var diye ürünler kapımıza gelip, bedeli kredi kartından otomatik düşecek. Buna benzer değişikliklerin olacağı, mahremiyet kavramının ciddi olarak sıkıntıya gireceği bekleniyor. Büyük veri ile çalışmak için de veri madenciliği alanı kullanılıyor, ileride kurumların büyük veriden veri analizine daha çok önem vermeleriyle bu sektörün de iyice önem kazanması bekleniyor.

Hahaha kimsenin bi sik bilmeyip atip tuttugu mevzu. Assembly kullaniliyor diyen mi dersin, sql de dunya donuyor sanan mi dersin : )

(bkz: büyük şirketlerce hayvan gibi stalklanmak)

para kazanmanın haram olabileceğini düşündüğüm hede. Ama hoca değilim, mühendisim -sayılırım *-. Evet.

özü itibarıyla bir istihbarat çalışmasıdır. verileri sınıflandırır, etiketlendirir ve yorumlar. yapay zekayla birlikte gelişir, yapay zekayı besler.

NEDiR BU BIG DATA (Büyük Veri)?

Girizgahı yapmadan önce size bazı bilgiler vermek istiyorum;

1- 2012 Londra Olimpiyatlarında elde edilen veri miktarı, 2008 Pekin Olimpiyatları süresince elde edilen veri miktarından %30 daha fazlaydı. 2016 Rio' da ise %15-20 civarında bir veri üretimi fazlalaşması oldu. 2012 Olimpiyatlarında saniyede 60 GB' lık bir veri kümesi oluşuyordu. Oyunlar boyunca 8.5 milyara yakın cihaz internete bağlanırken, saniyede 13.000 civarı tivit atılmış ve 845 milyon aktif Facebook kullanıcıs 15 TB' a yakın veri kümesi oluşturmuş.

2- 2016 yılı boyunca 16 zettabytes veri üretildi. Ancak öte yandan üretilen tüm bu veriyi kaydetmek mümkün değil. insanoğlu bir yılda ürettiği verinin sadece %15- 20' sini kaydedebiliyor. Geri kalan veri ise uçup gidiyor.

3- IDC’nin raporuna göre, 2025 yılında ortalama bir insan günde 4800 kere internete bağlı bir cihazla muhatap olmak zorunda kalacak. Bu da her 18 saniyede bir internet cihazı ile iletişim kurmak anlamına geliyor.

4- Wal-Mart her saat 1 milyon müşterinin işlemlerini yapıp,
bunları veri tabanına kaydeder. Bu 2.5 petabyte veridir. Google günlük 20 petabyte veriyi işler.

Peki bütün bunlardan sonra başlayalım;
Nedir Büyük Veri?

Aslında büyük veri denen olay elinizde toplu ve analiz edilebilir veriyi temsil eder. Günümüzde büyük veri 5 kademede incelenir. Buna 5V denir.

Hacim (Volume): : Oluşturulan verinin miktarı ve saklanan veri dikkate alınır.

Hız (Velocity): Gelen ve giden veri hızını temsil eder.

Veri Çeşitliliği (Variation): : Veri farklı kaynaklardan ve farklı
formatlarda üretilir. Veri sayısal, metinsel, görüntü, ses, video olabilir, yani, yapısal veya yapısal olmayan biçimdedir.

Veri Kalitesi (Quality): Verinin güvenilirliği ve kritik karar alma süreçlerinde kullanılıp, kullanılamayacağını denetler.

Veri Değeri (Value): Veriden Bilgi Üretebilme Kısmıdır.

Verinin ne kadar değerli olduğunu ortaya koyan en önemli kriter, verinin kritik karar sürecinde kattığı değerdir. Büyük veri suç önleme, savunma, güvenlik, gelir yönetimi, taşımacılık vb birçok alanda kullanılmaktadır. Amerika’ nın Seattle, Los Angeles şehirlerinde "Önleyici Polis Hizmetleri" olarak adlandırılan uygulamalar hayata geçirilmiştir işlenen suçların zamanı, yeri ve içeriği incelenmiş, 4 aylık bir zaman diliminde cinayet oranını yüzde 12 gibi bir oranda düşmüş, hırsızlık %26 azalmıştır.

Hollanda Ulaştırma Bakanlığı, otoyollarda belirli sayıda yerleştirdiği sensörlerden gelen verilere göre yaptığı analizlerde, otobandan geçen araç sayısı, türü, hızı vb. verileri kaydederek, büyük veri teknolojileri ile ulaşım planlamalarını yapmış ve alınabilecek önlemleri belirlemiştir.

2018 yılına kadar 140000-190000 arası veri bilimciye
ihtiyaç olduğu belirtilmekte olup, 1.5 milyon civarında, büyük verinin nasıl işlendiği konusunda hakim yönetici ve analiste ihtiyaç olduğu ifade ediliyor.

Big Data Nedir?
Büyük veri, artan hacimlerde ve her zamankinden daha yüksek hıza ulaşan daha fazla çeşitlilik içeren verilerdir. Üç Vs olarak bilinir.

Basitçe söylemek gerekirse, büyük veri (big data), özellikle yeni veri kaynaklarından daha büyük, daha karmaşık veri kümeleridir. Bu veri setleri o kadar hacimlidir ki, geleneksel veri işleme yazılımı bunları yönetemez. Ancak bu büyük hacimli veriler, daha önce başaramayacağınız iş problemlerini çözmek için kullanılabilir.

Big data için birçok tanım olsa da, büyük verilerin genellikle “3 V’s” (Volume Variety Velocity) olarak bilinen kavramını içerir:

Volume (Hacim): Terabayttan petabaytlara kadar olan veri aralıkları.

Variety (Çeşitlilik): Çok çeşitli kaynaklardan ve biçimlerden veri içerir (ör; Web günlükleri, sosyal medya etkileşimleri, e-ticaret ve çevrimiçi işlemler, finansal işlemler, vb.)

Velocity (Hız): Giderek artan bir şekilde, işletmelerin zaman verilerinin üretilmesinden, kullanıcılara uygulanabilecek zamana kadar içgörüler sunulmaktadır. Bu nedenle, verilerin nispeten kısa pencerelerde toplanması, saklanması, işlenmesi ve analiz edilmesi gerekir – günlükten gerçek zamana kadar.
Eğer profesyonel olarak çalışıyorsanız ve bir çözüme ihtiyacınız varsa birlikte çalıştığımız https://www.ametis.com.tr/ yi tavsiye edebilirim.