Bugün neler konuşacağız?

1. 01Büyük veri ve veri bilimindeki yeri
2. 02İlişkisel veritabanları neden zorlandı?
3. 03NoSQL'in kısa tarihi
4. 04NoSQL türleri ve teorisi
5. 05MongoDB nasıl çalışır?
6. 06Projemiz: ölçümler ve canlı uygulama

Veri bilimi, verinin nerede durduğuyla başlar.

Bu sunum ikinci adımla ilgili: veri büyüyünce onu nerede ve nasıl saklarız?

Dünyadaki veri 15 yılda 90 kat büyüdü.

1 zettabayt = 1 milyar terabayt · Kaynak: IDC, Statista

Bir şehir, bir ay: 3 milyon yolculuk.

Veri o kadar büyüdü ki geleneksel sistemler zorlanmaya başladı.

1970: Veriyi tablolara koymak.

EFC

Edgar F. Codd

IBM · 1970

"A Relational Model of Data for Large Shared Data Banks" makalesiyle ilişkisel modeli tanımladı. 1981 Turing Ödülü.

Donald Chamberlin

IBM · 1974

Raymond Boyce ile birlikte SEQUEL'i, bugünkü SQL'in atasını tasarladı.

SQL neden 50 yıl dayandı?

Veri büyüyünce tablolar zorlanıyor.

"NoSQL" kelimesi ilk kez kullanılıyor.

Google bütün interneti tek makineye sığdıramıyordu.

Jeff Dean

Google

Sanjay Ghemawat ile MapReduce (2004) ve Bigtable (2006) makalelerini yazdı.

Bigtable · 2006

Binlerce ucuz sunucuya dağılan dev bir tablo.

HBase ve Cassandra'ya ilham verdi.

Amazon: "Sepete ekle" butonu asla hata vermemeli.

Werner Vogels

Amazon CTO

Ekibiyle Dynamo makalesini yayınladı.

Dynamo · 2007

Tutarlılıktan biraz vazgeç, her zaman yazılabilir ol.

Bir sunucu çökse bile müşteri sepetine ürün ekleyebilmeli.

Fikirler açık kaynağa dönüştü, isim yerleşti.

Not Only SQL.

SQL'in rakibi değil, tamamlayıcısı.

Esnek şema: aynı koleksiyon, farklı kayıtlar.

{
  pickup:  "JFK Airport",
  fare:    52.3,
  passengers: 1
}

{
  pickup:  "Harlem",
  fare:    18.2,
  passengers: 2,
  weather: "yağmurlu",
  nickname: "Emir"
}

İkinci kayıtta iki yeni alan var. Tabloyu değiştirmeye gerek yok.

Tek bir NoSQL yok. Dört farklı model var.

Document

MongoDB

Ürün kataloğu, içerik

Key-Value

Redis

Önbellek, oturum, sepet

Column-Family

Cassandra

IoT, zaman serisi, log

Graph

Neo4j

Sosyal ağ, öneri sistemi

Doküman ve anahtar-değer.

{ _id: 1042,
  name: "Kulaklık",
  price: 899,
  specs: { kablosuz: true, pil: "30 saat" } }

Geniş sütun ve graf.

SQL ve NoSQL, yan yana.

Ağ koptuğunda bir seçim yapmak zorundasın.

Tutarlılık · Erişilebilirlik · Bölünme toleransı

Eric Brewer · 2000

UC Berkeley. Dağıtık sistemde üçü aynı anda olmaz.

CP · tutarlı kal

Gerekirse bekle ya da hata ver. MongoDB

AP · cevap ver

Veri birkaç saniye eski olabilir. Cassandra

ACID ve BASE: iki farklı söz.

MongoDB: humongous, yani devasa.

Dwight Merriman

Kurucu

Eliot Horowitz

Kurucu, CTO

200710gen kuruldu

2009MongoDB açık kaynak oldu

2013Şirketin adı MongoDB Inc.

Aynı yolculuk: üç tablo ya da tek doküman.

{
  pickup:  { zone: "JFK Airport", borough: "Queens" },
  dropoff: { zone: "Upper East Side", borough: "Manhattan" },
  passengers: 1,
  fare: { total: 99.4, payment: "card" }
}

Göm mü, referans mı ver?

{ zone: "JFK Airport",
  borough: "Queens" }

{ zone_id: 132 }   // zones koleksiyonunda

Kural: "Birlikte okunan birlikte saklanır." · Bir doküman en fazla 16 MB

Aynı iş, iki dil.

INSERT INTO trips … VALUES (…)

db.trips.insertOne({ … })

SELECT * FROM trips WHERE total > 50

db.trips.find({ "fare.total": { $gt: 50 } })

UPDATE trips SET tip = 10 WHERE …

db.trips.updateOne({ … }, { $set: { … } })

DELETE FROM trips WHERE …

db.trips.deleteMany({ … })

GROUP BY'ın karşılığı: bir boru hattı.

Hangi ilçede kartla ödeyenler daha çok bahşiş bırakıyor?

Doğru indeks: 70 kat fark.

COLLSCAN · indeks yok1.903 ms

2.839.623 doküman tek tek okundu

IXSCAN · indeks var27 ms

sadece 2.343 doküman okundu

Sorgu: 15 Ocak, 08:00–09:00 arası yolculuklar · demoda canlı

Replica set: bir sunucu düşse de sistem ayakta.

Sharding: veriyi sunuculara bölmek.

Shard key seçimi en kritik karar.

Ne zaman MongoDB, ne zaman değil?

Büyük veri ekosisteminde nerede duruyor?

Spark Connector ile Hadoop/Spark'a bağlanır · Kafka Connector ile akan veriyi alır

Biz ne yaptık?

2,8 milyon yolculuk, 3 shard, 1 bilgisayar.

Ölçtük: kim, nerede hızlı?

NoSQL, SQL'in yerine geçmez.
Onu tamamlar.

Teşekkürler. Sorular?