Ana hizmet
Verinize büyüyecek alan açın
Tek bir veritabanı işlemleri, raporları ve her yeni özelliği taşıdığında büyüme; kilit beklemelerine ve uzun toplu iş pencerelerine dönüşür. Veri katmanını yeniden tasarlar, kesinti olmadan taşırız.
- Süre
- 6 ila 16 hafta
- Model
- Tasarım ve aşamalı migrasyon
- Çıktı
- Veri modeli ve kesintisiz migrasyon
Veri katmanının darboğaza dönüştüğünü gösteren işaretler
Bunlar genellikle birlikte görülür. İşin daha önceki bir aşaması için doğru olan bir veri modeline ve depolama düzenine işaret ederler.
- Ay sonu raporları canlı sistemi yavaşlatıyor; ağır sorgular gece yarısına planlanıyor.
- Bir tablo o kadar büyüdü ki bir indeks ya da kolon eklemek bakım penceresi gerektiriyor.
- Her servis aynı şemayı okuyup yazıyor; bir yerdeki değişiklik başka bir yeri bozuyor.
- Okuma replikaları eklendi ama kullanıcılar yazdıktan hemen sonra hâlâ eski ya da tutarsız veri görüyor.
- Müşteri ya da sipariş verisinin asıl kaynağının hangi sistem olduğundan kimse emin değil.
- Veritabanı yükseltmesi ya da buluta taşıma, kesinti süresini kimse tahmin edemediği için sürekli erteleniyor.
- Depolama ve lisans maliyeti her çeyrek artıyor, oysa verinin büyük kısmı nadiren okunuyor.
Önce model, sonra teknoloji
Veri sorunları çoğu zaman kapasite sorunu gibi ele alınır. Daha büyük bir sunucu ya da bir replika daha birkaç ay kazandırır ama baskı geri döner, çünkü verinin şekli değişmemiştir: işlem ve analiz yükleri hâlâ aynı tabloları paylaşır, her veri kümesinin sahibi hâlâ belirsizdir.
Biz modelden başlarız: hangi veri işin hangi parçasına ait, ne kadar tutarlı olması gerekiyor, nasıl okunuyor ve nasıl büyüyor. Düzeni ancak bundan sonra seçeriz; bu bölümleme, raporlama için ayrı depolar, önbellek ya da sahipliğin servisler arasında ayrılması olabilir.
Migrasyon da hedef kadar dikkatle tasarlanır. Veri çift yazma, geriye dönük doldurma ve doğrulama ile aşama aşama taşınır; her adımın bir geri dönüş yolu vardır. Sistem bu süre boyunca kullanıcılara hizmet vermeye devam eder.
Kapsam
Dahildir
- Mevcut veri modeli ve erişim desenlerinin analizi
- Hedef veri modeli ve sahiplik haritası
- Bölümleme (partitioning) veya sharding planı
- Raporlama ve işlem yüklerinin ayrılması
- Önbellek stratejisi
- Geri dönüş adımlarıyla kesintisiz migrasyon prosedürü
- Veri doğrulama ve mutabakat kontrolleri
- Hedef düzen için kapasite ve maliyet projeksiyonu
Dahil değildir
- Pano ve BI raporlarının hazırlanması
- Veri bilimi ve makine öğrenmesi modelleri
- Devirden sonra veritabanlarının günlük işletimi
- Veritabanı üreticileriyle lisans pazarlıkları
İş nasıl ilerler
- Hafta 1 ila 2Veriyi haritalayın. Şemalar, sorgu kayıtları, büyüme eğilimleri ve veri sahipliği incelenir. En ağır sorgular ve en riskli tablolar izlenimle değil, ölçümle belirlenir.
- Hafta 3 ila 5Hedefi tasarlayın. Hedef model, bölümleme planı ve her deponun sorumluluğu tasarlanır ve karar kayıtlarına yazılır. Kapasite ve maliyet beklenen büyümeye göre öngörülür.
- Hafta 6 ve sonrasıAşama aşama taşıyın. Veri tablo tablo ya da alan alan, çift yazma ve geriye dönük doldurma ile taşınır. Trafik yönlendirilmeden önce her aşama mutabakat kontrolleriyle doğrulanır.
- Son haftalarDevredin. İşletim kılavuzları, yeni düzenin izlenmesi ve migrasyon kaydı; öncesi ve sonrası ölçümlerle birlikte ekibinize devredilir.
Elinize geçenler
Tüm çıktılar sizin depolarınızda ve hesaplarınızda kalır.
Bu hizmet kimin için değil
- Verisi rahatça sığan ve sorguları hızlı olan sistemler. Bölümleri ya da yeni depoları erken eklemek fayda getirmeden maliyet ekler.
- Bir raporlama panosu arayan ekipler. Biz raporlamayı besleyen veri katmanını tasarlarız; raporların hazırlanması ayrı bir iştir.
- Doğrulama yapılmadan tek bir hafta sonunda bitmesi gereken migrasyonlar. Veriyi aşama aşama taşırız, çünkü başarısız bir tek seferlik migrasyon en pahalı sonuçtur.
- Sorun anlaşılmadan önce yeni bir veritabanı ürünü seçilmesini bekleyen projeler.
Sık sorulanlar
Migrasyon gerçekten kesintisiz olabilir mi?
Çoğu durumda evet. Taşımayı, eski ve yeni düzen yan yana çalışacak ve trafik yalnızca doğrulamadan sonra yönlendirilecek şekilde tasarlarız. Küçük bir veri kümesinin son geçişi gibi kısa bir duraklamanın kaçınılmaz olduğu yerlerde bu önceden planlanır ve ölçülür.
Veritabanını değiştirmek zorunda mıyız?
Gerekmeyebilir. Birçok sorun bölümleme, daha iyi indeksleme ya da raporlama için ayrı bir yol kurularak zaten kullandığınız veritabanının içinde çözülür. Yeni bir depo yalnızca model gerektirdiğinde önerilir.
Hangi veritabanlarıyla çalışıyorsunuz?
Ağırlıklı olarak PostgreSQL, MongoDB ve Redis; verinin olay olarak aktığı yerlerde Kafka. Diğer motorları yeterince iyi bilip bilmediğimizi ilk görüşmede söyleriz.
Migrasyonu kim yürütüyor, siz mi ekibimiz mi?
Genellikle birlikte. Migrasyonu biz tasarlar ve yönetiriz, ekibiniz bazı bölümlerini bizimle birlikte yürütür; sonunda mühendisleriniz yeni düzeni kendi başlarına işletebilir.
Bir aşama başarısız olursa ne olur?
Her aşamanın, aşama başlamadan önce test edilmiş bir geri dönüş yolu vardır. Trafik eski düzene döner, neden giderildikten sonra aşama tekrarlanır.
Önce kısa bir teknik sohbetle başlayalım
Otuz dakika. Verinizi ve nerede zorlandığını anlatırsınız, biz çözümün modelde mi, düzende mi yoksa migrasyonda mı olduğunu söyleriz.