Teknoloji
Yeniden çalıştırabileceğiniz, test edebileceğiniz ve güvenebileceğiniz veri hatları
Python veri hatları genellikle birer script olarak başlar ve zamanla işin dayandığı bir yapıya dönüşür. Onlara orkestrasyon, kalite kontrolleri ve net sözleşmeler kazandırırız; böylece bir hata sessiz kalmaz, yayılmaz ve güvenle yeniden çalıştırılabilir.
- Süre
- Aşama başına 4 ila 12 hafta
- Model
- Aşamalı program
- Çıktı
- Test edilmiş veri hatları ve veri sözleşmeleri
Bu hizmete ihtiyaç duyduğunuzun işaretleri
Bunların her biri iş loglarında, panolarda ya da analistlerin sorduğu sorularda görülür.
- Veri hatlarını tek bir sunucudaki cron işleri çalıştırıyor; biri hata verdiğinde sonraki iş bozuk veriyle çalışıyor.
- Kaynak sistemde adı değişen bir kolon raporları günler sonra bozuyor ve hangi tabloların etkilendiğini kimse söyleyemiyor.
- Hata veren bir işi yeniden çalıştırmak mükerrer satırlar üretiyor; her yeniden çalıştırma bir kişi ve bir hesap tablosu gerektiriyor.
- İki pano farklı sonuç gösteriyor, çünkü aynı metrik birkaç SQL script’inde ayrı ayrı hesaplanıyor.
- Gece çalışan batch iş artık mesai başlamadan bitmiyor ve çözüm olarak streaming öneriliyor.
- Her Python projesi farklı kütüphane sürümlerine sabitlenmiş; geçen ayın ortamını kimse yeniden kuramıyor.
- Bir model notebook’ta çalışıyor ama kullandığı feature’lar üretimde farklı hesaplanıyor.
Veri hatalarının çoğu sessizdir
Veri taşıyan bir script, bir web servisi gibi hata vermez. İşini bitirir, başarılı olduğunu bildirir ve yanlış sayıları yazar. Şema, hacim, güncellik ve boş değer kontrolleri yoksa ilk alarm, bir toplantıda bir grafiğe inanmayan birinden gelir.
Olağan çözümler daha büyük bir sunucu, streaming’e geçiş ya da yeni bir araçtır. Hiçbiri asıl nedenleri değiştirmez: idempotent olmayan işler, script’lere dağılmış dönüşümler ve verinin biçiminin bir sahibinin olmaması. Biz Airflow ya da Dagster gibi bağımlılıkları ve retry’ları açık hale getiren bir orkestrasyonla, veriyi üreten ekiplerle onu okuyan veri hatları arasındaki sözleşmelerle ve örneğin dbt ile kurulan, kod gibi test edilen tek bir SQL dönüşüm katmanıyla başlarız.
Veri modeli ve onu çevreleyen depolar, örneğin bölümleme ya da hangi deponun hangi iş yüküne hizmet edeceği, Veri Mimarisi ve Migrasyon hizmetinin konusudur. Bu hizmet, veriyi taşıyan ve biçimlendiren Python ve SQL koduyla, veriyi dışarıya açan servislerle ilgilidir.
Kapsama girenler ve girmeyenler
Dahildir
- Airflow, Dagster ya da mevcut zamanlayıcınızla, retry ve backfill dahil orkestrasyon
- Her çalıştırmanın mükerrer kayıt üretmeden tekrarlanabildiği idempotent yüklemeler
- Şema, hacim, güncellik ve boş değerler için veri kalitesi kontrolleri; uyarılar sorumlu ekibe gider
- Kaynak sistemlerle onları okuyan veri hatları arasında veri sözleşmeleri
- Her metrik için tek tanım içeren, test edilmiş bir SQL dönüşüm katmanı
- Eğitim ve servis için aynı mantığı kullanan feature hatları ve FastAPI servisleri
- Paketleme ve bağımlılık düzeni: lock dosyaları, sabitlenmiş imajlar ve testleri çalıştırmanın tek bir yolu
Dahil değildir
- BI panolarının ve raporların hazırlanması
- Makine öğrenmesi modellerinin eğitilmesi ya da ince ayarı
- Veri ambarı ya da lakehouse sağlayıcısı seçimi
- Devirden sonra veri hatlarının günlük işletimi
İş nasıl ilerler
- Hafta 1 ila 2Akışları haritalayın. Koda, zamanlayıcılara ve veri ambarı metadata’sına salt okunur erişimle her veri hattını çıkarırız: kaynakları, çıktıları, zamanlaması ve sonucu kimin okuduğu. Son hatalar ve yeniden çalıştırmalar riskin nerede olduğunu gösterir.
- Hafta 3 ila 6Çalıştırmaları güvenli hale getirin. En riskli veri hatları idempotent yüklemeler, retry ve backfill ile orkestrasyon altına alınır. Kalite kontrolleri her adımda çalışır ve bozuk veriyi yayılmadan durdurur.
- Hafta 5 ila 10Sözleşmelerde anlaşın. Veriyi üretenler ve tüketenler şemalar ve değişiklik kuralları üzerinde anlaşır. Ortak metrikler test edilmiş tek bir SQL katmanına taşınır, mükerrer script’ler kaldırılır.
- Hafta 8 ila 12Veriyi sunun. Uygulamaların ya da AI özelliklerinin veriye ihtiyaç duyduğu yerlerde, tipli şemaları, testleri ve eğitimle servis için tek bir kod yolu olan FastAPI servisleri ve feature hatları eklenir.
- Süreç boyuncaErişimi dar tutun. Erişim varsayılan olarak salt okunurdur; bir aşamada kullanılan yazma yetkisi aşama bitince kaldırılır.
Elinize ne geçiyor
Tüm çıktılar sizindir: kod, raporlar, diyagramlar ve kaynak dosyaları, hepsi kendi depolarınızda.
Hangi durumda doğru hizmet değil
- Veri hattından çok panoya ihtiyacı olan ekipler. Raporların dayandığı akışları kurarız; raporların kendisi ayrı bir iştir.
- Model eğitimi ve veri bilimi çalışmaları. Bir AI özelliği modelin etrafında mimariye ihtiyaç duyuyorsa doğru başlangıç AI / LLM Entegrasyon Mimarisi hizmetidir.
- İyi indekslenmiş tek bir veritabanının rahatça taşıdığı veriler. Bir orkestratör ve bir veri ambarı fayda sağlamadan maliyet ekler.
Sık sorulanlar
Airflow mu, Dagster mı?
İkisi de iş görür. Airflow yaygın olarak bilinir ve görev tabanlı zamanlamalara uyar; Dagster ise veri varlıklarını doğrudan modeller ve görevler yerine tablolarla düşünen ekiplere uygundur. Birini zaten kullanıyorsanız genellikle onu korur, kullanım biçimini düzeltiriz.
Streaming’e ihtiyacımız var mı?
Yalnızca işin veriye dayanarak dakikalar içinde aksiyon aldığı yerlerde; örneğin dolandırıcılık kontrolleri ya da stok seviyeleri. Streaming maliyet ve yeni hata biçimleri getirir; bu yüzden raporlamanın çoğu batch olarak kalır ve streaming sayılarıyla tutarlı olacak şekilde tasarlanır.
Veri hatlarında kişisel verileri nasıl ele alıyorsunuz?
Veri hatlarını, kişisel veriyi az sayıda yerde tutacak ve nereye aktığını kayıt altına alacak şekilde tasarlarız; bu, KVKK, GDPR ya da UK GDPR gibi düzenlemeler kapsamındaki erişim ve silme taleplerini yanıtlamayı kolaylaştırır. Bu bir mühendislik önlemidir, hukuki görüş değildir.
Hangi Python sürümlerini ve araçlarını kullanıyorsunuz?
Desteklenen CPython sürümlerini, her depoda tek bir paketleme aracını ve bir lock dosyasını. Ekibiniz Poetry ya da uv gibi sağlam bir aracı zaten kullanıyorsa, yenisini eklemek yerine onu koruruz.
Aşama bittiğinde ne olur?
Ekibiniz veri hatlarını işletim kılavuzuyla yürütür ve yazma yetkisi kaldırılır. Sözleşmeler ve kontroller sizin pipeline’ınızda çalıştığı için bizsiz de çalışmaya devam eder.
Önce kısa bir teknik sohbetle başlayalım
Otuz dakika. Veri hatlarınızı anlatırsınız, işi yürütecek mimar nereden başlayacağımızı söyler.