Müşterilerden en sık aldığım sorulardan biri şudur: "Veri kalitesine ve gözlemlenebilirliğe yatırım yapmak ne zaman mantıklıdır?"
Cevabım, “ duruma göre değişir. ”
Gerçek şu ki, bir veri platformu oluşturmak çok aşamalı bir yolculuktur ve veri ekiplerinin düzinelerce rekabet eden önceliği dengelemesi gerekir. Veri gözlemlenebilirliği, şirket içi bir veritabanına bağlı birkaç panoya sahip bir şirket için anlamlı olmayabilir.
Öte yandan, konuştuğum birçok kuruluş , veri kabulü ve güveninde buna karşılık gelen bir artış görmeden veri platformlarını geliştirmeye yönelik yatırımlarını artırdı. Şirketiniz verilerinizi kullanmıyor veya güvenmiyorsa, veri platformu hakimiyeti için en iyi planlarınız boş bir hayaldir.
Bu soruyu yanıtlamak için, veri platformunuz için veri kalitesine yatırım yapmanın zamanının geldiğine dair yedi öncü gösterge belirledim.
Yıllar boyunca yüzlerce müşteriyle konuşarak, veri ekibinizin veri kalitesine öncelik vermesi gerektiğini öneren yedi açıklayıcı işaret belirledim.
Kuruluşunuz ister bir veri gölüne ister bulut platformları arasında (örneğin, Amazon Redshift'ten Snowflake'e) geçiş sürecinde olsun, veri kalitesini korumak, veri ekibinizin yapılacaklar listesinde üst sıralarda olmalıdır.
Sonuçta, muhtemelen üç nedenden biriyle göç ediyorsunuz:
Sorunların oluşmasını önlemek için veri işlem hatlarınızı oluşturmak için daha fazla, testler yazmak için daha az zaman harcamanız gerekir.
AutoTrader UK için, veri gözlemlenebilirliğine yatırım yapmak, ilk bulut veritabanı geçişlerinin kritik bir bileşeniydi .
Edward, "Şirket içi güvenilir sistemleri buluta geçirirken, bu eski sistemlerin kullanıcılarının yeni bulut tabanlı teknolojilerin geçmişte kullandıkları eski sistemler kadar güvenilir olduğuna güvenmeleri gerekiyor" dedi. Kent, Baş Geliştirici, AutoTrader İngiltere.
Veri ürününüzün ölçeği, veri kalitesine yatırım yapmak için tek kriter değildir, ancak önemli bir kriterdir. Herhangi bir makinede olduğu gibi, ne kadar hareketli parçaya sahip olursanız, güvenilirlik mühendisliğine uygun bir şekilde odaklanılmadığı takdirde, parçaların kırılması o kadar olasıdır.
Gözlenebilirliğe yatırım yapmadan önce kuruluşunuzun kaç tane veri kaynağına, işlem hattına veya tabloya sahip olması gerektiğine dair kesin ve hızlı bir kural olmasa da, 50'den fazla tablo iyi bir genel kuraldır. Bununla birlikte, daha az tablonuz varsa, ancak kuruluşunuz için veri kesinti süresinin ciddiyeti büyükse, veri gözlemlenebilirliği yine de çok mantıklı bir yatırımdır.
Bir diğer önemli husus, veri yığınınızın büyüme hızıdır. Örneğin, reklam platformu Choozle , yeni platform yükseltmeleriyle tablonun yayılmasını öngördüğü için veri gözlemlenebilirliğine yatırım yapması gerektiğini biliyordu .
“Reklamverenlerimiz Google, Bing, Facebook veya başka bir dış platforma bağlandığında, Fivetran veri ambarına giriyor ve bunu tamamen otomatik olarak raporlama yığınına bırakıyor. Choozle CTO'su Adam Woods, "Bir reklamverenin ne zaman bir bağlayıcı oluşturduğunu bilmiyorum" dedi.
“Bu, masanın yayılmasını, çoğalmasını ve parçalanmasını yarattı. Tüm bu tabloların senkronize ve güncel olduğundan emin olmak için veri izleme ve uyarıya ihtiyacımız vardı, aksi takdirde müşterilerden haber almaya başlardık.”
Veri ekibiniz büyüyor
İyi haber, kuruluşunuzun verilere değer vermesidir; bu, daha fazla veri çalışanı işe aldığınız ve veri yığınınız için modern araçları benimsediğiniz anlamına gelir. Bununla birlikte, bu genellikle veri ekibi yapılarında (merkezileştirilmişten merkezi olmayana), yeni süreçlerin benimsenmesine ve veri ekibinin ilk birkaç üyesi arasında yaşayan veri kümeleriyle bilgide değişikliklere yol açar.
Veri ekibiniz bu sorunlardan herhangi birini yaşıyorsa, veri kalitesini korumak için proaktif bir yaklaşıma yatırım yapmak için iyi bir zaman. Aksi takdirde, teknik borç zamanla yavaş yavaş birikecek ve veri ekibiniz zamanlarının büyük bir kısmını veri sorunlarını temizlemek için harcayacaktır.
Örneğin, bir müşterimize “O Masayı mı Kullanıyorsunuz?” dediğimiz soru soruldu. sorun. Veri platformları ölçeklendikçe, veri analistlerinin hangi tabloların aktif olarak yönetildiğini ve hangi tabloların eski olduğunu ayırt etmesi zorlaşıyor.
Veri sertifika programları ve uçtan uca veri kökeni bu sorunların çözülmesine yardımcı olabilir.
Büyüyen bir veri ekibinin veri kalitesine yatırım yapmak için bir işaret olmasına rağmen, tek kişilik bir veri ekibinin bile daha otomatikleştirilmiş yaklaşımlardan büyük ölçüde yararlanabileceğini belirtmek önemlidir. Örneğin, Clearcover'ın tek kişilik veri mühendisliği ekibi, otomasyona yatırım yaparak darboğazları ortadan kaldırmayı ve işletmeye daha fazla değer katmayı başardı.
Ekibiniz zamanının en az %30'unu veri kalitesi sorunlarıyla mücadele etmek için harcıyor
Monte Carlo'ya başladığımızda, veri sistemlerini yönetme konusundaki sıkıntılı noktalarını anlamak için 50'den fazla veri lideriyle görüştüm. %60'tan fazlası veri güvenilirliği yolculuğunun ilk aşamalarında olduklarını belirtti ve ekipleri günün ilk yarısını yangınla mücadele veri kalitesi sorunlarıyla geçiriyor.
Örneğin, Blinkist'te Mühendislik Direktörü Gopi Krishnamurthy, veri gözlemlenebilirliğini uygulamadan önce ekibinin çalışma saatlerinin yüzde 50'sini yangınla mücadele veri tatbikatlarına harcadığını tahmin ediyordu.
Çok sayıda endüstri araştırması şunu doğruladı: veri mühendisleri yenilik yapmak yerine (değerli!) zamanlarının çoğunu düzeltmeye harcıyorlar. Araştırmam sırasında, veri mühendisliği ekiplerinin zamanlarının yüzde 30-50'sini bozuk boru hatları, hatalı modeller ve eski panolarla mücadele etmek için harcadıklarını da keşfettim.
Kendi yerel veri kalitesi platformlarını geliştiren eğrinin daha ilerisindeki kuruluşlar bile, ekiplerinin platformu oluşturmak ve yükseltmek için çok fazla zaman harcadığını ve bu boşlukların devam ettiğini görüyor.
Ekibinizin 1 yıl öncesine göre daha fazla veri tüketicisi var
Kuruluşunuz müthiş bir hızla büyüyor. Veriler, işe alım kararlarınızı, ürün özelliklerinizi ve tahmine dayalı analitiklerinizi destekliyor.
Ancak çoğu durumda hızlı büyüme, verilere, daha çeşitli veri gereksinimlerine ve nihayetinde daha fazla veriye dayanan iş paydaşlarında artışa yol açar. Ayrıca, kötü verilerin veri ekosisteminize girme olasılığı arttıkça, harika veriler daha fazla sorumluluk getirir.
İroni budur: En çok veriye dayalı kuruluşlar, herhangi bir hatayı ortaya çıktığında tespit etmek için daha fazla veri tüketicisine sahip olacaktır. Örneğin, AutoTrader UK'de, tüm çalışanların %50'sinden fazlası, finansal raporlama gibi karmaşık, daha yüksek profilli veri ürünleri de dahil olmak üzere her ay Looker'a giriş yapıyor ve verilerle etkileşim kuruyor.
Tipik olarak, paydaşlardan gelen veri ihtiyaçlarındaki artış, son kullanıcılar için veri güvenilirliğini sağlamak için proaktif olarak veri kalitesi sorunlarının bir adım önünde olmanız gerektiğinin iyi bir göstergesidir .
Şirketiniz self servis analitik modeline geçiyor
Veri mühendisliği zamanını boşaltmak ve her iş kullanıcısının verilere doğrudan erişmesine ve bunlarla etkileşime girmesine izin vermek için bir self servis analitik modeline geçiyorsunuz.
Veri ekibiniz artık iş kullanıcılarından gelen anlık istekleri yerine getirmek zorunda olmadığı için heyecanlı. Aynı şekilde, paydaşlarınız verilere erişim konusunda bir darboğaz ortadan kaldırıldığı için mutludur.
Bu, veri ekibiniz için heyecan verici olsa da, paydaşlarınızın verilere güvenmesi gerekir. Güvenmiyorlarsa, karar vermek için kullanmazlar. Ve nihayetinde, son kullanıcılarınız verilere güvenmezse, self servis analitik modeline geçme amacını ortadan kaldırır.
Herhangi bir veri ekosisteminde mevcut olan iki tür veri kalitesi sorunu vardır: tahmin edebileceğiniz ( bilinen bilinmeyenler ) ve yapamayacağınız ( bilinmeyen bilinmeyenler ). Veriler, veri odaklı kuruluşların günlük operasyonları için giderek daha fazla entegre hale geldikçe, güvenilir verilere olan ihtiyaç da artıyor.
Veri, müşteri değer teklifinin önemli bir parçasıdır
Kuruluşunuz verileri için yeni bir kullanım durumu bulduğunda, özellikle de müşteriye yönelikse, kafanızda bir alarm çalmalıdır. Yavaş yavaş, her uygulama bir veri uygulaması haline geliyor.
Restoranlar için lider bir satış noktası sağlayıcısı olan Toast, müşterilerine sağladığı iş anlayışları ile rakiplerinden ayrılıyor. Toast aracılığıyla restoranlar, işlerinin zaman içinde nasıl gittiği, satışlarının düne göre nasıl olduğu ve en iyi müşterilerinin kimler olduğu gibi yüzlerce veri noktasına erişiyor.
Toast'ta veri mühendisliği müdürü olan Noah Abramson, "Müşterilerimizin hepsinin Toast çalışanı olduğunu söylüyoruz" dedi.
"Ekibimiz, üründen pazara girişe, müşteri desteğinden donanım operasyonlarına kadar tüm dahili veri taleplerine hizmet veriyor."
Bu çok büyük bir katma değer olsa da, veri yığınlarını müşteriye dönük hale getirir. Bu, ana ürünüyle aynı güvenilirlik ve çalışma süresi standartlarıyla işlenmesi gerektiği anlamına gelir.
Tüketicilere gaz ve petrol sağlamak için her gün petrol kulelerine güvenmeye ihtiyaç duyan gaz şirketleri gibi, kuruluşların da paydaşlarına temiz ve güvenilir veriler sunmak için verilerine güvenmeleri gerekir.
Veri kalitesine proaktif bir yaklaşım izleyerek ekibiniz, veri kalitesi sorunları hakkında çılgınca Slack mesajlarından, kısa e-postalardan ve diğer veri kesintisi göstergelerinden çok önce haberdar olabilir.
Aksi takdirde, değerli mühendislik zamanı, veri kesintisi ile mücadelede boşa harcanır, veri odaklı bir şirket olma çabalarınız zamanla engellenir ve iş kullanıcıları verilere olan güvenini kaybeder.
Her durum işinize göre değişse de, veri kalitesini mümkün olduğunca erken veri platformunuza eklemenin en iyi yol olduğunu gördük.
Sonuçta, herkesin hızlı aramada Spiderman'i yok.
Veri platformunuz için veri kalitesine proaktif bir yaklaşım benimseme hakkında daha fazla bilgi edinmek ister misiniz? Barr Moses ve Monte Carlo ekibinin geri kalanına ulaşın .
Yasal Uyarı: Bu makale yalnızca eğitim amaçlıdır. Kimseyi web sitelerini, özellikle de bu tür eylemlere karşı hüküm ve koşulları olabilecek web mülklerini kazımaya teşvik etmiyoruz.
Biçimsel bir sistem, temel sembollerden ve bu sembolleri manipüle etmek için bir dizi kuraldan oluşan bir mantık yapısıdır. Bu semboller “temeldir” çünkü içsel bir anlamları yoktur.
Abha'da spor aktiviteleri için bir deneyim tasarlayalım! Programın neredeyse yarısına geldik ve 3. proje zamanı geldi! Yalan söylemeyeceğim bu proje şimdiye kadar yaptığım en bunaltıcı, stresli ama eğlenceli proje olabilir. Başlamak için, güzel Abha şehrinde spor aktiviteleri için bir deneyim tasarlamak olan meydan okumamızla tanıştık.
Bazen, Morgan Stanley'de çalışırken, bir çarşamba günü en iyi arkadaşınla yatmak isteyen Dalton adında bir adamla sarhoş olursun. Continental'den çıkıp St.
Amerikalı koşucu Athing Mu, profesyonel kariyerinde ilk kez 800 metrelik bir yarışı kaybedebilirmiş gibi görünüyordu. Mu, tipik olarak, az kol hareketi ve görünüşte az enerji içeren benzersiz ve zahmetsiz bir adımla yarışlarına hükmeder.
1949 Amerika'da bir dizi olay oldu; Los Angeles ilk kar yağışını kaydetti, 1.200 kiloluk bir inek Oklahoma'da bir siloya sıkıştı ve ABD'de hiçbir Afrikalı-Amerikalının linç edilmediği ilk yıldı. Aynı zamanda FBI'ın En Çok Arananlar listesi fikrinin ortaya çıktığı zamandı.