Birçoğumuz günlük işlerimizin bir parçası olarak verilerle çalışıyoruz. Diyelim ki bir üniversite çalışanıysanız her gün verilerle uğraşmak zorundasınız. Bir yönetici veya sınıflandırılmış personel, fakülte, gizli ve denetleyici çalışan, düzensiz yüklenici veya hatta ikili öğrenci olsanız da, verileri işlemek kesinlikle hayatınızın bir parçası olacaktır. Bu sadece bir örnekti ama hangi meslekte çalışırsak çalışalım veri yönetimi günlük hayatımızın çok önemli bir parçası. Bu yazıda, veri yönetiminin ne olduğunu ve neden önemli olduğunu tartışacağız.
veri yönetimi nedir?
Veri yönetiminin resmi tanımı, Uluslararası Veri Yönetimi Derneğibu nerede diyor “Veri yönetişimi, bir kuruluşun bilgi yaşam döngüsünü etkin bir şekilde yönetmek için mimarilerin, politikaların, uygulamaların ve prosedürlerin geliştirilmesi ve uygulanması anlamına gelir.”. Anlaşılması biraz belirsiz ve karmaşık gelebilir. Daha kesin olmak gerekirse, veri yönetiminin basitçe şu sonuca varabiliriz: bilgi yönetimi. Veri temelde bilgidir, birçok biçimdedir. ÖrneğinÜniversitenin sıklıkla birlikte çalıştığı veri türlerinden bazıları, kayıt ve kayıt bilgileri, notlar, adresler, yasal adlar, maaş ve vergi belgeleri, acil durum iletişim bilgileri ve çok daha fazlası gibi öğrenci ve çalışan kayıtlarıdır. Çalışırken verileri ne sıklıkla kullandığınızı fark etmemiş olabilirsiniz ve bu nedenle veri yönetimi çok önemlidir. Bu, birlikte çalıştığımız bilgilerin olması gerektiği anlamına gelir. doğru, tutarlı ve güvenli.
- Kesin verilerin doğru olduğu anlamına gelir.
- Tutarlı verilerin sistemler ve departmanlar arasında sorunsuz bir şekilde birlikte çalışabileceği anlamına gelir.
- Güvenli verilerin hem kötü niyetlere hem de bazen kaçınılmaz olan insan hatasına karşı güvenli olduğu anlamına gelir.
Daha iyi veriler, daha iyi karar vermeyi sağlar, planlama ve değerlendirme çabalarını güçlendirir, öğrenci ve çalışanların anlayışını geliştirir (üniversite ortamı söz konusu olduğunda), eyalet ve federal çabalara başarılı katılımı sağlar, hesap verebilirliği güçlendirir ve zayıf karar nedeniyle kuruma yönelik riski azaltır yapma ve yanlış raporlama.
Verileri Yönetirken Sıklıkla Yaptığımız İlk 10 Hata:
Sıklıkla karşılaştığımız on veri yönetimi hatasına bir göz atalım:
- Sivilceli Veri Yönetim Planı: Verilerinizi yönetmek için bir stratejiniz yoksa, aslında dümensiz bir gemisiniz. Verilerinizin hareketini, yaşam döngüsünü, güvenliğini, kullanılabilirliğini ve kalitesini yönetmek için bir plan olmalıdır.
- Veri Yönetim Planı yerine araçlar kullanılır:
- Maalesef bunun çok olduğunu görüyoruz. Veri yönetimi araçları tam da budur, Araçlar. Uzun vadeli bir planınız yoksa, araçlarınızı gereğinden az veya fazla kullanıyorsunuz demektir.
- Örneğin, Maslow’un Çekici örneğini hatırlayabilirsiniz. Sahip olduğunuz tek şey bir çekiç olduğunda, her şey çivi gibi görünür.
- Her araç için bir zaman ve yer vardır ve bu, bir Veri Yönetim Planının özetlediği şeyin bir parçasıdır. Bunun bir örneği ETL aracınızdır. ETL anlamına geliyor “Ayıkla, Dönüştür, Yükle” kombinasyon halinde, verileri bir veritabanından, birden çok veritabanından veya diğer kaynaklardan birleşik bir havuza, genellikle bir veri ambarına taşıyan üç işlem. Düzenleme ve zamanlama için bir ETL aracı kullanmak mümkündür, ancak bu ideal midir?
- Meta veri yönetimi eksikliği:
Dağıtılan herhangi bir veri entegrasyon çözümü ile veriler her yere gidecektir. Ama nereye gittiğini, oraya nasıl geldiğini veya kaç geçişten geçtiğini belirtebilir misiniz? Bu soruları sık sık yanıtlamanız gerekmediğini düşünüyorsanız, kendinizi kandırıyorsunuz. Bu zorluğun üstesinden gelmek için hem bir plana hem de gerekli araçlara ihtiyacınız olacak.
- Ana veriler yönetilmez (uygulamalarda, ETL’de vb. bulunur):
Müşterilerinizden biri için tüm sistemlerinizde gelişmiş bir arama yaparsanız, muhtemelen o müşterinin birden çok sürümünü bulacaksınız. Bu nedenle hangisinin doğru olduğunu belirlemek zorlaşıyor? Bu müşteri bilgileri merkezi olarak saklanmalı ve yönetilmelidir. Bunun için de işletme ile birlikte bir plan yapılması gerekir.
Ne olduğunu anlamak için biraz derine inelim İşlem verilerine karşı ana veriler dır-dir?
- Ana Veriler, bir kuruluşun önemsediği kişileri, yerleri veya şeyleri temsil eder. Bir müşteri olarak rastgele bir mağazadan biraz peynir aldığınızı varsayalım. Yani bu durumda ana veri siz, müşteri, peynir ürünü, çalışan ve mağazadır. İşlem Verisi ise Ana Verinin katıldığı bir olaydır, bu durumda peynirin satın alınmasıdır. Yani bazı örnekler fiyat, indirim veya kupon ve ödeme yöntemidir.
- Biri bir kişiyi, yeri veya şeyi tanımlarken diğeri bu isimlerin katıldığı bir eylemi veya olayı tanımladığından, ana verileri isimlerle ve işlem verilerini fiillerle neredeyse karşılaştırabilirsiniz.
- İşlem verileri ana verilerini deşifre etmenin başka bir yolu, bu verilerin ne sıklıkta değiştiğidir. Müşteri olarak sizin gibi ana verilerin, ister şirket web sitesinde ister kasada ödeme yapıyor olun tutarlı olması gerekir. Şirket sizinle nerede uğraşırsa uğraşsın, siz sizsiniz. Mağazadan her bir şey satın aldığınızda değişen işlem verilerinin aksine. Bir gün 10 rupi harcayabilirsin, ertesi gün 100 rupi olabilir. Bu ölçüm denir oynaklık. Veriler oldukça değişkense, büyük olasılıkla işlemsel verilerdir.
- Ana verileri işlemsel verilere karşı nasıl yönettiğimiz önemlidir çünkü her ikisinin de kendine özgü zorlukları vardır. Ana verilere tutarlılık sorunları neden olur. Örneğin sadakat kartınızı kasada ödeme yaparken kullanabilirsiniz, ancak online alışverişlerde kullanamazsınız. Bu, aynı kişi olmasına rağmen iki müşteri profili oluşturur. Bu da perakendecinin sizi müşteri olarak değerlendirmesini zorlaştırır ve perakendecinin sahip olduğuna inandığı müşteri sayısını artırır.
- İşlemsel veriler, veri miktarı ve departmanların bu verileri topladığı merkezi olmayan yöntemler nedeniyle zorlanmaktadır. Örneğin, yerel bir markette sadece bir günde ne kadar veri yakalandığını hayal edin. Veri miktarı çok büyük olabilir, ancak kuruluşun ve departmanlarının nasıl performans gösterdiğinin anlık görüntüsü olduğu için herkes bu verileri ister. Bu, birden fazla departmanın bu verilerde kendi yöntemlerine sahip olmasına olanak tanıyarak mantıkta tutarsızlıklara yol açar ve sonuç olarak zayıf ve gecikmiş kararlara yol açar.
- Veri kalitesi bir BT işlevi olarak kabul edilir:
Bu belki de BT gruplarının karşılaştığı en zorlu sorunlardan biridir. Verinin bir BT sorunu olduğu algısı, bir kuruluşun veri kalitesi zorluklarını çözmede ilerleme kaydetmesini engelleyebilir. Verileri BT oluşturmadığı için, verilerin doğru olup olmadığını belirlemeleri neredeyse imkansızdır, işin içinde olmak gerekir.
- Veri Ambarı, Büyük Veritabanına eşit değildir:
Veri ambarının rapor tabloları için bir çöplük olduğunu varsayma tuzağına düşen irili ufaklı kuruluşlar görüyoruz. Bu zihniyetle geride bırakılan çok büyük fırsatlar var. Ortaya çıkan önemli bir soru şudur: Gerçek bir veri ambarınız olup olmadığını nasıl anlarsınız? Cevabı birkaç kısa hikaye üzerinden bulmaya çalışalım:
- İlk hikaye, şirket için bilgi almak için birden çok yerden veri çekmek zorunda kalmaktan bıkmış bir rapor geliştiricisi hakkındadır. Bunu çözmek için kuruluş, raporlama için gerekli tüm tabloları tek bir yerde içeren bir veritabanı oluşturur ve bu yeni veritabanı, zamanlanmış yenilemelerle en son verilerle düzenli olarak güncellenir. Ve bir noktada, rapor tablolarının bu dökümü resmi olarak Veri Ambarı olarak adlandırılır.
- İkinci hikaye, görünüm oluşturmada çok iyi olan zeki bir DBA (Veritabanı Yöneticisi) hakkındadır. Görünümü, doğrudan veritabanı tarafından birden çok tablodan işlenen bir veri kümesi olarak düşünebilirsiniz. Bu görünümler, verileri raporlara sağlar. Ve bu görünümlerin tüm mantığı, yalnızca DBA’nın anlayabileceği koddadır. Zamanın bir noktasında, anında hesaplanan bu tablo kümesi veri ambarı olarak kabul edilir.
- Bu örneklerin hiçbiri gerçek bir veri ambarını temsil etmez. Ancak her iki örnekte de önemli gereksinimlerin karşılandığını görüyoruz. İlk örnekte, tablolara erişimi kolaylaştırmak için verilerin tek bir konumda olmasının ne kadar önemli olduğunu görüyoruz. İkinci örnekte, rapor yazarının içerik oluşturmaya odaklanabilmesi için sorgu mantığını basitleştirmenin önemini görüyoruz.
- Gerçek bir veri ambarı, verileri fiziksel olarak merkezileştirerek ve tüketimi için mantığı basitleştirerek bu iki senaryonun en iyi özelliklerinden yararlanır. Bir veri ambarının başarısının anahtarı, araçlar veya teknik ayrıntılar değil, iş paydaşlarıdır.
- Bir veri ambarı oluşturmak, bir soğanı soymaya çok benzer: İlk katmanla başlamazsanız, muhtemelen büyük resmi kaçırırsınız. Doğrudan ayrıntılı verilere dalma ve işin ihtiyaç duyduğu şeyleri bir araya getirme cazibesi, size zaman ve yeniden çalışmaya mal olacak. Başarılı bir uygulama için soyulması gereken 8 Veri Ambarı Kullanıcı Arayüzü katmanı vardır. Bu katmanlar bir kez aşıldığında, kuruluşun ham verileri toplamak ve bunları ortak karar verme için bir varlığa dönüştürmek için bir modeli veya daha doğrusu bir programı olur.
Peki, gerçek bir veri ambarınızın olmadığına dair işaretler nelerdir?
- Veri Eşitsizliği: Verilerinizi almak, birden fazla veritabanında arama yapmayı içerir.
- Her yerde görüntülendi: Verilerinizi almak, veritabanı görünümlerine çok bağlı olabilir.
- BT özelliği: Veri ambarı bir BT projesi olarak oluşturuldu ve İş Paydaşlarının herhangi bir ilgisini gerektirmedi.
- Yeni bir İş Zekası aracı arıyorsunuz: İhtiyacınız olan verileri alamadığınız için BI aracınızı değiştirmek istiyorsunuz.
- Kabile Bilgisi: Tüm veri toplama mantığı, rapor geliştiricilerinizin kafasındadır.
- Gölge BT: İş analistleri, verilerden bilgi çıkarmak için analitik ortamlarını bağımsız olarak oluştururlar.
- Çoklu gerçekler: Yönetim toplantıları, gerçek performans boşluklarından çok kimin verilerinin doğru olduğuyla ilgilidir.
- Ağır BI sorgu mantığı
- Excel tabanlı entegrasyon: Analistler, verilerin iyi görünmesini sağlamak için düzinelerce sekme içeren elektronik tabloları kullanmak zorundadır.
- Kaynak yoğun: Yönetim raporları veya gösterge panoları basit görünür, ancak arka uçta, tekrarlayan veri entegrasyon çalışmaları gerçekleştiren büyük bir kaynak ekibi gerektirirler.
- İş Zekası ve Veri Ambarı bir yönetim duvarı ile ayrılmıştır:
Bunun, süreç kontrollerini uygulama ihtiyacının İş Zekası çevikliğini aşındırmaya başladığı büyük kuruluşlarda sıklıkla olduğunu görüyoruz. Veri Ambarı ve İş Zekası ekiplerinin, hem taktik hem de stratejik veri taleplerinin uygun şekilde ele alınmasını sağlamak için mümkün olduğunca fazla tutarlılığa ihtiyacı vardır.
- Self Servis İş Zekası= Anlama/sorumluluk eksikliği:
Bugün piyasada bulunan araçların çoğu, iş kullanıcılarının Excel elektronik tablolarını kolayca içe aktarmasına ve analizlerini gerçekleştirmesine olanak tanır. Bu iyi bir şey çünkü çok taktik soruların sorulmasına ve cevaplanmasına izin veriyor. Ancak bu, daha büyük kuruluş için paylaşılan veya yönetilen verinin olmadığı bir ortam da yaratabilir. Çoğu zaman sonuç, ne BT’nin ne de işletmenin bilgiyi daha geniş bir kitleye ulaştırmak için gereken stratejik veri entegrasyonu inisiyatiflerini sahiplenmemesidir.
- Büyük Veri her derde devadır. Değil:
İş zekası endüstrisini takip etme şansınız olduysa, onun moda sözcükler tarafından yönetildiğini biliyor olabilirsiniz. Büyük veri, her teknoloji tedarikçisinin ürün özelliklerini açıklamak için kullandığı yeni terimdir. Hadoop ve bulut tabanlı hizmetler gibi bazı çok geçerli yenilikler olsa da, mesaj büyük ölçüde mevcut metodolojilere yeni bir bakış açısı getiriyor. Hala Pixie tozu çözümü yok.
- Verilerinizin güvenliği konusunda iyi niyet varsayarak:
Yabancıların hassas verilerinize erişmesini önlemek için güvenlik duvarlarınız olabilir, peki ya kendi şirketinizin dört duvarı arasında? Tüm veri ihlallerinin %88’inin içeriden ihmal nedeniyle olduğu tahmin edilmektedir.
Bunlar, kuruluşların karşılaştığı yaygın zorluklardan yalnızca birkaçıdır ve Veri Yönetimi Durum Kontrolü sırasında ele alınan konulara ilişkin daha geniş bir çalışmanın parçasıdır. Bu durum denetimleri, insanların kendi teknoloji ortamı, veri kullanımı, kurumsal yönetişim ve şirket kültürü karşısında ne durumda olduklarını değerlendirmelerine yardımcı olur.