Veri varlıklarının profilleri
Bir varlık profili, varlık içeriğiyle ilgili oluşturulan meta verileri ve istatistikleri içerir ve veri kalitesini artırmak için hangi işlemlerin yapılması gerektiğini anlamanıza yardımcı olur. Profili bir varlığın Profil sayfasında görebilirsiniz.
İlişkisel ya da yapısal veriler içeren veri varlıkları için profiller oluşturulabilir.
- Gereksinimler ve kısıtlamalar
- Tanıtım yaratmanın yolları
- Profil oluşturma sırasında neler çözümlenir?
- Profil bilgileri
Gereksinimler ve kısıtlamalar
Aşağıdaki koşullar altında varlıkların profilini görüntüleyebilirsiniz.
- Gerekli hizmet
- Watson Knowledge Catalog hizmeti.
- Gerekli izinler
- Bu sayfayı görüntülemek için bir proje ya da katalogda herhangi bir rolünüz olabilir.
- Bir profil oluşturmak ya da güncellemek ya da bir projede meta veri zenginleştirmesini çalıştırmak için projede Yönetici ya da Düzenleyici rolünüz olmalıdır.
- Bir katalogda profil oluşturmak ya da güncellemek için, katalogda Yönetici rolüne sahip olmanız ya da Düzenleyici rolüne sahip olmanız ve bir varlık sahibi ya da varlık üyesi olmanız gerekir.
- Çalışma Alanları
- Bu çalışma alanlarında varlık profilini görüntüleyebilirsiniz:
- Projeler
- Kataloglar
- Varlık tipleri
- Bu varlık tiplerinin bir profili vardır:
Cloudant hariç olmak üzere, veri kaynaklarına bağlantıdan ilişkisel veya ilişkisel olmayan veritabanlarından veri varlıkları
Bölümlenmiş bir veri kümesinin birden çok dosyadan oluştuğu ve yerel dosya sisteminden ya da dosya tabanlı bağlantılardan veri kaynaklarına yüklenen tek bir klasörle temsil edildiği bölümlenmiş veri kümelerindeki veri varlıkları
Yerel dosya sisteminden karşıya yüklenen dosyalardan ya da dosya tabanlı bağlantılardan veri kaynaklarına şu biçimlerde veri varlıkları:
- CSV
- XLS, XLSM, XLSX (Yalnızca çalışma defterindeki ilk sayfa profillenir.)
- TSV
- Avro
- Parke
Ancak, veri varlıkları bunlara belirtik olarak başvurmadığında, yapısal veri dosyalarının profili oluşturulmaz; örneğin, aşağıdaki durumlarda:
- Dosyalar bağlı bir klasör varlığı içinde. Bağlı bir klasör varlığından erişilebilen dosyalar varlık olarak kabul edilmez ve profillenmez.
- Dosyalar bir arşiv dosyası içinde. Arşiv dosyasına veri varlığı tarafından başvurulduğundan sıkıştırılmış dosyaların profili oluşturulmaz.
Yapısal olmayan verileri olan belgeleri içeren veri varlıkları. Boyutu 100 MB ' ye kadar olan belgelerin profili çıkarılabilir. Daha büyük belgelerin profili oluşturulmaz. Bu belge tiplerinin profili çıkarılabilir:
- Bu mime türlerini içeren Microsoft Word belgeleri:
- uygulama/msword
- application/vnd.openxmlformats-officedocument.wordprocessingml.document
- Mime tipi uygulama/pdf olan PDF belgeleri
- Mime tipi text/plain olan düz metin belgeleri
- Mime tipi text/html olan HTML belgeleri
- Bu mime türlerini içeren Microsoft Word belgeleri:
-
Profil oluşturma yolları
İlişkisel ve yapılandırılmış veri içeren veri varlıklarının profilleri ve yapılandırılmamış veriler içeren veri varlıklarının profilleri farklı şekilde oluşturulur.
İlişkisel ve yapısal veriler
Yapılandırılmış ya da ilişkisel veriler içeren veri varlıklarına ilişkin profiller farklı şekillerde oluşturulabilir:
Yönetilen kataloglarda, veri varlıkları aşağıdaki kural dışı durumlar dışında kataloğa eklendiğinde tek tek veri varlıklarına ilişkin profiller otomatik olarak oluşturulur:
- Katalog için otomatik profil oluşturmayı devre dışı bırakdınız.
- Varlık, kişisel kimlik bilgilerini kullanacak şekilde yapılandırılmış bir bağlantıdan geliyor.
- Varlık, yayınlanmadan önce meta veri zenginleştirmesi aracılığıyla profillendi. Bu tür varlıkların zaten varlıkla birlikte kataloğa eklenen bir profili var.
Veri koruma kuralı uygulaması olmayan projelerde ve kataloglarda, tek tek veri varlıkları için el ile profil oluşturabilirsiniz . Varlık daha önce profillenmediyse, yönetilen bir katalogda el ile bir profil de oluşturabilirsiniz.
Projelerde, bir kerede büyük veri varlıkları kümelerinin profilini oluşturmak için bir meta veri zenginleştirme varlığı oluşturabilir ve çalıştırabilirsiniz. Bu varlık profilleri projede kullanılabilir. Zenginleştirilmiş varlıkları profilleriyle birlikte herhangi bir katalog tipinde yayınlayabilirsiniz. Bkz. Meta veri zenginleştirmeyi yönetme.
Bir hesap içinde, bir varlığı bir projeden bir kataloğa yayınladığınızda ya da bir katalogdan bir projeye eklediğinizde, profil oluşturma sonuçları veri varlığıyla birlikte kopyalanır. Ancak, katalog ve proje farklı hesaplara aitse, kullanılabilir veri sınıfları kümesi farklı olabileceği için profiller kopyalanmaz.
Bir projedeki ya da katalogdaki varlığın Profil sayfasından tek bir varlık profilini güncelleyebilirsiniz. Meta veri zenginleştirmesinde yer alan bir veri varlığının profilini el ile güncellerseniz, profil ve analiz bilgileri de ilgili zenginleştirme sonuçlarına yansıtılır. Yeni zenginleştirme sonuçları yayınlandığında profiller de güncellenir.
Var olan bir tanıtımı güncellediğinizde, tanıtımın içereceği veri sınıflarını değiştirebilirsiniz. Daha önce bir sütuna atanmış bir veri sınıfını dışladıysanız, güncellenen profil, farklı bir veri sınıfı atanmamışsa, ilgili sütun için Sınıf hariç tutuldu (profilden) seçeneğini gösterir. Atanmış veri sınıfına erişiminiz olmadığı sütunlar için Sınıf dışlandı (profilden) seçeneğini de görürsünüz.
Yapısal olmayan veriler
Yapısal olmayan veri varlıklarına ilişkin profiller her zaman otomatik olarak oluşturulur. Ancak, veri varlıkları doğrudan projeye ya da kataloğa yüklenmelidir. Bağlantılı varlıklar olarak eklenen yapılandırılmamış belgelerin profili oluşturulmaz.
Profil oluşturma sırasında neler analiz edilir?
Veri varlıklarının ilişkisel ve yapılandırılmış verilerle analizi ve yapılandırılmamış verilerle veri varlıklarının profilleri farklı şekilde yapılır.
İlişkisel ve yapısal veriler
Bir proje ya da katalogdaki Profil sayfasından yapısal ya da ilişkisel verilerle bir veri varlığı için profil oluşturur ya da güncellerseniz, sütunlar analiz edilir.
Bir projede ya da katalogda tek bir varlık profili oluşturulduğunda, profil varsayılan olarak ilk 5.000 veri satırına dayalı olarak oluşturulur. Veri varlığının 250 'den fazla sütunu varsa, profil ilk 1000 veri satırına dayalı olarak oluşturulur. Profil, meta veri zenginleştirme yoluyla oluşturulursa, örnekleme meta veri zenginleştirme ayarları tarafından belirlenir.
Verilerinizin yapısını ve içeriğini tanımlamak ve sınıflandırmak için, çözümleme aşağıdaki görevleri içerir:
- Analiz edilen her sütunun verilerine ilişkin istatistikleri hesaplayın.
- Kolonlar ve veri tipleri dağılımı için veri tiplerini hesaplayın.
- Sütun ve biçim dağılımı için veri biçimlerini hesaplar.
- Verileri sınıflandırın ve sütunlar için veri sınıfı adaylarını hesaplayın.
- Frekans dağılımlarını yakalayın.
Yapısal olmayan veriler
Yapısal olmayan veri varlıklarının profilini çıkarmak için, düz metin belgeden çıkarılır ve çıkarılan metnin ilk 5 MB ' lik alanı analiz edilir. Profil oluşturma sırasında, belirli bilgi tiplerini tanımlamak için çıkarılan belge içeriğine birkaç kalıp uygulanır. Bu tür bilgileri saptamak için, bilginin yapısı, yakındaki bağlam, çıkarılan içeriğin tamamı ve belgenin yazıldığı dil dikkate alınır. Sonuçlar daha sonra önceden tanımlanmış veri sınıflarıylaeşlenir. Örneğin, banka hesap numaraları algılanırsa, belgeye IBAN veri sınıfı atanır. Ya da belge şehir adları içeriyorsa, veri sınıfı şehir atanır.
Ancak, yapısal olmayan verilere uygulanan herhangi bir algılama mantığının %100 doğru olması beklenemeyeceğini ve bunun da hatalı sınıflandırmalarla sonuçlanabileceğini unutmayın.
Atanmış veri sınıfları, ilkelerle yapılandırılmamış veri varlıklarındaki verilere erişimi engellemek ya da verileri maskelemek için kullanılamaz.
Profil bilgileri
Profilin içeriği, veri varlığının ilişkisel veri mi, yapılandırılmış veri mi, yoksa yapılandırılmamış veri mi içerdiğine bağlıdır.
İlişkisel ve yapısal veriler
İlişkisel ya da yapısal verileri içeren bir veri varlığının profili, veri kümesindeki her bir sütuna ilişkin bilgileri gösterir.
Profil sekmesi, bazı genel bilgiler ve çözümleme sonuçlarına genel bakış sağlar:
Profil ne zaman oluşturuldu ya da en son güncelleştirildi.
Çözümlenen sütun ve satır sayısı.
Her kolon için çıkarsanan veri sınıfı ve o veri sınıfı için güven. Veri sınıfları , sütundaki verilerin içeriğini açıklar: örneğin, şehir, hesap numarası ya da kredi kartı numarası. Veri sınıfları, veri koruma kurallarıyla verileri maskelemek ya da veri varlıklarına erişimi kısıtlamak için kullanılabilir. Veri sınıfları, varlığın Genel Bakış sayfasında ve Profil sayfasında her sütun için görüntülenir.
Bir veri sınıfının güveni, veri sınıfıyla eşleşen boş olmayan değerlerin yüzdesidir.
Birkaç veri sınıfı, bir kolon düzeyinde saptanan ve atanan daha soysal tanıtıcılardır. Daha belirli bir veri sınıfı bir değer düzeyinde tanımlanamadığında bu veri sınıfları atanır. Soysal tanıtıcılar her zaman %100 güvenlidir ve şu veri sınıflarını içerir: kod, tarih, tanıtıcı, gösterge, miktar ve metin.
Her bir sütun için eşleşen, eşleşmeyen ya da eksik verilerin yüzdesi.
Bir sütunda tanımlanan tüm değerler için sıklık dağılımı.
Ayrı değerlerin sayısı, benzersiz değerlerin yüzdesi, alt sınır, üst sınır ya da ortalama ve bazen de o sütundaki standart sapma gibi her bir sütuna ilişkin verilerle ilgili istatistikler. Ayrı değer sayısı, kolona ilişkin örneklenmiş verilerde kaç farklı değerin bulunduğunu gösterir. Benzersiz değerlerin yüzdesi, sütunda yalnızca bir kez görüntülenen ayrı değerlerin yüzdesini gösterir.
Bir sütunun veri biçimine bağlı olarak istatistikler biraz değişir. Örneğin, tamsayı veri tipindeki bir kolona ilişkin istatistikler minimum, maksimum ve ortalama değerlere ve standart bir sapma değerine sahipken, veri tipindeki bir kolona ilişkin istatistikler minimum uzunluk, maksimum uzunluk ve ortalama uzunluk değerlerine sahiptir.
Kolon adını tıklattığınızda, kolon verileriyle ilgili daha ayrıntılı bilgi edinilebilir. Bkz. Ayrıntılı profil oluşturma sonuçları.
Yapısal olmayan veriler
Yapılandırılmamış verileri olan bir belgeyi içeren bir veri varlığının profili, riske ilişkin belge içeriğinin üst düzey olarak değerlendirilmesini sağlayan bilgileri gösterir: atanan veri sınıfları, değer istatistikleri ve dil, dosya boyutu ya da sözcük sayısı gibi meta veriler.
Daha fazla bilgi
- Bir varlığın profilinin oluşturulması
- Meta veri zenginleştirmesinin yönetilmesi
- Önceden tanımlı veri sınıfları
- Ayrıntılı profil oluşturma sonuçları
- Maskeleme verileri
Üst konu: Varlık tipleri ve özellikleri