Azure Data Factory ve Azure purview 'a bağlanma
Bu belgede, veri kökenini izlemek için bir Azure Data Factory hesabını Azure purview hesabıyla bağlamak için gereken adımlar açıklanmaktadır. Belge ayrıca kapsam kapsamının ayrıntılarına ve desteklenen kökenini desenlerine de sahiptir.
Mevcut Data Factory bağlantılarını görüntüle
Birden çok Azure Veri Fabrikası, kökenini bilgilerini göndermek için tek bir Azure takip görünümüne bağlanabilir. Geçerli sınır, her seferinde bir kez 10 Data Factory hesabı bağlamanıza olanak tanır. Purview hesabınıza bağlı Data Factory hesaplarının listesini göstermek için aşağıdakileri yapın:
Sol gezinti bölmesinde Yönetim ' i seçin.
Kökenini bağlantıları altında Data Factory' yi seçin.
Data Factory bağlantı listesi görüntülenir.
Bağlantı durumu için çeşitli değerlere dikkat edin:
- Bağlandı: Data Factory, purview hesabına bağlanır.
- Bağlantı kesildi: Data Factory 'nin kataloğa erişimi vardır, ancak başka bir kataloğa bağlıdır. Sonuç olarak, veri kökenini otomatik olarak kataloğa bildirilmez.
- CannotAccess: geçerli kullanıcının veri fabrikasına erişimi yok, bu nedenle bağlantı durumu bilinmiyor.
Not
Data Factory bağlantılarını görüntülemek için aşağıdaki rolün atanması gerekir. Yönetim grubundan rol devralma desteklenmiyor.
- 18 ağustos 2021 tarihinde veya sonrasında oluşturulan purview hesabı için: kök koleksiyonda koleksiyon yöneticileri rolü.
- 18 ağustos 2021 tarihinden önce oluşturulan purview hesabı için: Azure yerleşik sahibi, katkıda bulunan, okuyucu veya Kullanıcı erişimi yönetici rolü.
Yeni Data Factory bağlantısı oluştur
Not
Data Factory bağlantıları eklemek veya kaldırmak için aşağıdaki rolün atanması gerekir. Yönetim grubundan rol devralma desteklenmiyor.
- 18 ağustos 2021 tarihinde veya sonrasında oluşturulan purview hesabı için: kök koleksiyonda koleksiyon yöneticileri rolü.
- 18 ağustos 2021 tarihinden önce oluşturulan purview hesabı için: sahip veya Kullanıcı erişimi yönetici rolü.
Ayrıca, kullanıcıların Data Factory 'nin "Owner" veya "katkıda bulunan" olması gerekir.
Mevcut bir veri fabrikasını purview hesabınıza bağlamak için aşağıdaki adımları izleyin. Ayrıca, ADF 'den Data Factory purview hesabına de bağlanabilirsiniz.
Sol gezinti bölmesinde Yönetim ' i seçin.
Kökenini bağlantıları altında Data Factory' yi seçin.
Data Factory bağlantısı sayfasında Yeni' yi seçin.
Listeden Data Factory hesabınızı seçin ve Tamam' ı seçin. Ayrıca, listenizi sınırlandırmak için abonelik adına göre filtreleyebilirsiniz.
Data Factory zaten geçerli purview hesabına bağlıysa veya Data Factory 'nin yönetilen bir kimliği yoksa bazı Data Factory örnekleri devre dışı bırakılabilir.
Seçili veri fabrikaları zaten başka bir purview hesabına bağlıysa bir uyarı iletisi görüntülenir. Tamam ' ı seçtiğinizde, diğer purview hesabı ile Data Factory bağlantısının bağlantısı kesilir. Ek bir teyid gerekli değildir.
Not
Artık aynı anda 10 ' dan fazla veri fabrikası eklemeyi destekliyoruz. Aynı anda 10 ' dan fazla veri fabrikası eklemek istiyorsanız, lütfen bir destek bileti dosyası sağlayın.
Kimlik doğrulamasının çalışması
Veri fabrikasının yönetilen kimliği, Data Factory 'den purview 'a kökenini anında iletme işlemlerinin kimliğini doğrulamak için kullanılır. Kullanıcı arabiriminde veri fabrikasını purview 'a bağlarken, rol atamasını otomatik olarak ekler.
18 ağustos 2021 tarihinde veya sonrasında oluşturulan purview hesabı için, Data Factory 'nin yönetilen kimlik verileri rol rolünü purview kök koleksiyonunda verin. Azure 'Da erişim denetimi hakkında daha fazla bilgi edinin ve roller ekleyin ve koleksiyonlar aracılığıyla erişimi kısıtlayın.
18 ağustos 2021 tarihinden önce oluşturulan purview hesabı için, Data Factory 'nin yönetilen kimliği Azure yerleşik purview Data Curator (eski) rolü ' nde purview hesabı ' na izin verin. Azure purview 'Da erişim denetimihakkında daha fazla bilgi edinin-eski izinler.
Data Factory bağlantılarını kaldırma
Bir Data Factory bağlantısını kaldırmak için aşağıdakileri yapın:
Data Factory bağlantısı sayfasında, bir veya daha fazla veri fabrikası bağlantısının yanındaki Kaldır düğmesini seçin.
Seçili Veri Fabrikası bağlantılarını silmek için açılan pencerede Onayla ' yı seçin.
Desteklenen Azure Data Factory etkinlikleri
Azure purview, aşağıdaki Azure Data Factory etkinliklerinden çalışma zamanı kökenini yakalar:
Önemli
Kaynak veya hedef desteklenmeyen bir veri depolama sistemi kullanıyorsa Azure purview kökenini bırakır.
Data Factory ile takip görünümü arasındaki tümleştirme, aşağıdaki bölümlerde açıklandığı gibi, Data Factory tarafından desteklenen veri sistemlerinin yalnızca bir alt kümesini destekler.
Kopyalama etkinliği desteği
|Veri deposu||Desteklenir|
|Azure Blob Depolama Alanı||Evet|
|Azure Bilişsel Arama||Yes|
|Azure Cosmos DB (SQL apı)*||Yes|
|mongodb için Azure Cosmos DB apı 'si*||Yes|
|Azure Veri Gezgini *||Evet|
|Azure Data Lake Storage 1. Nesil||Evet|
|Azure Data Lake Storage Gen2||Evet|
|Maria DB için Azure veritabanı *||Yes|
|MySQL için Azure veritabanı *||Yes|
|PostgreSQL için Azure veritabanı *||Yes|
|Azure Dosyaları||Yes|
|Azure SQL Veritabanı *||Yes|
|Azure SQL yönetilen örneği*||Yes|
|Azure SYNAPSE Analizi *||Evet|
|Azure Tablo Depolama||Evet|
|Amazon S3||Yes|
|Yığını *||Yes|
|Oracle *||Yes|
|SAP tablosu (SAP ECC veya SAP S/4HANA 'ya bağlanırken)||Yes|
|SQL Server *||Yes|
|Teradata *||Yes|
* Azure purview Şu anda kökenini veya tarama için sorgu veya saklı yordamı desteklemiyor. Kökenini yalnızca tablo ve görünüm kaynaklarıyla sınırlandırılmıştır.
Şirket içinde barındırılan Integration Runtime kullanıyorsanız, için kökenini desteğinin en düşük sürümünü göz önünde bulabilirsiniz:
- Oracle 'dan veri kopyalama: sürüm 5,10 veya sonrası
- COPY komutu veya PolyBase aracılığıyla Azure SYNAPSE Analytics 'e veri kopyalama: sürüm 5,10 veya üzeri
Kopyalama etkinliğine ilişkin sınırlamalar kökenini
Şu anda, aşağıdaki kopyalama etkinliği özelliklerini kullanıyorsanız, kökenini henüz desteklenmemektedir:
- ikili biçimi kullanarak Azure Data Lake Storage 1. verileri kopyalayın.
- ikili, sınırlandırılmış metin, Excel, JSON ve XML dosyaları için sıkıştırma ayarı.
- Azure SQL Veritabanı, azure SQL yönetilen örneği, azure Synapse Analytics, SQL Server ve SAP tablosu için kaynak bölüm seçenekleri.
- Dosya başına en fazla satır ayarı ile verileri dosya tabanlı havuza kopyalayın.
Kökenini ek olarak, veri varlık şeması (varlık > Şeması sekmesinde gösterilir) aşağıdaki bağlayıcılar için raporlanır:
- Azure blob, Azure dosyaları, ADLS 1., ADLS 2. ve Amazon S3 üzerindeki CSV ve Parquet dosyaları
- azure Veri Gezgini, Azure SQL Veritabanı, azure SQL yönetilen örnek, azure Synapse Analytics, SQL Server, Teradata
veri Flow desteği
|Veri deposu||Desteklenir|
|Azure Blob Depolama Alanı||Evet|
|Azure Cosmos DB (SQL apı)*||Evet|
|Azure Data Lake Storage 1. Nesil||Evet|
|Azure Data Lake Storage Gen2||Evet|
|MySQL için Azure veritabanı *||Yes|
|PostgreSQL için Azure veritabanı *||Yes|
|Azure SQL Veritabanı *||Yes|
|Azure SQL yönetilen örneği*||Yes|
|Azure SYNAPSE Analizi *||Yes|
* Azure purview Şu anda kökenini veya tarama için sorgu veya saklı yordamı desteklemiyor. Kökenini yalnızca tablo ve görünüm kaynaklarıyla sınırlandırılmıştır.
Veri akışı kökenini sınırlamaları
Şu anda, veri akışı kökenini, purview kaynak kümesiyletümleştirilemiyor.
SSIS paketi desteğini yürütme
Desteklenen veri depoları' na bakın.
Güvenli Azure purview hesabına erişin
Purview hesabınız güvenlik duvarı tarafından korunuyorsa, Özel uç noktalar aracılığıyla güvenli bir takip görünümü hesabına erişim Data Factory nasıl izin vereceğinizi öğrenin.
Data Factory kökenini bir takip görünümüne getirme
Uçtan uca izlenecek yol için öğreticiyi izleyin: Data Factory kökenini verilerini Azure purview 'A gönderin.
Desteklenen kökenini desenleri
Azure purview tarafından desteklenen birkaç kökenini deseni vardır. Oluşturulan kökenini verileri, Data Factory etkinliklerde kullanılan kaynak ve havuz türüne bağlıdır. Data Factory, 80 kaynak ve havuzları destekler, ancak desteklenen Azure Data Factory etkinliklerindelistelendiği gibi Azure purview yalnızca bir alt kümeyi destekler.
Kökenini bilgilerini göndermek üzere Data Factory yapılandırmak için, bkz. kökenini ile çalışmaya başlama.
Kökenini görünümünde bilgi bulmanın bazı diğer yolları şunları içerir:
- Araç ipucunda varlık hakkındaki ek bilgileri önizlemek için kökenini sekmesinde şekillerin üzerine gelin.
- Ait olduğu varlık türünü görmek veya varlıkları değiştirmek için düğümü veya kenarı seçin.
- Bir veri kümesinin sütunları kökenini sekmesinin sol tarafında görüntülenir. Sütun düzeyi kökenini hakkında daha fazla bilgi için bkz. DataSet Column kökenini.
1:1 işlemleri için veri kökenini
Veri kökenini yakalama için en yaygın model, tek bir giriş veri kümesinden verileri arasında bir işlemle birlikte tek bir çıkış veri kümesine taşımaktır.
Bu düzene bir örnek aşağıdaki gibi olabilir:
- 1 kaynak/giriş: müşteri (SQL tablo)
- 1 havuz/çıkış: Customer1.csv (Azure blob)
- 1 işlem: CopyCustomerInfo1 #Customer1.csv (Data Factory kopyalama etkinliği)
1:1 kökenini ve joker karakter desteğiyle veri taşıma
Kökenini yakalamaya yönelik başka bir yaygın senaryo, dosyaları tek bir giriş veri kümesinden tek bir çıkış veri kümesine kopyalamak için bir joker karakter kullanmaktır. Joker karakter kopyalama etkinliğinin dosya adının ortak bir bölümünü kullanarak kopyalama için birden çok dosya ile eşleşmesini sağlar. Azure purview, ilgili kopyalama etkinliği tarafından kopyalanmış her bir dosya için dosya düzeyi kökenini yakalar.
Bu düzene bir örnek aşağıdaki gibi olabilir:
- Kaynak/giriş: Customercall *.csv (ADLS 2. yol)
- Havuz/çıkış: Customercall *.csv (Azure Blob dosyası)
- 1 işlem: CopyGen2ToBlob #CustomerCall.csv (Data Factory kopyalama etkinliği)
N:1 kökenini ile veri taşıma
birleştirme, birleştirme, vb. gibi veri işlemleri gerçekleştirmek için veri Flow etkinliklerini kullanabilirsiniz. Hedef veri kümesi oluşturmak için birden fazla kaynak veri kümesi kullanılabilir. bu örnekte, Azure purview, bireysel giriş dosyaları için dosya düzeyi kökenini, veri Flow etkinliğinin parçası olan bir SQL tablosuna yakalar.
Bu düzene bir örnek aşağıdaki gibi olabilir:
- 2 kaynak/giriş: Customer.csv, Sales. Parquet (ADLS 2. yolu)
- 1 havuz/çıkış: şirket verileri (Azure SQL tablosu)
- 1 işlem: dataflowblobstosql (Data Factory Data Flow etkinliği)
Kaynak kümeleri için kökenini
Kaynak kümesi, katalogdaki, temel depolamadaki birçok bölüm dosyasını temsil eden mantıksal bir nesnedir. Daha fazla bilgi için bkz. kaynak kümelerini anlama. Azure purview, Azure Data Factory kökenini yakalar, tek tek bölüm dosyalarını normalleştirmek ve tek bir mantıksal nesne oluşturmak için kuralları uygular.
Aşağıdaki örnekte, bir Azure Blobundan Azure Data Lake Gen2 kaynak kümesi üretilir:
- 1 Kaynak/giriş: çalışan _management.csv (Azure blob)
- 1 havuz/çıkış: çalışan _management.csv (Azure Data Lake Gen 2)
- 1 işlem: CopyBlobToAdlsGen2 _ RS (Data Factory kopyalama etkinliği)