Koleksiyonları BigQuery'ye Aktarın
Firebase tarafından yapılmıştır
Belirli bir Cloud Firestore koleksiyonundan BigQuery'ye gerçek zamanlı, artımlı güncellemeler gönderir.
Bu uzantı nasıl çalışır?
Cloud Firestore koleksiyonundaki belgeleri BigQuery'ye aktarmak için bu uzantıyı kullanın. Dışa aktarma gerçek zamanlı ve artımlıdır, bu nedenle BigQuery'deki veriler, Cloud Firestore'daki içeriğinizin bir aynasıdır.
Uzantı, aşağıdaki iki BigQuery kaynağını içeren bir veri kümesi oluşturur ve günceller:
- Koleksiyonunuzdaki belgelerin tam değişiklik geçmişini depolayan bir ham veri tablosu . Bu tablo, BigQuery'nin verilerinizin mevcut durumunu görüntüleyebilmesi için bir dizi meta veri alanı içerir. Prensip meta alanları
timestamp,
document_nameve
operationbelge değişimi için.
- Koleksiyonunuzdaki verilerin mevcut durumunu temsil eden bir görünüm . Ayrıca her belge için (
CREATE,
UPDATEveya
IMPORT) en son
operationgünlüğünü gösterir.
Belirtilen koleksiyonda bir belge oluşturur, günceller, siler veya içe aktarırsanız bu uzantı bu güncellemeyi BigQuery'ye gönderir. Daha sonra bu yansıtılmış veri kümesinde sorgu çalıştırabilirsiniz.
Bu uzantının yalnızca koleksiyondaki belge değişikliklerini dinlediğini, ancak herhangi bir alt koleksiyondaki değişiklikleri dinlemediğini unutmayın. Yine de, veritabanınızdaki bir alt koleksiyonu veya diğer koleksiyonları özellikle dinlemek için bu uzantının ek örneklerini yükleyebilirsiniz. Veya belirli bir koleksiyondaki belgelerde aynı koleksiyona sahipseniz, tüm bu alt koleksiyonları (örneğin:
chats/{chatid}/posts ) dinlemek için
{wildcard} notasyonunu kullanabilirsiniz.
Ek kurulum
Bu uzantıyı yüklemeden önce yapmanız gerekenler:
BigQuery veri kümenizi doldurun
Bu uzantı yalnızca değiştirilen belgelerin içeriğini gönderir - mevcut belgelerin tüm veri kümesini BigQuery'ye aktarmaz. Dolayısıyla, BigQuery veri kümenizi koleksiyonunuzdaki tüm belgelerle doldurmak için bu uzantı tarafından sağlanan içe aktarma komut dosyasını çalıştırabilirsiniz.
Önemli: Bu uzantıyı yükledikten sonra tüm koleksiyon üzerinde içe aktarma komut dosyasını çalıştırın, aksi takdirde içe aktarma sırasında veritabanınıza yapılan tüm yazmalar kaybolabilir.
Şema görünümleri oluşturun
Verileriniz BigQuery'ye girdikten sonra, ilgili verileri sorgulamayı kolaylaştıran görünümler oluşturmak için şema görünümleri komut dosyasını (bu uzantı tarafından sağlanır) çalıştırabilirsiniz. Yalnızca veri yapınızı tanımlayan bir JSON şema dosyası sağlamanız gerekir ve şema görünümleri komut dosyası görünümleri oluşturur.
Fatura
Bir uzantı yüklemek için projenizin Blaze (kullandıkça öde) planında olması gerekir
- Bu uzantı için gerekli olan Firebase kaynakları için (kullanılmasa bile) küçük bir miktar (genellikle yaklaşık 0.01 $ / ay) ücretlendirileceksiniz.
- Bu uzantı, hizmetin ücretsiz katmanını aşmanız durumunda ilişkili ücretleri olan diğer Firebase ve Google Cloud Platform hizmetlerini kullanır:
- BigQuery (bu uzantı, akış eklemeleriyle BigQuery'ye yazar)
- Cloud Firestore
- Cloud Functions (Node.js 10+ çalışma zamanı. SSS'lere bakın )
Ne yapılandırabilirsiniz
- Cloud Functions konumu
- Koleksiyon yolu
- Veri Kümesi Kimliği
- Tablo kimliği
Oluşturulan kaynaklar
- Tür: Bulut İşlevi
Açıklama: Belirttiğiniz Cloud Firestore koleksiyonunuzdaki belge değişikliklerini dinler, ardından değişiklikleri BigQuery'ye aktarır.
Bu uzantı nasıl kurulur
Firebase konsolunu kullanma
Uzantıları yüklemek ve yönetmek için Firebase konsolunu kullanabilirsiniz.Konsolu kullanarak yükleyin
Firebase CLI'yı kullanma
Uzantıları yüklemek ve yönetmek için Firebase CLI'yi de kullanabilirsiniz:
Adım 1: CLI'yi yüklemek veya en son CLI sürümüne güncellemek için aşağıdaki npm komutunu çalıştırın.
npm install -g firebase-toolsÇalışmıyor mu? Firebase CLI referansına bir göz atın veya npm izinlerinizi değiştirin.
Adım 2: Aşağıdaki komutu çalıştırarak bu uzantıyı yükleyin
firebase ext:install firestore-bigquery-export --project=projectId_or_alias