Microsoft, 2019'un sonlarında Azure Synapse Analytics'i tanıtarak veri işleme söz konusu olduğunda yepyeni bir bakış açısı yarattı. Geleneksel veri ambarlama gibi bazı temel kavramlar daha fazla incelenirken, veri meraklıları Synapse'ın masaya getirdiği yeni özelliklerin farkına vardıktan sonra çeşitli yeni yaklaşımlar ortaya çıkmaya başladı.
Synapse yalnızca veri alma, dönüştürme ve depolama seçenekleri üzerinde güçlü bir etki yaratmadı - aynı zamanda veri sunma ve görselleştirme için yepyeni olanaklar da sundu!
Bu nedenle, bu blog gönderileri dizisinde, Power BI'ın yeni platformla sinerji içinde nasıl çalıştığını keşfetmeye çalışacağım. Power BI geliştiricileri olarak Synapse ile çalışırken hangi seçeneklere sahibiz? Synapse hangi veri analitiği senaryolarında uçta oynayacak ve mümkün olan (im) 'i elde etmenize yardımcı olacak? Synapse'deki yenilikçi çözümlerden ne zaman yararlanmak istersiniz ve ne zaman daha geleneksel yaklaşımlara bağlı kalmanız daha iyi olur? Power BI - Synapse combo'yu kullanırken en iyi uygulamalar nelerdir ve hangi yola gideceğiniz konusunda nihai bir karar vermeden önce hangi parametreleri değerlendirmelisiniz.
İşimiz bittiğinde, Power BI ve Synapse arasındaki entegrasyon söz konusu olduğunda mevcut seçeneklerin her biri için "artıları" ve "eksileri" daha iyi anlamanız gerektiğine inanıyorum.
Synapse'ın temel kavramlarını ve mimarisini anlamama yardımcı olan Microsoft'tan Jovan Popovic'e özel teşekkürler
Power BI zaten olgun ve tanınmış bir ürün olduğundan (bu Temmuz'da 5. doğum gününü kutladı), Power BI ile Synapse arasındaki ilişkiye girmeden önce, "daha genç" teknolojiyi öğrenmek için biraz zaman harcamamız gerektiğine inanıyorum. …
Daha önce de bahsettiğim gibi, Synapse yaklaşık bir yıl önce tanıtıldı (2019'un sonları). Resmi olarak Azure SQL Veri Ambarı'nın (SQL DW) yerini aldı ve SQL DW'nin evrimi olarak sunuldu.
Öyleyse, Synapse'ı “blokta yeni bir çocuk” olarak mı yoksa sadece mevcut ürünün yeniden markalaşması olarak mı düşünürsek adil olur mu?
Bu soruyu cevaplamadan önce, önce geleneksel veri ambarlama mimarisine bir göz atalım:
Tipik bir geleneksel veri ambarı senaryosunda, birleştirilmiş verileri ilişkisel bir veri ambarına koymadan önce verilerinizi birden çok farklı kaynaktan toplar, bazı dönüşümler, veri temizleme vb. Gerçekleştirirsiniz. Bu, raporlama çözümlerinizin odak noktasıydı, verileriniz için tek bir doğruluk kaynağıydı ve bundan bahsedersek, Crystal Reports, SSRS veya Power BI gibi çok çeşitli araçları kullanarak buradan çeşitli raporlar oluşturabilirsiniz. Microsoft'un çözümleri. Ayrıca "küpler" (hem tablo hem de çok boyutlu) oluşturmak için SSAS kullanarak ek bir anlamsal katman da oluşturabilirsiniz ve daha sonra bu küpleri yukarıda bahsedilen raporlama araçlarıyla hedefleyebilirsiniz (eski güzel Excel'i de unutmayın).
Artık Azure Synapse Analytics ile tüm bunları (ve daha birçok) işlevselliği tek bir çatı altında elde ediyorsunuz! Synapse'de varsayılan olarak SSAS bulunmasa bile, onu harici bir hizmet olarak bağlayabilirsiniz.
Ama önce ilk şeyler! Kendinizi Azure portalında bulduğunuzda, Synapse'ı ararsanız, şuna benzer bir şey gördüğünüzde kafanız karışmasın:
Bir değil, aynı isimde iki ayrı sonuç göreceksiniz! Doğrusu, parantez içindeki açıklama, hangi seçeneğin ne sunduğuna ışık tuttu, ancak yine de… Synapse ile ilk buluşmada kafa karıştırıcı olabilir.
Yeşil ile işaretlenmiş Azure Synapse Analytics, "normal" SQL DW'den başka bir şey değildir. Bu seçenek az çok geleneksel bir veri ambarı gibi çalıştığı için burada ayrıntılara girmeye zaman harcamayacağım - elbette ek güç kullanarak iş yükünüzü hızlı ve kolay bir şekilde ölçeklendirme olanağıyla birlikte.
Bu nedenle, kırmızı ile işaretlenen seçeneğe tam olarak odaklanacağız - Azure Synapse Analytics (çalışma alanları önizlemesi)! Partinin başladığı ve Synapse'ın evrim yerine devrim olduğu yer burasıdır!
Aşağıdaki resimdeki nesneyi tanıyor musunuz?
Evet, bu meşhur "İsviçre bıçağı". Kağıdı kesebilir, bir şişe şarap veya birayı açabilir veya bazı küçük parçaları kesebilirsiniz - bunların hepsi tek bir aletle!
Öyleyse, kendinize soruyorsanız - Dünyada İsviçre bıçağının Synapse ile ortak yönü nedir? Synapse'i tüm veri ihtiyaçlarınızı karşılayabilecek tek bir araç olarak düşünebilirsiniz.
Birden çok farklı kaynaktan veri aktarmanız mı gerekiyor? Sinaps bunu yapabilir. Verileri sunmadan önce dönüştürmeniz gerekiyor mu? Synapse bunu da yapabilir. Verileri saklamanız gerekiyor mu? Synapse bunu sizin için yapabilir. İlişkisel olmayan verileri, hatta dosyaları doğrudan sorgulamanız mı gerekiyor? Sinaps bunu yapabilir. Şimdi dikkat edin: İlişkisel olmayan verileri, hatta dosyaları doğrudan eski T-SQL kullanarak sorgulamanız mı gerekiyor? Sinaps BUNU YAPABİLİR! Whataaaaat ??? !!!! Evet, CSV, JSON veya parke dosyalarındaki verileri sorgulamak için T-SQL yazabilirsiniz. Ancak, serinin ilerleyen bölümlerinde daha fazlası. Makine öğrenimi modelleri oluşturmanız gerekiyor mu? Synapse bunu sizin için yönetebilir. Son olarak, Power BI raporunuzu doğrudan Synapse'den oluşturmanız mı gerekiyor? Evet, bu da mümkün!
Fark edebileceğiniz gibi, Synapse tüm veri görevleriniz için tek noktadan hizmettir.
Bazı teknik şeyleri açıklarken, teknik olmayan şeylerle karşılaştırmalar yapmayı severim, böylece teknik bir geçmişi olmayan insanlar temelde yatan kavramı anlayabilir.
Şimdi, muhtemelen ünlü bir turistik şehre ilk kez seyahat ettiğinizde, tüm önemli yerleri ziyaret etmek istediğinizi biliyorsunuzdur: müzeler, geziler, yerel turistik yerler… Ve bu şehirlerin çoğu size bir “Şehir Kartı” sunuyor. Bu tek kartı kullanarak şehrin belli başlı tüm turistik yerlerine girebilirsin, bu da zamandan ve paradan tasarruf sağlar.
Azure Synapse Studio'yu "bu" tür bir kart olarak düşünebilirsiniz. Veri hazırlama, veri ambarlama, kaynakları izleme ve yönetme gibi tüm farklı görevler için birleşik bir çalışma alanıdır.
Şimdi, yüzeyin altını çizmeye ve Synapse Çalışma Alanının temel bileşenlerini incelemeye hazırız.
En önemli kısım Analitik Motorlardır. Synapse Çalışma Alanında üç farklı motor vardır. Bunlardan ikisi SQL aromalıdır (Adanmış SQL Havuzu ve Sunucusuz SQL havuzu), üçüncüsü Apache Spark'a (Apache Spark Havuzu) dayanmaktadır.
Ayrıca, ikisi sağlanmıştır (Adanmış SQL Havuzu ve Apache Spark Havuzu), üçüncüsü (Sunucusuz SQL havuzu) ise sunucusuz bir çözüm gibi çalışır. En basit haliyle, şuna benzer:
Bu blog dizisinde, odak noktamız SQL tabanlı çözümler, özellikle Sunucusuz SQL havuzu olacağı için Spark havuzunu analiz etmeyeceğiz.
Bir Synapse Çalışma Alanı oluşturduğunuzda, SQL havuzlarınızın altında bir Sunucusuz SQL havuzu göreceksiniz:
Bence bu, Synapse'deki devrimci özelliklerden biri. Esasen, Sunucusuz SQL havuzunun sizin için yapabilecekleri pek de yenilmez: verileri, herhangi bir yere aktarmaya veya kopyalamaya gerek kalmadan, doğrudan data lake'inizde sorgulayabilirsiniz! Ayrıca, eski T-SQL yazarak veri gölündeki verileri sorgulayabilirsiniz! Evet, CSV, JSON ve parke dosyaları dahildir!
Sunucusuz bir sistem olduğu için herhangi bir altyapı veya küme kurmanıza gerek yoktur. Çalışma alanınız oluşturulur oluşturulmaz verilerinizi tam anlamıyla sorgulamaya başlayabilirsiniz! Sunucusuz SQL havuzu bağımsız bir Polybase hizmeti olarak çalışır, bu nedenle ayrılan kaynaklar için herhangi bir maliyet yoktur. Yalnızca sorgularınız tarafından işlenen veri hacmi için ücret ödersiniz (yazma anında 5 USD / 1 TB'dir). İş yüklerinizi planlarken, minimum fatura hacminin 10 MB olduğunu unutmayın. Bu minimum eşik, meta veri sorguları için geçerli değildir, bu nedenle aşağıdakiler gibi bir şey gerçekleştirirseniz sizden hiç ücret alınacağından endişelenmenize gerek yoktur:
SELECT * FROM sys.objects
SQL Server dışı verileri sorgulamak için T-SQL yazma, OPENROWSET işlevinin genişletilmiş bir sürümü kullanılarak elde edilmektedir . Yerel olmayan kullanım nedeniyle, bazı T-SQL işlevleriyle ilgili açık bir şekilde birkaç sınırlama vardır .
Bu makaleyi , Sunucusuz SQL havuzu ile ilgili birçok soruyu topladığı ve yanıtladığı James Serra blogunda okumanızı şiddetle tavsiye ediyorum .
Serverless SQL havuzuna ilgili en iyi uygulamaların büyük bir bakış da vardır burada .
Evet, verileri düz T-SQL kullanarak doğrudan parke dosyasından sorgulamak için sihirli bir değneğe ihtiyacımız olduğunu biliyorum… Ama bu mümkün! Ve güven bana, bir sihirbaza ihtiyacın yok - bazı temel T-SQL bilgisi yeterli olacaktır.
Bu örnekte, örnek bir NYC Taxi veri kümesi kullandım. Veriler bir parke dosyasında saklanıyor, ancak OPENROWSET işlevini T-SQL sözdizimimdeki ~ 1,5 milyar kayıt veri kümesini SQL Server veritabanımda depolandığı gibi sorgulamak için kullanabilirim! Ne kadar serin!
Ek olarak, bu konuyu genişletebilir ve her türlü toplama, gruplandırma, cümle ...
Bu yeterli değilse, şunu izleyin:
İşte iki parke dosyası üzerinde çalıştırılan T-SQL kodu:
WITH taxi_rides AS ( SELECT CAST([tpepPickupDateTime] AS DATE) AS [current_day], COUNT(*) as rides_per_day FROM OPENROWSET( BULK 'https://azureopendatastorage.blob.core.windows.net/nyctlc/yellow/puYear=*/puMonth=*/*.parquet', FORMAT='PARQUET' ) AS [nyc] WHERE nyc.filepath(1) = '2016' GROUP BY CAST([tpepPickupDateTime] AS DATE) ), public_holidays AS ( SELECT holidayname as holiday, date FROM OPENROWSET( BULK 'https://azureopendatastorage.blob.core.windows.net/holidaydatacontainer/Processed/*.parquet', FORMAT='PARQUET' ) AS [holidays] WHERE countryorregion = 'United States' AND YEAR(date) = 2016 ) SELECT * FROM taxi_rides t LEFT OUTER JOIN public_holidays p on t.current_day = p.date ORDER BY current_day ASC
Hayır, bunu yapmak için Harry Potter olmanıza gerek yok - Synapse Çalışma Alanında Sunucusuz SQL havuzu kullanmak, yapmanız gereken tek "numara" dır!
Bu, Microsoft'un veri iş yükleriniz için hepsi bir arada çözümü olan Synapse Analytics'e kısa bir girişti. Hiçbir şekilde bu platformdaki tüm kavramları ve özellikleri ele almadık - fikir, Synapse'i Power BI ile sinerji içinde kullanmaya başlamanızı sağlamaktı.
Şimdi, Synapse'ın sağladığı ana yetenekler hakkında daha iyi bir genel bakışa ve büyük bir resme sahip olduğunuzu ve Power BI raporlarınızı oluşturmak için Synapse kullanmaya başladığınızda bu yeteneklerden yararlanabileceğinizi umuyorum.
Zaman ayırın, Synapse'ı keşfedin, veri iş yükleriniz için farklı yaklaşımlar deneyin, bir sonraki aşamaya geçmeden önce, Power BI ve Synapse ile entegrasyonunun (özellikle Sunucusuz SQL havuzuyla) odak noktamız olacağı bir sonraki aşamaya geçmeden önce!
Okuduğunuz için teşekkürler!
Daha ayrıntılı veri makaleleri almak için buradan abone olun !
Önümüzdeki 24 saat içinde, Ethereum ağında 100 milyon token serbest bırakılacak. Bu, kripto para birimi sektöründe şimdiye kadar görülen en büyük kripto odaklı veri bilimi deneyinin başlangıcı olacak.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Oakland, CA'da halka açık verileri kullanarak hava kalitesini tahmin etmek Google ve EDF, Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında, bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.