yaklaşık on yıl önce, bir arkadaşımla büyük veri hakkında bir konuşma yaptığımızı hatırlıyorum. O zaman ikimiz de bunun Facebook, Yahoo ve Google gibi büyük şirketlerin amacı olduğu ve çoğu şirketin endişelenmesi gerekmeyecek bir şey olduğu konusunda hemfikirdik.
Anlaşıldığı üzere, ikimiz de yanılmışız. Kısa bir süre içinde herkes büyük verilerle uğraşacaktı. Aslında, büyük miktarda verinin makine öğrenimi uygulamalarının yakıtı olduğu ortaya çıktı, bu benim ve arkadaşımın öngörmediği bir şeydi.
Hadoop ve Spark gibi çerçeveler zaten ortaya çıkıyordu ve veri ambarları gibi kavramlar gelişiyordu. Bu, kredi kartı bilgileri gibi yapılandırılmış verileri içerdiğinde iyiydi, ancak veri ambarları, makine öğrenimi algoritmaları oluşturmak için ihtiyaç duyduğunuz yapılandırılmamış veriler için tasarlanmamıştı ve veri gölü kavramı, işlenmemiş verileri alıp ihtiyaç duyulana kadar depolamanın bir yolu olarak geliştirildi. . Hepsi etiketli ve düzenli depolardaki raflarda düzgünce durmuyordu, daha şekilsiz ve hamdı.
Zamanla bu fikir Amazon, Microsoft ve Google gibi bulut satıcılarının dikkatini çekti. Dahası, Snowflake ve Databricks gibi şirketler veri gölü konsepti üzerine önemli şirketler kurdukça yatırımcıların dikkatini çekti.
Bu olurken bile startup kurucuları, verileri veri gölüne taşımak, temizlemek, işlemek ve bu verileri gerçekten kullanabilecek uygulamalara ve algoritmalara yönlendirmek gibi saldırmak için diğer bitişik sorunları belirlemeye başladılar. Bu olurken, veri bilimi akademinin dışında ilerledi ve işletmeler içinde daha yaygın hale geldi.
O noktada yepyeni bir modern ekosistem vardı ve böyle bir şey olduğunda fikirler gelişiyor, şirketler kuruluyor ve yatırımcılar geliyor. Dokuz yatırımcıyla veri gölü fikri ve neden bu kadar ilgilendikleri, bulut şirketlerinin bu alandaki rolü, bir yatırımcının olgunlaşan bir pazarda nasıl yeni şirketler bulduğu ve bu kazançlı alanda fırsatların ve zorlukların nerede olduğu hakkında konuştuk. .
Tüm bunları öğrenmek için aşağıdaki yatırımcıları sorguladık:
- Caryn Marooney, genel ortak, Coatue Management
- Dharmesh Thakker, genel ortak, Battery Ventures
- Casey Aylward, müdür, Costanoa Ventures
- Derek Zanutto, CapitalG’nin genel ortağı
- Navin Chaddha, genel müdür, Mayfield
- Jon Lehr, Work-Bench’in kurucu ortağı ve genel ortağı
- Peter Wagner, Wing Ventures’ın kurucu ortağı
- Nicole Priel, Genel Müdür, Ibex Ventures
- Ilya Sukhar, ortak, Matrix Partners
Snowflake gibi oyuncular ve bu kadar sağlam bir şekilde kurulmuş bulut altyapısı satıcıları ile veri gölleri alanında yeni başlayanlar için fırsatlar nerede?
Caryn Marooney: Veri pazarı, dijital dönüşüm yoluyla değerin kilidini açma fırsatı tarafından yönlendirilen çok büyük. Hem veri gölü hem de veri ambarı mimarileri, farklı ihtiyaçları çözdüğü için uzun vadede önemli olacaktır.
Önemli düzeyde mevcut veri altyapısına sahip yerleşik şirketler (büyük bankaları, büyük markaları düşünün) için tüm verilerini bir veri ambarına taşımak pahalı ve zaman alıcı olabilir. Bu şirketler için veri gölü, veri kaynakları arasında isteğe bağlılığa ve birleşik sorgulara olanak sağladığı için iyi bir çözüm olabilir.
Dharmesh Thakker: Databricks (Pil’in yatırım yaptığı) ve Snowflake, sırasıyla veri gölü ve depo pazarlarında kesinlikle popüler isimler haline geldi. Ancak bu pazarlarda teknik gereksinimler ve iş ihtiyaçları sürekli değişiyor ve her iki şirketin de rekabet avantajını korumak için agresif bir şekilde yatırım yapmaya devam etmesi önemlidir. Başarılı olmaya devam etmek için yenilik yapmaya devam etmeleri gerekecek.
Bunun nasıl sonuçlanacağına bakılmaksızın, bulutta ve şirket içi iş yüklerinde ve çeşitli veri depolama sağlayıcılarında meydana gelen devasa veri yayılımı göz önüne alındığında, bu oyuncular (ve diğerleri) etrafında ortaya çıkan ekosistem hakkında heyecan duyuyoruz. Satıcıların, veri kaynakları ve farklı türdeki son kullanıcılar (veri bilimciler, veri mühendisleri, iş analistleri ve diğerleri dahil) arasında entegrasyon ara yazılımı (bulut ELT satıcıları) biçiminde “birleştirme katmanları” olarak ortaya çıkmaya devam etmeleri için önemli bir fırsat olduğunu düşünüyoruz. ); gerçek zamanlı akış ve analitik; veri yönetişimi ve yönetimi; veri güvenliği; ve veri izleme. Bu pazarlar küçümsenmemelidir.
Casey Aylward: Alanda yerleşik birçok bulut altyapısı oyuncusu olsa bile, veri gölü alanında bir avuç büyük fırsat var:
- İş zekası/analitik/SQL, belirli ürünlerde Scala veya Python gibi makine öğrenimi/kod ile birleşebilir, ancak bu etki alanlarının farklı son kullanıcıları ve toplulukları, programlama dili tercihleri ve teknik becerileri vardır. Genel olarak, mimari kilitlenmeler, çekirdek altyapı içinde büyük bir korku noktasıdır. Bu, bulut sağlayıcıları, depolama çözümleri, bilgi işlem motorları vb. ile son kullanıcılar için geçerlidir. Bu nedenle çözümler heterojen olacaktır ve bu esnekliği sağlayan teknoloji önemli olacaktır.
- Veriler günümüzde dolaşırken, her platformda yeniden işleniyor, bu da büyük ölçüde verimsiz ve pahalı. Kullanıcıların dönüşümleri, veri boru hatlarını ve saklı yordamları yeniden yazmadan verileri taşımasına olanak tanıyan bir teknoloji oluşturma fırsatı vardır.
- Son olarak, özellikle Python veri bilimi ekosisteminde, kaputun altında MapReduce olmayan genel veri işleme çerçeveleri etrafında daha fazla çekiş görüyoruz. Bu, Hadoop’tan ve hatta Spark’tan bir geçiştir, çünkü bunlar her zaman yapılandırılmamış, daha modern algoritmalar için en uygun değildir.