: Bunu yeterince stres olamaz off-the-raf raporlama araçları ile güzel oynar alın şey.
Ayda 20 Milyar satır VLDB topraklarında koyar, böylece bölümleme gerekir. Düşük kardinalite boyutları da bitmap endeksleri bir performans kazanmak olacağını öneririm.
-
Bulut sistemlerini (Forget kovan ,
Hbase onlar olgun SQL desteği kadar). Bir veri ambarı uygulamaya yönelik geleneksel raporlama araçları ile çalışır bir şey istiyorum. Aksi takdirde, kendinizi sürekli yazma ve ad-hoc rapor programlarını sürdürmek batağa saplanmış bulacaksınız.
-
Veri hacimleri Oracle gibi daha geleneksel bir DBMS ile yönetilebilir - Bir bildiğim büyük Avrupa telekom bir içine günde 600GB yükler Oracle veritabanı. Diğer her şey eşit olduğunda, böylece veri hacimleri daha büyük iki büyüklük var paylaşılan disk mimariler hala sana boşluk payı var. Bir
paylaşımlı şey gibi mimari
Netezza'nın veya Teradata muhtemelen daha hızlı hala olacaktır ancak bu miktarlar geleneksel paylaşılan diskli sistemde ötesinde bir seviyede değildir. Bu sistemler hepsi oldukça pahalı olduğunu, ama, unutmayın.
-
MapReduce olduğunu da akılda tutulması etkin sorgu seçme algoritması değil . Bu temelde kaba kuvvet hesaplamaları dağıtmak için kullanılan bir mekanizmadır. Greenplum bir MapReduce arka uç var, ama bir amaca paylaşılan hiçbir şey motor çok daha verimli olacak ve daha az donanım için daha fazla iş alacak.
Bu almak benim Teradata veya Netezza'nın muhtemelen iş için ideal bir araçtır ama kesinlikle en pahalı olacağıdır.
Oracle , Sybase IQ hatta SQL Server da dahil veri hacimlerini işlemek istiyorum ama daha yavaş olacaktır - onlar paylaşılan disk mimarilerdir ama hala veri hacminin bu tür yönetebilir. Bkz Bu ilanı Oracle sadece tanıttı aklında bir Oracle ve SQL Server VLDB ilgili özellikler üzerinde yıkık ve ayı için Exadata depolama platformu da.
Sırtım-of-a-ibne-paket kapasite planı Oracle veya SQL Server için endeksler dahil ayda belki 3-5 TB ya da öylesine öneriyor. Bir dizin yaprak SQL Server üzerinde 6 byte sayfa referansı vs oracle üzerinde 16 bayt ROWID olmasına rağmen, Bitmap endekslerine Oracle üzerinde Muhtemelen daha az.
Sybase IQ bitmap indeksler geniş kullanımı yapar ve veri ambarı sorguları için optimize edilmiştir. Paylaşılan disk mimarisi rağmen, bu tür sorgu (IIRC özgün sütun odaklı mimari idi) için çok etkilidir. o işin bu tip özelleşmiş olduğu gibi bu muhtemelen Oracle veya SQL Server daha iyi olurdu.
Greenplum daha ucuz bir seçenek olabilir ama aslında bu yüzden pratikte nasıl çalıştığını iyi yorum yapamam bunu hiç kullanmadım.
Eğer sadece birkaç yüz satırlarla 10 boyutları varsa tek bunları birleştirme düşünün önemsiz boyutta olan sadece birine on anahtarları birleştirerek sizin özellik tablosu aşağı olacak ince. Hala bir hurda boyut hiyerarşileri uygulayabilir ve bu gerçeği tablonun büyüklüğüne kapalı 1/2 veya daha fazla vurmak ve endeksler tarafından disk kullanımı çok ortadan kaldıracaktır.
Ben şiddetle raporlama araçları makul kesiti ile güzel oynar donatmak gibi öneririz. Bu SQL ön uç anlamına gelir. Ticari gibi sistemler Crystal Reports raporlama izin ve analitik SQL becerileri daha kolay elde edilmeyen seti ile insanlar tarafından yapılacak. Açık kaynak dünyası da üretti BIRT , Jasper Reports ve Pentaho. . Kovan veya HBase Özel bir ön uç, bina işinde sizi gerçekten sen Python özel rapor biçemleyicileri yazma önümüzdeki 5 yıl geçirmek mutlu olmadıkça istemiyoruz.
Son olarak, kolayca üretim sistemlerinden hızlı veri besleme alabilirsiniz bir yerde barındırın. Bu muhtemelen kendi veri merkezinde kendi donanımını anlamına gelir. Bu sistem, I / O bağlı olacaktır; o büyük veri hacimleri basit işlem yapıyor. Bu hızlı disk alt sahip makineleri gerektiği anlamına gelir. Bulut sağlayıcıları geleneksel olarak bu kıyafetler kullandığı tek kullanımlık 1U kutusunun tip daha pahalı büyüklükte bir emirdir olarak donanım bu tür desteklemek için değil eğilimindedir. Hızlı Disk I / O bulut mimarileri bir güç değildir.