Enerji Bakanlığı’nın Atmosferik Radyasyon Ölçümü kullanıcı tesisi, bu yıl Dünya atmosferinin sürekli ölçümlerini toplamanın 30. yılını kutlarken, Oak Ridge Ulusal Laboratuvarı’ndaki ARM Veri Merkezi, veri hazinesini daha kolay erişilebilir hale getirmek için operasyonlarında değişikliklere öncülük ediyor ve Dünya’nın iklimini dünya çapında inceleyen bilim adamları için faydalıdır.
3,3 petabayttan fazla veri içeren gözlemler
böyle şimdiye kadar, dünya çapında 460’tan fazla enstrümandan ham veri olarak başlayın. Gözlemsel ölçümler, sıcaklık, rüzgar hızı, nem, bulut örtüsü, aerosol adı verilen atmosferik parçacıklar ve hava ve iklim için kritik öneme sahip düzinelerce diğer atmosferik süreçlerin günlük kayıtlarını içerir.
Takımdaki ARM Veri Merkezi Verileri, araştırmacılar için daha yararlı olacak şekilde hassaslaştırın ve kalitelerini sağlayın. Bazı durumlarda uzmanlar, yüksek çözünürlüklü modelleri keskinleştiren üst düzey veri ürünleri oluşturmak için bu işlenmiş verileri kullanır.
son 30 yılda, çok laboratuvarlı ARM tesisi 11.000’den fazla veri ürünü topladı. Bu, telefon başına 64 gigabayt ile yaklaşık 50.000 akıllı telefonun kapasitesidir. Elinde bu kadar çok veri bulunan ARM, önümüzdeki on yılda saha ölçümlerini, veri analitiğini, veri modeli birlikte çalışabilirliğini ve veri hizmetlerini geliştirmek için adımlar atıyor. Yükseltmeler ve özlemler 31 sayfalık bir Decadal Vision belgesigeçen yıl yayınlandı.
ARM Veri Hizmetleri Müdürü Giri Prakash, 2002 yılında ORNL’de başladığında, ARM’nin yaklaşık 16 terabayt depolanmış gözlemsel veriye sahip olduğunu söyledi.
“Buna büyük veri olarak baktım” dedi.
2010 yılına kadar toplam 200 terabayttı. 2016 yılında ARM bir petabayt veriye ulaştı.
Bu ilk 16 terabaytı toplamak yaklaşık 10 yıl sürdü. Bugün, dokuz ulusal laboratuvar tarafından desteklenen bir DOE Office of Science kullanıcı tesisi olan ARM, her altı günde bir bu kadar veri toplamaktadır. Veri hazinesi yılda bir petabayt oranında büyüyor.
Prakash, bu meteorik yükselişi daha karmaşık verilere, daha karmaşık araçlara, daha yüksek çözünürlüklü ölçümlere (çoğunlukla radarlardan), daha fazla saha kampanyasına ve daha yüksek çözünürlüklü modellere borçludur.
Veri yönetimini yeniden düşünmek
Tüm bu veriler nasıl ele alınmalıdır?
Prakash, “Veri yönetimi yaklaşımımızı tamamen yeniden düşünmek ve çoğunu sıfırdan yeniden tasarlamak zorunda kaldık” dedi. “Daha fazla veri sürecini kolaylaştırmak ve otomatikleştirmek için uçtan uca veri hizmetleri yetkinliğine ihtiyacımız var. Son dört yılda neredeyse 70 veri işleme aracını ve iş akışını yeniledik.”
Bu çaba tanıma getirdi. 2020’den bu yana, ARM Veri Merkezi bir CoreTrustSeal deposu olarak kabul edildi, DOE Office of Science PuRe (Kamu Yeniden Kullanılabilir Araştırma) Veri Kaynağı olarak adlandırıldı ve Dünya Veri Sistemine üyelik kazandı.
Tüm bu önemli mesleki tanınmalar, titiz bir inceleme süreci gerektirir.
ABD’yi Uluslararası Bilim Konseyi’nin Veri Komitesi’nde temsil eden Prakash, “ARM özeldir” dedi. “Kaliteli verileri işlememize ve bunları kullanıcılara dağıtmamıza olanak tanıyan operasyonel olarak sağlam ve olgun bir veri hizmetimiz var.”
Dünya çapındaki araştırmacılara ücretsiz olan ARM ölçümleri, altı sabit ve mobil gözlemevindeki saha cihazlarından sürekli olarak akar. Cihazlar, dünya genelinde iklim açısından kritik bölgelerde çalışır.
Pacific Northwest National Laboratory’deki ARM teknik direktörü Jim Mather, Decadal Vision’ın bir parçası olarak, giderek karmaşıklaşan ARM verilerinin, giderek daha karmaşık hale gelen yeni ortaya çıkan veri yönetimi uygulamaları, donanım ve yazılımlardan destek alacağını söyledi.
Mather, “Adından da anlaşılacağı gibi, veri hizmetleri, veri analizini sağlamak için doğrudan hizmette” dedi.
Bu hizmet, fiziksel altyapı, yazılım araçları ve yazılım geliştirme için yeni politikalar ve çerçeveler dahil olmak üzere farklı ARM varlıklarını içerdiğini söyledi.
Bu arada Prakash’ı ekliyor, ARM veri yönetimi ve yönetimi için FAIR yönergelerini kullanıyor. FAIR, Bulunabilirlik, Erişilebilirlik, Birlikte Çalışabilirlik ve Yeniden Kullanım anlamına gelir. FAIR ilkelerine uymak, bilim adamları giderek daha fazla veri dijitalleştirme ve yapay zekaya güvendiğinden, verilerin tekrarlanabilir araştırmalar için bulunabilir ve yararlı olmasını sağlamaya yardımcı olur.
ARM’nin on yıllık dönüşümünde bir adım, operasyonel ve araştırma bilgi işlem altyapısını geliştirmek olacak. Daha fazla bilgi işlem, bellek ve depolama varlıkları, örneğin tarama radarlarından yüksek hacimli veri kümelerini yüksek çözünürlüklü modellerle birleştirmeyi kolaylaştıracak. Daha fazla bilgi işlem gücü ve yeni yazılım araçları, makine öğrenimini ve büyük veri biliminin gerektirdiği diğer teknikleri de destekleyecektir.
ARM Veri Merkezi, kullanıcı tesisinin hesaplama ve veri erişim ihtiyaçlarını zaten desteklemektedir. Ancak veri merkezi, verilere ve bilgi işleme sorunsuz erişim sağlayarak mevcut yüksek performanslı ve bulut bilişim kaynakları karışımını güçlendirmek için genişletiliyor.
Mather, zorluğu ortaya koydu: ARM, yüzlerce enstrümanından gelen 2.500’den fazla aktif veri akışına sahiptir. Petabaytlarca bilgiyi yönetme zorluğuna bu veri akışlarının baskısını eklediğinizde, işleme darboğazları mümkündür. Toplamda, bunun gibi ciltler, ARM verileriyle bilimde ilerleme sağlamanın daha zor olduğu anlamına gelebilir.
Bunu aşmak için, bilgi işlem donanımı alanında, Mather, ARM’nin ARM Veri Merkezinde işlenen ve depolanan veriler için “daha güçlü hesaplama hizmetleri” sağlayacağını söyledi.
İhtiyaç artarak devam ediyor
Bu artan bilgi işlem gücünün bir kısmı, büyük girdap simülasyonlarının veya LES’in çok fazla hesaplama gücü gerektirdiği yeni bir ARM modelleme çerçevesini desteklemek için son birkaç yılda çevrimiçi hale geldi.
Şimdiye kadar, LES ARM Simbiyotik Simülasyon ve Gözlemveya LASSO, aktivite, ARM verileriyle bilgilendirilen geniş bir simülasyon kütüphanesi yarattı. Atmosferik araştırmacılar için kapsamlı bir şekilde taranan ve modernize edilen bu veri paketleri, atmosferin vekilleridir. Örneğin, iklim modellerinin doğruluğunu test etmeyi kolaylaştırırlar.
2015 yılında tasarlanan LASSO, ilk olarak sığ kümülüs bulutlarına odaklandı. Şimdi, bir derin konveksiyon senaryosu için veri paketleri geliştiriliyor. Bu verilerden bazıları, Mayıs 2022’de bir beta sürümü aracılığıyla kullanıma sunuldu.
Mather, yine de daha fazla bilgi işlem gücü için “ihtiyaç artmaya devam ediyor” dedi. “İleriye baktığımızda, bilgi işlem ihtiyacının büyüklüğünü ve doğasını sürekli olarak değerlendirmemiz gerekiyor.”
ARM’nin yeni bir Cumulus yüksek performanslı bilgi işlem kümesi ARM kullanıcılarına 16.000’den fazla işlem çekirdeği sağlayan Oak Ridge Liderlik Bilgi İşlem Tesisinde. Ortalama bir dizüstü bilgisayarın dört ila altı çekirdeği vardır.
Gerektiğinde, ARM kullanıcıları Ulusal Enerji Araştırmaları Bilimsel Hesaplama Merkezi gibi diğer DOE tesislerinde daha fazla bilgi işlem gücü için başvurabilirler. DOE aracılığıyla harici bulut bilgi işlem kaynaklarına erişim de mümkündür.
Prakash, ARM kullanıcılarının ARM verileriyle çalışması için kullanılabilen Jupyter Notebook da dahil olmak üzere kullanıcı dostu araçlardan oluşan bir menü öngörür. Araçlar, kullanıcıların bir seferde petabaytlarca ARM verisine erişirken bir dizüstü bilgisayardan veya iş istasyonundan geçiş yapmaları için tasarlanmıştır.
Prakash, “Amacımız, bilgisayar gücünün olduğu her yerde ARM verilerini sağlamak” dedi.
Bir veri tezgahı geliştirme
Mather, “Yazılım araçları da kritik öneme sahip” diyor. “Gelecekteki (LASSO) derin konveksiyon simülasyonlarının her birinin 100 terabayt düzeyinde olmasını bekliyoruz. Bu verilerin madenciliği, verileri görselleştirmek, filtrelemek ve işlemek için karmaşık araçlar gerektirecektir.”
Örneğin, LASSO’nun konvektif bulut alanlarını üç boyutlu olarak görselleştirmeye çalıştığını hayal edin. Bu göz korkutucu bir yazılım sorunudur.
Bunun gibi zorluklar, doğru yazılım araçlarını belirlemek için atmosferik araştırma topluluğuyla her zamankinden daha fazla etkileşim gerektirir.
Daha fazla katılım, Decadal Vision belgesinin şekillenmesine yardımcı oldu. Bunun için bilgi toplamak için Mather, ARM’nin bilimsel etkisini artırmaya yönelik fikirleri toplamak için atölye çalışmalarından ve kullanıcılar ve personelle doğrudan temastan yararlandı.
Veri hacmindeki büyüme göz önüne alındığında, daha geniş bir veri kullanıcısı kitlesine ARM Veri Merkezi’nin kaynaklarına daha da sorunsuz erişim sağlamak için açık bir ihtiyaç vardı. ARM verilerine, analitiklere, bilgi işlem kaynaklarına ve veritabanlarına zaten erişimleri var. ARM veri kullanıcıları, verileri tarih aralığına veya koşullu ifadelere göre de seçebilir.
Daha derin erişim için ARM, bir ARM Data Workbench geliştiriyor.
Prakash, çalışma tezgahını, entegre bir veri hesaplama ekosistemi sunarak “dönüştürücü bilgi keşfi sağlayacak” mevcut Veri Keşfi arayüzünün bir uzantısı olarak tasavvur ediyor. Kullanıcıların, gelişmiş veri sorgularını kullanarak ilgilendikleri verileri keşfetmelerine olanak tanır. Kullanıcılar, ARM’nin geniş veri hazinesinin yanı sıra yazılım araçları ve bilgi işlem kaynaklarını kullanarak gelişmiş veri analitiği gerçekleştirebilir.
Çalışma tezgahı, kullanıcıların açık kaynaklı görselleştirme ve analitik araçlardan faydalanmalarını sağlayacak. Herkese ücretsiz olan açık kaynak kodu da yeniden dağıtılabilir veya değiştirilebilir. Büyük ölçekli veri analitiği için Apache Cassandra veya Apache Spark gibi teknolojileri de kullanabilirler.
Prakash, 2023’ün başlarında, tezgahın bir ön versiyonunun çevrimiçi olacağını söyledi. Oraya varmak, tezgah ihtiyaçlarını belirlemek için ARM veri kullanıcıları ile saatlerce daha fazla istişare gerektirecektir.
Bu noktadan sonra, tezgahın 2023 mali yılının sonuna kadar “sürekli geliştirileceğini” de sözlerine ekledi.
Prakash, gelişmiş erişim ve açık kaynak araçlarıyla çalışma tezgahını “ARM verileriyle etkileşim kurmanın devrim niteliğinde bir yolu” olarak adlandırıyor.
ARM kısa süre önce açık kaynak kod yeteneklerini yeniden yapılandırdı ve yazılım paylaşım sitesine veri hizmeti organizasyonlarını ekledi GitHub.
Mather, “ARM bünyesinde, ihtiyaç duyulan işleme ve analiz kodlarını geliştirmek için sınırlı bir kapasiteye sahibiz” dedi. “Ancak bu açık kaynaklı yazılım uygulamaları, en iyi fikirleri uygulamak ve herhangi bir çaba tekrarını en aza indirmek için geliştirme kaynaklarımızı bir araya getirmemiz için bir yol sunuyor.”
Sonunda, “Bu tamamen ARM verilerinin etkisini artırmakla ilgili” diye ekledi.
UT-Battelle, Amerika Birleşik Devletleri’ndeki fizik bilimlerinde temel araştırmaların en büyük tek destekçisi olan Enerji Bakanlığı Bilim Ofisi için ORNL’yi yönetmektedir. Bilim Ofisi, zamanımızın en acil sorunlarından bazılarını ele almak için çalışıyor. Daha fazla bilgi için, lütfen energy.gov/science adresini ziyaret edin.
Editörün Notu: Uyarlanmış bir makale ARM’nin merkezinin bulunduğu Pacific Northwest National Laboratory’den Corydon Ireland tarafından.
Kaynak : https://newslanes.com/2022/06/07/arm-plans-upgrades-as-it-marks-30-years-of-collecting-atmospheric-data/