Google ve EDF , Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında , bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi. Daha önce, Oakland'daki hava kalitesi ölçümleri yalnızca şehrin farklı yerlerine yerleştirilmiş bir avuç monitörden alınabiliyordu. Çalışma, Oakland'ın birçok yerinde, özellikle çimento fabrikalarının yakınındaki mahallelerde ve daha önce belli olmayan otomobil kaportacılarında yüksek hava kirliliği seviyelerini ortaya çıkardı.
Bir çevre araştırmacısı ve veri bilimcisi olarak, ölçümlerin yapıldığı şehirdeki farklı yerlerdeki hava kalitesini tahmin etmek için tekrarlanan yolda örneklemeden (2015-2016 yılları için) toplanan bu veri setini makine öğrenimiyle birleştirip birleştiremeyeceğimi merak ediyordum. müsait değil. Bu, bireylerin maruz kaldığı kirlilik seviyelerini daha iyi anlamamıza yardımcı olabilir.
Herhangi bir konumdaki hava kalitesi, ana caddelerdeki ve otoyollardaki trafik, demiryolları, limanlar ve endüstriyel kaynaklardan kaynaklanan emisyonlar, zamansal faktörler ve rüzgar hızı ve rüzgar yönü gibi diğer meteorolojik faktörler gibi çeşitli faktörlere bağlıdır. Biraz araştırma yaptıktan sonra, aşağıdaki soruyu araştırmak için projemin kapsamını belirlemeye karar verdim:
"Yerel meteorolojik koşullara, endüstriler gibi yerel emisyon kaynaklarına ve otoyollardaki trafiğe dayalı olarak Oakland'daki herhangi bir konumdaki hava kalitesini tahmin etmek için bir makine öğrenimi modeli oluşturabilir miyiz?"
Tüm Oakland mahallelerinde Kara Karbon (BC) ve Azot Dioksit (NO2) 'nin adres düzeyinde kirletici konsantrasyonlarını tahmin eden bu web uygulamasını yarattım . Web uygulaması, kullanıcılara mahallelerindeki hava kirletici konsantrasyonları hakkında bir fikir verir, evleri satın almak veya kiralamak için iyi hava kalitesine sahip alanları belirlemeye yardımcı olur ve konsantrasyonların alışılmadık derecede yüksek olduğu 'sıcak noktaları' belirlemeye yardımcı olur.
Bu web uygulamasını oluşturmak için veri analizi ve makine öğrenimi ardışık düzeni aşağıda özetlenmiştir.
Veri Analizi ve Makine Öğrenimi Ardışık Düzeni
Hedef Değişken
EDF ve Google'daki bilim adamları tarafından toplanan veri kümesi, mobil algılama ekipmanına sahip Google Street View arabaları tarafından Haziran 2015 ile Mayıs 2016 arasında 150 günlük bir süre boyunca toplanan NO2, BC ve Nitrik Oksit (NO) konsantrasyonlarını içerir. Veri seti daha sonra bir yıllık bir süre boyunca toplandı ve ortalama konsantrasyon Oakland için ~ 30 m'lik bir ölçekte oluşturuldu.
Aşağıdaki şekil, Oakland bölgesinde ölçülen NO2 konsantrasyonlarının (ppb cinsinden) bir haritasını göstermektedir. Bununla birlikte, bu veri seti, kesinlikle çok yararlı olsa da, yalnızca Oakland'ın belirli mahallelerinde hava kalitesi ölçümleri sağlar.
Oakland'daki diğer mahallelerdeki hava kalitesini tahmin edebilen genelleştirilmiş bir model oluşturmak için bu veri kümesini kullanmak için, ilk olarak, EDF veri kümesinde ölçülen aynı konumlardaki hava kirletici konsantrasyonlarını tahmin etmek için bir dizi genelleştirilebilir özellik oluşturarak bir makine öğrenimi modeli eğittim. Kirletici konsantrasyonlarını tanımlar. Daha sonra bu eğitimli modeli, ilgilenilen konum için bu özellikleri üreterek herhangi bir adresteki konsantrasyonları tahmin etmek için kullandım.
Öncelikle özelliklerin konumlara (koordinatlara) göre nasıl geliştirildiğine bakalım.
Giriş Verileri ve Özellik Mühendisliği
Konsantrasyonları tahmin etmede kullanılabilecek bir özellik seti geliştirmek için, öncelikle herhangi bir konumdaki (" ilgi alanı ") hava konsantrasyonlarının endüstrilerden kaynaklanan emisyonlar, trafik emisyonları gibi hava kirliliği kaynakları ile nasıl ilişkili olduğunu anlamamız gerekir. ve yerel meteorolojik parametreler.
Özellikleri aşağıdaki kategorilere ayırdım:
Nokta emisyon kaynakları - Oakland'daki tüm önemli nokta kaynaklarının konumlarını öğrenmek için ABD EPA'nın Ulusal Emisyon Envanteri veri tabanını (2014) kullandım ve konsantrasyonla korelasyonu ölçmek için bir ölçü olarak 'nokta kaynağı ile ilgili konum arasındaki mesafeyi ' kullandım .
Trafik - Her konumdaki hava kirliliğinin trafikle nasıl ilişkili olduğunu anlamak için, özellik olarak iki farklı trafik ölçümü kullandım. İlk trafik ölçüsü, ilgilenilen yerden 1000 ft. Yarıçapındaki trafik kesişimlerinin sayısıdır ve ikinci ölçü, ilgilenilen yerden otoyollara olan yakınlıktır (mesafe). Trafik ölçümleri, Overpass API kullanılarak OpenStreetMap'ten elde edildi .
Meteorolojik parametreler - Hava kirliliğinin yağış, basınç, min. Gibi yıllık ortalama meteorolojik parametrelerle nasıl ilişkili olduğunu anlamak için. ve maks. Sıcaklık ve güneş radyasyonu, kullandığım , Oak Ridge Ulusal Lab Daymet veri kümesini Haziran 2015 günlük verilerini ortalaması alınarak Oakland tümü için 1 km ızgara bazında bir 1km üzerinde meteorolojik parametreler almak için -. 2016 Mayıs **
Yukarıdaki şekil, tüm giriş veri kümelerinin ve makine öğrenimi model şemasının bir listesini gösterir. Son özellik seti 324 özellik içeriyordu ve buradaki hedef değişken, farklı noktalardaki NO2 konsantrasyonudur.
** Rüzgar hızı ve rüzgar yönü kesinlikle önemli bir rol oynasa da, burada ölçülen konsantrasyonlar yıllık ortalamalar olduğu için bu iki yönü şimdilik görmezden geldim.
Makine Öğrenimi Modelini Geliştirme
Konsantrasyonları tahmin etmek için bir model oluşturmak için, basit bir doğrusal regresyon modeli, sırt regresyonu, elastik ağ, rastgele orman ve XGBoost regresyonu dahil olmak üzere beş farklı makine öğrenme algoritmasını denedim. NO2 veri seti test / eğitim verilerine bölündü ve eğitim veri setine 4 katlı çapraz doğrulama yaklaşımı uygulandı. Model tahminleri, Google-EDF veri setinden alınan kesin referans ölçümleriyle karşılaştırıldı. Rastgele orman ve XGBoost yöntemleri en iyi tahminlerle sonuçlandı. XGBoost en düşük RMSE (2,69) ve en yüksek R2 değerine (0,925) sahip olduğundan, tahminleri farklı mahallelere genişletmek için XGBoost modelini uygulamayı seçtim.
Konsantrasyonları tahmin etmede hangi özelliklerin en önemli olduğunu anlamak ve özellikleri önem derecesine göre sıralamak için Random Forest yaklaşımını kullandım. Aşağıdaki interaktif harita, bölgedeki NO2 konsantrasyonlarına en çok katkıda bulunan ilk 100 kaynağın (bu durumda özellikler) konumunu göstermektedir. Noktaların boyutu, özelliğin önemini belirtirken, daha büyük noktalar daha yüksek önemi belirtir.
Bölgedeki NO2 konsantrasyonlarını etkileyen en önemli özelliklerden bazıları, jeneratörlü bir ticari kompleks (KTUV Fox 2 ofisi), Oakland Uluslararası Havaalanı, jeneratör ve kazanlara sahip olabilen San Leandro'daki bir hastane ve Oakland'daki Digital Realty Veri Merkezi'dir. .
Farklı mahallelerde tahminlerde bulunmak
Sonraki adım, ızgaradaki her nokta için bir özellik kümesi oluşturarak, tüm Oakland alanındaki bir nokta ızgarası boyunca konsantrasyonları tahmin etmek için XGBoost modelini kullanmaktı. Her grid noktası için, o noktadaki konsantrasyonları tahmin etmek için üretilen girdi özelliği setini ve XGBoost modelini kullandım.
Aşağıdaki şekil, Oakland, CA'daki farklı mahallelerdeki tüm ızgara noktalarında tahmin edilen NO2 konsantrasyonlarının (ppb cinsinden) bir ısı haritasını göstermektedir.
Piedmont mahallesinde yüksek NO2 konsantrasyonları vardır ve bu, esas olarak ana otoyola (I-580) yakınlıktan kaynaklanabilir. San Leandro bölgesi yakınlarındaki mavi / yeşil bölgeler, bu mahalleler ana nokta kaynaklarından daha uzak olduğundan düşük NO2 konsantrasyonlarını gösterir.
BC konsantrasyonlarını (ug / m3) tahmin etmek için farklı bir model oluşturmak için aynı yaklaşımı kullandım.
Sonuçlar ve Sonraki Adımlar
Bu çalışma, çevre koruma fonu tarafından Oakland'daki Google Street View ile ortaklaşa toplanan hava kirliliği izleme veri kümesinden yararlanarak, önemli emisyon kaynakları hakkında kamuya açık verileri kullanarak ilgilenilen herhangi bir konumdaki hava kirliliği konsantrasyonunu tahmin etmek için bir makine öğrenimi modeli oluşturuyor. trafik kavşakları, otoyollara yakınlık ve yerel meteorolojik veriler. Model, Oakland bölgesindeki bazı mahallelerdeki veri noktaları üzerinde eğitilmiştir ve tüm Oakland bölgesindeki veri noktaları ızgarasındaki konsantrasyonları tahmin etmek için oluşturulmuştur.
Burada oluşturulan ısı haritası, şehir planlamacıları, çevre yönetimi ekipleri ve halk sağlığı uzmanlarının East Bay Area, CA'daki herhangi bir yer için hava kalitesini tahmin etmeleri için özellikle yararlıdır ve konsantrasyonların alışılmadık derecede yüksek olduğu 'sıcak noktaları' veya yerleri tanımlar. Bu çalışmanın bir başka uygulaması da halkın evlerini satın almak, kiralamak veya satmak için iyi hava kalitesine sahip mahalleleri tespit etmesi olabilir.
Kısa süre önce Google , Körfez bölgesindeki tüm şehirlerde ölçülen konsantrasyonları içeren bir hava kalitesi veri seti yayınladı ve Körfez bölgesindeki farklı şehirler için konsantrasyonları tahmin etmek için benzer bir makine öğrenimi modeli oluşturmak ilginç olurdu.
Bu iş için Github depom ve daha ayrıntılı bir rapor burada bulunabilir . Web uygulamasının nasıl oluşturulduğu hakkında daha fazla bilgi edinmekle ilgileniyorsanız, buradaki gönderime göz atın !
Etrafımızdaki dünya gibi, dil de sürekli değişiyor. Önceki dönemlerde dil değişiklikleri yıllar hatta on yıllar içinde meydana gelirken, artık günler hatta saatler içinde gerçekleşebilir.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.
Erasmus programında yer alan 200 bin öğrenim değişimiyle bir veri setini analiz etmenin sonuçları 2011–12 1987'den beri, Erasmus programı her yıl yüz binlerce Avrupalı öğrenciye yurt dışında, başka bir Avrupa ülkesinde bir yarıyıl veya bir yıl geçirme fırsatı vermektedir. onlara kolay bir değişim süreci ve ekonomik destek sunuyor. Zihinlerini ve kalplerini Avrupa'nın çeşitli insanlarına, dillerine ve kültürlerine açan gerçekten değerli bir deneyim.