Uçuş gecikmeleri, tüm dünyada hava ulaşım sistemleri için önemli bir konu ve sorun haline geldi. Havacılık endüstrisi, her zaman uçuş gecikmeleriyle ilişkili ekonomik kayıplardan muzdarip olmaya devam ediyor. Birleşik Devletler Ulaşım İstatistikleri Bürosu'nun (BTS) verilerine göre, ABD uçuşlarının% 20'sinden fazlası 2018'de ertelendi. Bu uçuş gecikmeleri, ABD'de yılda 40,7 milyar dolara eşdeğer ciddi bir ekonomik etkiye sahip. Yolcular zaman kaybına, kaçırılan iş fırsatlarına veya boş zaman etkinliklerine maruz kalırlar ve gecikmeleri telafi etmeye çalışan havayolları, fazladan yakıt tüketimine ve daha büyük bir olumsuz çevresel etkiye yol açar. Beklenmeyen uçuş gecikmelerinin neden olduğu olumsuz ekonomik ve çevresel etkileri hafifletmek ve artan uçuş talebini artan uçuş gecikmeleri ile dengelemek için, havalimanlarında uçuş gecikmelerinin doğru bir şekilde tahmin edilmesi gerekir.
Havaalanındaki gecikmeler, havayolu operasyonlarından, hava trafik sıkışıklığından, hava koşullarından, hava trafik yönetimi girişimlerinden vb. Kaynaklanabilir. Sebeplerin çoğu, zamanında ve doğru bir şekilde tahmin edilmesi zor olan stokastik olaylardır.
Bu projenin amacı, Kaggle'dan alınan uçuşlar için verilere dayalı olarak gecikmeleri tahmin etmek için bir hesaplama modeli geliştirmektir.
İlk aşama Kaggle'dan veri almak ve bunları PostgreSQL'de depolamaktır. İkinci aşama veri temizliğidir. Verileri veritabanına yükledikten sonra, verileri çoğunlukla iş ihtiyaçlarına bağlı olarak temizledim. Tüm verileri temizledikten sonra, bir sonraki aşama, ham verilerden makine öğrenimi modeli için özellikler oluşturduğunuz özellik mühendisliğidir. Dördüncü aşama, keşif amaçlı veri analizidir. Bu aşamada verileri anlamak için grafikler oluşturuyorum. Beşinci aşama, veri kümesine makine öğrenimi algoritmalarını uyguladığım model analizidir.
2018 yılına ait tüm ABD havayolları uçuş verileri Kaggle'den alınmıştır. Son sayı itibariyle, jupyter not defterinden erişilebilen bir PostgreSQL tablosunda depolanan 7 milyonun üzerinde zamanlı performans verisine sahibiz.
Bu veri setinde havayolları, havaalanı, uçuş numarası vb. İçin ayrıntılı bilgiler bulunur. Hemen hemen tüm diğer veriler dakika cinsinden zamana bağlıdır. Aynı zamanda taşıyıcı, hava durumu, NAS, güvenlik ve geç uçak gibi türe göre ayrılmış gecikmelere de sahiptir.
Başlangıçta veri setim 7 milyondan fazla uçuş bilgisine sahipti. O zaman tüm verilere sahip olmayan birçok uçuş olduğunu fark ettim. Dolayısıyla, veri kümemden uçuşları kaldırmanın ana nedeni özelliklerin kullanılamamasıydı.
İptal edilen uçuşlar, gecikmeli uçuşlar değildir. İptal edilirse bu, uçuşun gerçekleşmediği ve değerlerin yardımcı olmadığı anlamına gelir. Analizim için İptal edilen uçuşları filtreledim.
Gelecekte kullanmayı düşündüğüm true_elasped_time sütunundaki boş değerleri sildim.
Bu uçuşları kaldırdıktan sonra, nihayet tüm bilgilerin mevcut olduğu yaklaşık 6 milyon veriye sahip veri setimi aldım.
Özellik mühendisliği, mevcut verilerden genellikle birden çok ilgili tabloya yayılan ek özellikler oluşturmak anlamına gelir. Özellik mühendisliği, verilerden ilgili bilgilerin çıkarılmasını ve daha sonra bir makine öğrenimi modelini eğitmek için kullanılabilecek tek bir tabloya alınmasını gerektirir.
Taşıyıcı, hava durumu, NAS, güvenlik ve geç uçak gibi herhangi bir gecikme türü sütununda bir değer varsa etiket sütunu "gecikti" oluşturulur ve değer 1 olarak ayarlanır.
Havayolu kodu (op_carrier) ve Havaalanı kodu (başlangıç / varış) sütunları “Object” den “int64” e dönüştürülür.
Uçuş tarihi sütunu fl_date, fl_month, fl_day olarak ayrılır ve veriler fl_date'ten bu sütunlara güncellenir.
İstatistikte, keşifsel veri analizi (EDA), veri setlerinin ana özelliklerini genellikle görsel yöntemlerle özetlemek için analiz etme yaklaşımıdır. İstatistiksel bir model kullanılabilir veya kullanılamaz, ancak öncelikle EDA, verilerin bize resmi modelleme veya hipotez testi görevinin ötesinde ne söyleyebileceğini görmek içindir.
EDA'da kullanılacak neredeyse çok sayıda yöntem olsa da, en etkili başlangıç araçlarından biri çiftler grafiğidir (dağılım grafiği matrisi olarak da adlandırılır). Bir çift grafiği, hem tek değişkenlerin dağılımını hem de iki değişken arasındaki ilişkileri görmemizi sağlar. Eş grafikleri, takip analizi eğilimlerini belirlemek için harika bir yöntemdir ve neyse ki Python'da kolayca uygulanır.
Isı Haritası, bir matristeki tek tek değerlerin renkler olarak temsil edildiği verilerin grafik gösterimidir. Isı haritaları, bir veri kümesindeki özelliklerin korelasyonunu keşfetmek için mükemmeldir. Isı haritasını oluşturmak için artık Matplotlib veya Seaborn'u kullanabiliriz. Bir veri kümesindeki özelliklerin korelasyonunu elde etmek
<dataset>.corr()için Pandas veri çerçevesi yöntemi olan çağırabiliriz . Bu bize korelasyon matrisini verecektir.
Hedef sütuna göre gruplanan verinin gecikmeli görüntüsüne baktığımızda verinin dengeli dağılmadığını görebiliriz. Değerlerin% 19'u gecikmeli ve% 81'i geciktirilmemiştir.
Karar Ağacı ve Lojistik Regresyon gibi Makine Öğrenimi tekniklerinin çoğunluk sınıfına yönelik bir eğilimi vardır. Ben kullanılan Rastgele Altında Örnekleme çoğunluk sınıf dengesiz sınıf dağılımını işlemek için azınlık sınıfının toplam sayısı düşürüldü o algoritmayı. Böylelikle, her iki sınıfın da eşit sayıda girişi olacaktır.
ML algoritmalarını yerelde daha kolay çalıştırabilmek için verilerimin sayısını 1 milyonla sınırlandırdım ve özellik sütunlarıma karar verdim.
Karar Ağacı, Rastgele Orman, Torbalama, KNN gibi topluluk modelleriyle 10 algoritma kullandım. Tren ve test doğruluk puanları, kesinlik, geri çağırma ve F1 puanlarını karşılaştırdım.
Listeye göre en iyi model Random Forest'dı. Daha sonra, ızgara araması ve rastgele arama kullanarak başarılı modelleri optimize edip edemeyeceğimi inceledim .
Parametre tahmininden sonra, diğer modelleri bir tabloda optimize edilmiş modellerle birleştirdim. Aşağıdaki AUC puanlarıyla bir ROC Eğrisi çizdim.
Son olarak, ROC Eğrisine baktığımızda, Random Forest Classifier'ın bize en doğru sonuçları getireceğini söyleyebiliriz .
Web kazıma ve veri ön işleme için GitHub deposu burada .
Zaman ayırdığınız ve makalemi okuduğunuz için teşekkür ederim. Herhangi bir sorunuz varsa veya yorumlarınızı paylaşmak isterseniz lütfen benimle iletişime geçmekten çekinmeyin.
Teknoloji endüstrisinde kadın ve erkek arasında bir cinsiyet farkı olduğu iyi bilinmektedir. Neden böyle olduğunu analiz etmeye çalışmak yerine, teknoloji endüstrisinin bir parçası olmaya hevesli biri olarak, verileri araştırmak ve teknolojideki kadınlar hakkında daha fazla bilgi edinmek ilginç olurdu diye düşünüyorum.
K-NN, tahmine dayalı modelleri artırmak için bir özellik mühendisliği olarak kullanılabilir. İstatistikteki son gelişmelerin çoğu, klasik istatistiksel yöntemler olarak sınıflandırılan tahmin modellerine ayrılmıştır.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.
Erasmus programında yer alan 200 bin öğrenim değişimiyle bir veri setini analiz etmenin sonuçları 2011–12 1987'den beri, Erasmus programı her yıl yüz binlerce Avrupalı öğrenciye yurt dışında, başka bir Avrupa ülkesinde bir yarıyıl veya bir yıl geçirme fırsatı vermektedir. onlara kolay bir değişim süreci ve ekonomik destek sunuyor. Zihinlerini ve kalplerini Avrupa'nın çeşitli insanlarına, dillerine ve kültürlerine açan gerçekten değerli bir deneyim.
İstatistik, "sayısal veri yığınlarının toplanması, analizi, yorumlanması ve sunulmasıyla ilgilenen bir matematik dalı" dır. Programlama ve makine öğrenimini bir araya getirin ve veri bilimi için temel becerilerin oldukça iyi bir tanımına sahipsiniz.
Denetimli veya denetimsiz birçok algoritma, mesafe ölçümlerinden yararlanır. Öklid mesafesi veya kosinüs benzerliği gibi bu önlemler genellikle k-NN, UMAP, HDBSCAN vb. Algoritmalarda bulunabilir.
Al Pacino, 'Ve Herkes İçin Adalet' doruk noktasını yeniden yazdığını söyleyerek Norman Jewison'ı şaşırttı. Ama Pacino'nun nedenleri vardı.
Kelly Dodd, 'RHOC' Sezon 16'dan çıkarıldı ve Heather Dubrow portakalı için geri döndüğü için geri dönmeyecek.
Kevin Hart kısa süre önce iptal kültürüne karşı çıktı ve mükemmel olması beklenen tek kişinin halk figürleri olduğunu belirtti.
'Sopranos'un sonlarında, yazarlar Tony Soprano için alternatif bir kimlik oluştururken Alfred Hitchcock etkisine gittiler.
O mükemmel kahve için dünyayı mı arıyorsunuz? Belki de kendi kahve çekirdeklerinizi kavurmanın güzel sanatlarını ve bilimini öğrenmenin yolu budur.
Yaratılış'ta sadece kısa bir kez ortaya çıkıyor, ancak İsa Mesih'in habercisi olarak görülüyor. O gerçekte neydi ve İsa ile nasıl ilişkilendirildi?
Mississippi'de fakir bir ortakçı ailesinde dünyaya gelen Fannie Lou Hamer, Şiddetsiz Öğrenci Koordinasyon Komitesi (SNCC) için saha sekreteri ve sivil ve oy hakları için yorulmak bilmeyen bir savaşçı oldu.
Modern uygarlık giderek yarı iletkenlere bağımlı hale geliyor, ancak tedarik zinciri COVID-19 pandemisi, kuraklıklar ve talep artarken diğer sorunlar tarafından kesintiye uğradı.
Getireceği yükü bir düşünün. MLB sezonu ilerledikçe, Sıcak Soba ısınıyor.
Xavien Howard Xavien Howard'ın NFL'deki en iyi köşe oyuncularından biri olduğuna dair çok az soru var. Geçen sezon 10 - TEN - müdahalesi vardı.
Spor salonunda ne yapacağınız konusunda çelişkili tavsiyeler bulmak için uzağa gitmenize gerek yok. Bazı insanlar size belirli egzersizleri hiç yapmamanızı söyleyecektir; diğerleri, dirseklerinizin bir presin tepesinde ne kadar düz olması gerektiği gibi ayrıntıları tartışacaklar.
Bütün bebekler ağlar. Ama bazı bebekler çok ağlar.
Liberty County Şerif Ofisi'ne göre, 37 yaşındaki Robert Eugene Hoffpauir tutuklandı ve 60 yaşındaki Roman Rodriguez'i öldürmekle suçlandı.
Leona Lewis Instagram'da, "İnsanlar özür dilediğinde (Chrissy) ve eylemleri için samimi bir pişmanlık ve rehabilitasyon gösterdiğinde, onları kucaklamalıyız ve düştüklerinde onları tekmelemeye çalışmamalıyız" dedi.
Kelsey Grammer, başrolü paylaştığı Paris Jackson ile ilk kez daha gençken tanıştı ve babasıyla Michael Jackson arasında çok güzel bir ana tanık oldu.
54 yaşındaki Jeff Tremaine, eski televizyon yıldızının kendisine ve ailesine ölüm tehditleri göndermesinin ardından 41 yaşındaki Bam Margera hakkında uzaklaştırma emri başvurusunda bulundu.