Önceki blog gönderimde, günümüzün makine öğrenimi ekosisteminde kalite ve güvenin ne kadar büyük zorluklar olduğunu anlattım . Okumaya fırsat bulamadıysanız, bu yazıya geçmeden önce okumanızı şiddetle tavsiye ederim. Snitch AI'yı neden oluşturmaya karar verdiğimizi anlamak için sahneyi harika bir şekilde hazırlıyor.
Yaklaşık iki yıl önce, meslektaşım Olivier Blais ortak hizmet şirketimiz Moov AI'da çeşitli şirketler için makine öğrenimi modelleri oluşturuyordu.
Müşterilerde sık sık karşılaşılan bir sorun, kendilerine eksiksiz bir model sunulduğunda, devam etmekte ve modeli üretimde kullanmakta tereddüt etmeleridir. Çoğu zaman, söz konusu teknolojiyi anlamadılar ve ona güvenmek istemiyorlardı. Olması gerektiği gibi çalıştığını "kanıtlamanın" pek çok yolu olmamasının pek faydası olmadı.
Elbette, Olivier onlara tüm eğitim verilerini doğruluk ve kayıp değerleriyle gösterebilir ve modelin eğitim setinden gerçekten doğru bir şekilde öğrendiğini kanıtlayabilirdi. Ancak bu ölçümler yalnızca şimdiye kadar gitti.
Sonuçta, model gereğinden fazla takılmış olsaydı, bundan nasıl emin olurduk?
Daha da kötüsü, ya ilk verilerde bir sorun olsaydı? Durum böyle olsaydı, model yanlış varsayımlar altında öğrenirdi. Bu, feci sonuçlara yol açabilir. Olivier bundan memnun değildi ve daha iyisini yapmak istiyordu.
Model kalitesini ölçmenin ve kanıtlamanın yollarını aramaya başladı. Pek çok farklı yaklaşım sunabilecek çeşitli teknikler, çerçeveler ve bilimsel makaleler buldu.
Her yaklaşım, paydaşları yapay zekayı benimsemeye ikna etmek için ihtiyaç duyduğu güveni adım adım inşa ederek resmin bir parçasını doğrulayacaktı. Ancak bu teknikler, bir veri bilimcisinin eksiksiz bir resim oluşturmak için çeşitli testleri bir araya getirmesini gerektirdiğinden kopuktu.
Ancak tamamlandıktan sonra, modelin yapması gerekeni gerçekten yaptığından emin olmak harikalar yarattı. Bu, Olivier için biraz tutku projesi haline geldi ve Nisan 2020'de ODSC East'te model sağlamlığını sağlamak için farklı teknikleri açıklayan bir konuşma yaptı .
Bu konuya olan ilgisi burada bitmedi. Makine öğrenimi modelinin kalitesini ve sağlamlığını sağlamak için kullanılabilecek uluslararası bir norm oluşturmak için Kanada Standartlar Konseyi ile çalışmaya başladı. Bu, daha açıklanabilir, daha yüksek kaliteli AI oluşturulmasına izin verecektir.
ISO SC42 komitesi artık bu endişeyi gidermek için Olivier'in liderliğinde bir geliştirme standardına sahiptir. Standartlar, makine öğrenimi modelleri için minimum kaliteyi sağlamanın harika bir yolu olsa da, yalnızca makine öğrenimi modellerini geliştirmek için kullanılabilecek araçlar modelin standartları karşılamasını veya aşmasını sağlamada yardımcı olabilirse yararlıdır.
Snitch AI burada devreye giriyor. Mayıs 2020'de, veri bilimi ekip yöneticilerine ekiplerinin geliştirmekte olduğu modellerin kalitesini değerlendirmelerine yardımcı olacak bir platform üzerinde geliştirmeye başladık.
Platformumuz ayrıca veri bilimcilere bu değerlendirmeyi doğru bir şekilde anlamaları için gereken ayrıntıları ve model sağlamlığını sağlamak için durumu nasıl düzelteceklerini sağlar.
Makine öğrenimi modelleri geliştirmenin tek bir yolu olmadığının oldukça farkındayız ve bu nedenle, ufukta PyTorch desteğiyle SciKitLearn, TensorFlow ve XGBoost'u destekleyerek mümkün olduğunca çerçeveden bağımsız olmaya çalışıyoruz.
Ayrıca, veri bilimcilerinin sadece doğru bir değerlendirme elde etmek için modeli ve beraberindeki veri setlerini sağlamaları gereken bir hat sonu yaklaşımı tercih ettik. Modelinizi eğitirken çerçevemizi veya kitaplıklarımızı kullanmanıza gerek yok. Bu, istedikleri gibi çalışmaya devam edebilen veri bilimi ekipleri için daha az sürtünme anlamına gelir. Ayrıca, değerlendirme için Snitch AI'ya bir model göndermenin yalnızca birkaç dakika sürdüğü anlamına gelir.
İleriye dönük olarak, ekiplere modelleri hakkında daha fazla fikir vermek için kalite ve sapma analizlerimize yeni özellikler eklemek için çok çalışıyoruz. Ayrıca, otomasyona izin veren bir API oluşturarak ve birçok popüler CI aracı için eklentiler sağlayarak mevcut MLOps ardışık düzenleriyle entegrasyonu çok daha basit hale getirmek için çalışıyoruz.
2021 aynı zamanda, analiz tekniklerimizi test etmek, doğrulamak ve iyileştirmek için Montreal Üniversitesi ile işbirliği içinde bir araştırma projesinin başlangıcını işaret ederken, aynı zamanda ISO SC42 komitesindeki gelişmeleri yakından takip ediyor ve bu yeni standartları kullanılabilir hale geldikçe entegre ediyor.
Amacımız, her veri bilimi ekibinin araç kutusunda fiili bir araç haline gelmek ve paydaşlara beklenen değeri getirecek sağlam, yüksek kaliteli modeller üretmelerine yardımcı olmaktır.
Yapay zekanın hem güvenilir hem de sağlam olmasını ve beklenen sonuçları sağladığından emin olmak için hala yapılması gereken çok şey var. Yapay zeka bir bütün olarak henüz başlangıç aşamasındadır ve biz buzdağının potansiyeline göre yalnızca tepesini gördük.
Sizi temin edebileceğimiz bir şey, Snitch AI'nın, AI'nızın tüm ekibinizin sağlamlık uzmanları olma ihtiyacı duymadan olabildiğince iyi olduğundan emin olmak için model kalite güvencesinde tüm gelişmelerin ön saflarında kalacağıdır.
Sonuçta, modelleriniz üzerinde olumlu ve kalıcı bir etki bırakmak için Olivier'in geçtiği tüm teknik incelemeleri gözden geçirmek zorunda kalmak istemezsiniz. 🙂
Peki ne bekliyorsunuz? Get ücretsiz deneme hemen kullanmaya başlayın ve daha sağlam ve yüksek kaliteli AI oluşturmak için harekete katılır.
Gönderen: Christian Mérat
İlk olarak 26 Ocak 2021'de https://www.snit.ch adresinde yayınlandı .
Etrafımızdaki dünya gibi, dil de sürekli değişiyor. Önceki dönemlerde dil değişiklikleri yıllar hatta on yıllar içinde meydana gelirken, artık günler hatta saatler içinde gerçekleşebilir.
Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Medya, Ex Machina ve I, Robot gibi bilimkurgu filmleri ve Elon Musk gibi birkaç açık sözlü vizyon sahibi sayesinde, çoğu insan artık Yapay Zeka (AI), çeşitli alt kümeleri ve potansiyelleri hakkında en azından temel bir anlayışa sahip. uygulamalar. Peki ya Ambient Intelligence (AmI) - bunu duydunuz mu? Endişelenmeyin, bu yeni ortaya çıkan alan bu noktada on yıldan fazla bir süredir etrafta olmasına rağmen çok az kişi var.
Yapay Zeka (AI) algoritmaları, özellikle eğlence ve sosyal medyanın en popüler ürünlerinden bazılarında istihdam edilmesiyle ya da başarılı bir şekilde araba kullanabildikleri için popüler hale geldiğinden, daha önce hiç olmadığı kadar halkın incelemesine girdi. Elon Musk veya Steven Hawking gibi yapay zeka hakkında konuşan ünlü bilim adamlarının, algoritmalara hayatımızın belirli yönlerine izin vermenin etik sonuçlarını ve kariyerlerinin işe yarayıp yaramadığını merak eden ünlü bilim adamlarının etkisi altında her türden insanın şüphesi yok. yeni teknolojinin yerini alma riski.
Makine öğrenimi ve benzer teknolojilerin ekonomi üzerindeki etkisini tartan tartışmada, dünyanın uzmanları büyük ölçüde iki kampa bölünmüş durumda. İyimserler olarak adlandıracağımız bir kamp, bu dijital devrimin, geçmişin teknolojik çalkantıları gibi ekonomiyi rayından çıkarmayacağını ve işsizlik oranlarının sonsuza dek pandemik seviyelere fırlamasına neden olmayacağını düşünüyor.
Yapay Zeka (AI) şu anda kişiselleştirilmiş alışverişten depo lojistiğine kadar her türlü süreç için pazarlama ve satışta kullanılmaktadır. Şirketlerin yeniliklerden nasıl yararlanabileceklerini ve hangi algoritmaların başlık altında çalıştığını inceleyelim.