Google, patent endüstrisinin BERT (bidirectional encoder representation from transformers) gibi yapay zeka ve makine öğrenimi modellerinden yararlanabileceğini ortaya koyan bir tanıtım belgesi yayınladı. Tanıtım belgesi, ABD ve diğer ülkelerden açık kaynaklı araçları kullanarak 100 milyondan fazla patent yayını üzerinden BERT modelini eğitmek için bir metodolojinin ana hatlarını çiziyor.
Tanıtım belgesindeki metodoloji, bir patent başvurusunun yeniliğini belirlemek için önceki teknik araştırmasının nasıl daha etkili bir şekilde gerçekleştirileceği, patent kategorizasyonuna yardımcı olmak için otomatik olarak sınıflandırma kodlarının nasıl oluşturulacağına ilişkin modellemeleri kapsıyor.
Google tarafından 2018'de geliştirilen ve uygulamaya konulan BERT, doğal dil işleme (NLP) ön eğitimi için Transformer tabanlı bir makine öğrenimi tekniği olarak tanımlanıyor. Google, 2019'dan itibaren kullanıcı aramalarını daha iyi anlamak için BERT'den yararlanıyor. Yayınlanmasından kısa bir süre sonra, BERT çerçevesi ve birçok ek transformatör tabanlı uzantı, arama, sohbet robotları ve çeviri gibi alanlarda endüstri tarafından yaygın olarak benimsendi.
Google’dan yapılan açıklamada patentlerin teknik özellikleri ve ticari değerleri nedeniyle BERT gibi algoritmaların uygulanması için patentler alanının olgunlaştığına vurgu yapılarak, teknik olarak patent külliyatının büyük (dünya çapında her yıl milyonlarca yeni patent yayınlanıyor), karmaşık (patent başvuruları genellikle ortalama ~10.000 kelime içeriyor ve genellikle buluşçular, patent avukatları ve patent inceleme uzmanları tarafından ustalıkla kullanılan kelimelerle yazılıyor), benzersiz (patent metinleri meslekten olmayan bir okuyucu için anlaşılmaz olabilecek oldukça “hukuk dili” içeriyor) ve son derece konteks temelli (birçok terim, farklı patentlerde tamamen farklı şeyler ifade etmek için kullanılıyor) olduğuna işaret edildi.
Google’un açıklamasında patentlerin aynı zamanda bir dizi kuruluş için muazzam bir ticari değeri temsil ettiği; şirketlerin, patentli teknolojiyi geliştirmek için yılda on milyarlarca dolar harcadığı, dünya çapındaki patent ofislerinin de patent başvurularını incelemek için yılda milyarlarca dolar harcadığı belirtildi.
Google, yeni modellemelerinin makine öğrenimi uygulamalarında aşağıdakiler de dahil olmak üzere çok geniş bir patent topluluğuna yardımcı olacağını belirtti.
- Gelişmiş makine öğrenimi teknikleriyle dahili modellerini ve araçlarını geliştirmek isteyen şirketlerin patent departmanları,
- Patent incelemesine ve önceki teknik araştırmasına yardımcı olmak için son teknoloji makine öğrenimi yaklaşımlarından yararlanmakla ilgilenen resmi patent ofisleri,
- Yeni NLP algoritmalarını test etmek ve geliştirmek için patent külliyatını kullanmakla ilgilenen ML ve NLP araştırmacıları ve akademisyenleri,
- Patent ve yenilik çalışmaları için BERT algoritmasını veya diğer transformatör tabanlı yaklaşımları uygulamakla ilgilenen patent araştırmacıları ve akademisyenleri.