Microsoft’un Bing Arama’da çalışan kıdemli bir program yöneticisi olan Frédéric Dubut, Çarşamba günü Twitter’da Bingbot tarayıcısı için robots.txt dosyasında belirli bir bölüm oluşturduğunuzda emin olmanız gerektiğini söyledi. bu bölümdeki tüm varsayılan yönergeleri listeler.
Bingbot için yönergeleri belirtin. “Özellikle Bingbot için bir bölüm oluşturursanız, tüm varsayılan direktifler dikkate alınmaz (Tarama Gecikmesi hariç)” dedi. “Bingbot'un kendi bölümü altında takip etmesini istediğiniz direktifleri kopyalamanız GEREKİR” dedi.
Bu ne anlama geliyor? Bingbot’un web sitelerinde gezinmek istemedikleri alanları tarıyor olması. Bazı yöneticilerin, Bingbot’a belirli talimatlar vermeleri durumunda, listelenmemiş varsayılan direktiflerin geri kalanını izleyeceğini varsayması muhtemeldir. Bunun yerine, Bingbot için bir bölümünüz varsa, yalnızca robots.txt dosyanızın o bölümünde özel olarak listelediğiniz yönergeleri izleyecektir. Bingbot için belirli bir bölümünüz yoksa, Bingbot varsayılan direktifleri takip edecektir.
لماذا هو مهم؟ Robots.txt dosyanızı kurduğunuzda, tüm arama motoru tarayıcılarının sitenizi verimli bir şekilde tarayabildiğinden emin olun. Engelleme, tarama gecikmeleri veya diğer yönergeler için özel yönergeler ayarlarsanız, tüm arama motoru tarayıcılarının bu yönergeleri dinlediğinden emin olun. Sözdizimi sorunları varsa, protokollerini izlemiyorsanız veya bu tür direktiflere erişme konusunda sorun yaşıyorlarsa dinlemeyebilirler.
Bing için bir robots.txt kurma konusunda daha fazla bilgi için, yardım belgelerine bakın.