Bir şekilde, Google, Yahoo ve Bing (ve Google Görseller gibi ilgili sitelerinin) dışındaki tüm arama motorlarını sitemi taramasını, çok fazla sunucu ve bant genişliği tüketirken, ancak trafik getirmemesini engellemek istiyorum.
Bu kolayca yapılabilir mi yoksa zor mu? Birisi onları engellemek için bir robots.txt dosyasına yapıştırılabilecek küçük arama motorlarının bir listesini tutsaydı iyi olurdu.
Ayrıca, robots.txt dosyasını veya sitelerini gizlice kazıma ve taramaya aldırmayan tarayıcıları engelleyemediğimin farkındayım, ancak istediğim bu değil. Tüm Altavistas, Hotbots, Lycos (bunlar hala var mı?) Ve üniversite deney tarayıcılarının zamanımı boşa harcamasını engellemek istiyorum.
Şimdiye kadar ne denedin?
webmaster tools robots.txt generator kullanarak bunu yaptım:
User-agent: * Disallow: / User-agent: Googlebot Allow: /
Ama test etmedim.
Bir sorun ne kadar büyük?
Endişelenmeniz gereken botlar kurallara uymayan ve düzenli ziyaretçi gibi davranan botlardır.
Arama Motoru trafiği yasal ve Dan'in belirttiği gibi Google da küçük bir üniversite projesi olarak başladı. Küçük çocuklara karşı ayrımcılık yapmak hiç de adil değil ve muhtemelen uzun vadede akıllı değil.
Kinopiko'nun cevabı işe yarayacak ve Google'ın web yöneticisi araçları robot.txt'nizi yaratmanıza ve test etmenize izin verecek (Site konfigürasyonu, Paletli Erişimi), ancak orijinal arama motorlarından gelen trafik sizin için bir sorunsa, şu anki barındırma sunucunuz olabilir. çözüm iyi bir anlaşma değil.
Kurallara uymayanlar için, onları günlüklerinde bulmayı deneyebilir ve daha sonra IP ile engelleyebilirsiniz.
Genel olarak, botları insan olamayacak kadar hızlı okuduğu gerçeğiyle anlayabilirsiniz.