NEDİR?
Robots.txt dosyası, bir web sitesindeki robotların (arama motoru botları gibi) belirli sayfaları ve içerikleri indekslemesini veya taranmasını önlemek için kullanılan bir standart protokoldür.
Bu dosya, web yöneticilerinin arama motorlarının sitelerini nasıl indeksleyeceğine karar vermesine yardımcı olur. Web yöneticileri, arama motorlarının belirli sayfaları tarayamayacağı veya belirli dosyaları indekslemeyeceği talimatlarını bu dosya üzerinden verebilirler.
Örneğin, bir web sitesinin robots.txt dosyası, belirli bir klasördeki tüm içeriğin taranmamasını ve indekslenmemesini sağlayabilir. Bu klasör özel bir amaç için kullanılıyor olabilir veya gizli bilgiler içerebilir.
Robots.txt dosyası, arama motorlarının sitenizi keşfetmesini engellemez, sadece belirtilen dosyaların ve sayfaların taranmasını önler. Bu nedenle, gizlilik veya güvenlik endişeleri olan web yöneticileri için önemlidir.
PYTHON KODU
import requests
url = "https://example.com/robots.txt"
response = requests.get(url)
if response.status_code == 200:
print("Robots.txt dosyası mevcut!")
print(response.text)
else:
print("Robots.txt dosyası bulunamadı.")
Bu kod, belirtilen web sitesinde robots.txt dosyasının varlığını kontrol eder ve dosyanın içeriğini görüntüler.