Robots.txt nedir?
Robots.txt, web yöneticilerinin web robotlarına (genellikle arama motoru robotları) web sitelerindeki sayfaları nasıl tarayacaklarını bildirmek için oluşturdukları bir metin dosyasıdır.
Robots.txt dosyası, arama motoru botlarına hangi sayfaların takip edilip hangilerinin edilmemesi gerektiği konusunda direktifler verir (örneğin, yönetici panelinizin takip edilmesini istemezsiniz, çünkü bu Google'da dizine eklenebilir ve saldırıya uğramayı kolaylaştırabilir vb...).
Robots.txt dosyasını nasıl ayarlarım?
Ya bir bunun gibi çevrimiçi jeneratör ya da aşağıdaki formatla kendiniz bir tane oluşturun:
İşte robots.txt'nin iş başında olduğu birkaç örnek:
Kök dizinimize bir Robots.txt dosyası yükleyerek başlayacağız, böylece burada görünecektir: yourdomain.com/robots.txt
Tüm web tarayıcıları tüm içerikten nasıl engellenir
Kullanıcı aracısı: * Disallow: /
Robots.txt dosyamızda bu sözdizimini kullanmak, tüm web tarayıcılarına hiçbir sayfayı taramamalarını söyleyecektir. Muhtemelen bu seçeneği kullanmak istemezsiniz.
Tüm web tarayıcılarının içeriğinize erişmesine nasıl izin verirsiniz?
Kullanıcı aracısı: * İzin verme:
Bu sözdizimini kullanmak, web tarayıcılarına ana sayfa da dahil olmak üzere yourdomain.com adresindeki tüm sayfaları taramalarını söyler.
Belirli bir klasörden belirli bir web tarayıcısını engelleme
Kullanıcı aracısı: Googlebot Disallow: /örnek-alt-klasör/
Bu sözdizimi yalnızca Google'ın tarayıcısına (kullanıcı aracı adı Googlebot) yourdomain.com/example-subfolder/ URL dizesini içeren hiçbir sayfayı taramamasını söyler.
Belirli bir web tarayıcısını belirli bir web sayfasından engelleme
Kullanıcı aracısı: Bingbot Disallow: /example-subfolder/blocked-page.html
Bu sözdizimi, yalnızca Bing'in tarayıcısına (kullanıcı aracı adı Bing) yourdomain.com/example-subfolder/blocked-page adresindeki belirli sayfayı taramaktan kaçınmasını söyler.