noindex ile Arama dizinine eklemeyi engelleme
noindex,
<meta> etiketi veya HTTP yanıt başlığıyla belirlenen bir kuraldır ve Google gibi
noindex kuralını destekleyen arama motorları tarafından içeriklerin dizine eklenmesini önlemek için kullanılır. Googlebot bu sayfayı taradığında ve etiketi ya da başlığı ayıkladığında, başka sitelerin bu sayfaya bağlantı verip vermemesinden bağımsız olarak sayfayı Google Arama sonuçlarından tamamen çıkarır.
noindex kullanımı, sitenize erişimi sayfa bazında kontrol etme olanağı sunduğundan, sunucunuzun kök dizinine erişiminiz olmadığında işe yarar.
noindex kullanımı
noindex iki şekilde kullanılabilir:
<meta> etiket olarak ve HTTP yanıt başlığı olarak. İkisi de aynı etkiye sahiptir. Siteniz ve içerik türü için en uygun olan
yöntemi seçin.
noindex kuralının robots.txt dosyasında belirtilmesi Google tarafından desteklenmez.
noindex kuralını, dizine eklemeyi kontrol eden diğer kurallarla da birleştirebilirsiniz. Örneğin,
nofollow ipucunu
noindex kuralıyla birleştirebilirsiniz:
<meta name="robots" content="noindex, nofollow" />.
<meta> etiketi
noindex kuralını destekleyen tüm arama motorlarının sitenizdeki bir sayfayı dizine eklemesini önlemek için aşağıdaki
<meta> etiketini sayfanızın
<head> bölümüne yerleştirin:
<meta name="robots" content="noindex">
Sadece Google web tarayıcılarının bir sayfayı dizine eklemelerini önlemek için:
<meta name="googlebot" content="noindex">
Bazı arama motorlarının,
noindex kuralını farklı yorumlayabileceğini
unutmayın. Bunun sonucunda sayfanızın diğer arama motorlarının sonuçlarında görünmeye devam etmesi mümkündür.
HTTP yanıt başlığı
<meta> etiketi yerine, yanıtınızda
noindex veya
none değerine sahip bir
X-Robots-Tag HTTP üst bilgisi döndürebilirsiniz.
Yanıt başlığı; PDF'ler, video dosyaları ve resim dosyaları gibi HTML olmayan kaynaklar için kullanılabilir. Arama motorlarına bir sayfayı dizine eklememelerini bildiren
X-Robots-Tag üstbilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz:
HTTP/1.1 200 OK (...) X-Robots-Tag: noindex (...)
noindex hatalarını ayıklama
<meta> etiketlerini ve HTTP başlıklarını görebilmemiz için sayfanızı taramamız gerekir. Bir
sayfa, sonuçlarda görünmeye devam ediyorsa bunun nedeni büyük olasılıkla
noindex kuralını eklemenizden
bu yana sayfayı taramamış olmamızdır. Sayfanın internetteki önem derecesine bağlı olarak Googlebot’un
bir sayfayı tekrar ziyaret etmesi aylar sürebilir. URL Denetleme aracını kullanarak Google'dan sayfanızı yeniden taramasını isteyebilirsiniz.
Sitenizin bir sayfasını, Google'ın arama sonuçlarından hızlı bir şekilde kaldırmanız gerekiyorsa kaldırma işlemleriyle ilgili dokümanlarımıza bakın.
Bunun diğer bir nedeni de robots.txt dosyasının, Google web tarayıcılarının URL'ye erişmesini engellemesi olabilir. Tarayıcılar, böyle bir durumda etiketi göremez. Google'ın sayfalarınıza erişiminin engellenmesini kaldırmak için robots.txt dosyanızı düzenlemeniz gerekir. Robots.txt dosyanızı robots.txt Test Aracı'nı kullanarak düzenleyip test edebilirsiniz.
Son olarak,
noindex kuralının Googlebot tarafından görülebildiğinden emin olun.
noindex uygulamanızın
doğru olup olmadığını test etmek için
URL Denetleme aracını
kullanarak Googlebot'un sayfayı tararken aldığı HTML'ye bakın.
Googlebot'un sitenizde
noindex kuralını çıkardığı sayfaları izlemek
için Search Console'daki sayfa dizine ekleme raporunu da
kullanabilirsiniz.