Ifşa: WHSR okuyucu desteklidir. Bağlantılarımız aracılığıyla satın aldığınızda bir komisyon kazanabiliriz.
Robots.txt Açıklaması
Güncelleme: 2022-07-26 / Makale: Jerry Low
robots.txt dosyası, arama motoru tarayıcılarının talimatlarını içeren basit bir metin belgesidir. Onlara hangi sayfaların taranacağını ve hangilerinden kaçınılacağını söyler. Bu, botların “bu web sitesini kullanmak için ihtiyacınız olan kurallar için buraya gelin” diyen bir işaret gibidir.
Bu dosyaların amacı, arama motorlarının sitenizi en iyi nasıl tarayacağını belirlemesine yardımcı olmaktır. Bu, bot ve sunucunuz üzerindeki yükü azaltmaya yarar. Sonuçta, gereksiz veri talepleri kimseye anlamlı bir şekilde fayda sağlamayacaktır.
Örneğin, bunun için bir sebep yok Googlebot (veya başka herhangi bir bot) blogunuzdaki en son gönderi veya güncelleme almış gönderiler dışında herhangi bir şeyi almak için.
Robots.txt Dosyası Nasıl Çalışır?
Nasıl çalıştığını anlamanın en kolay yolu, web sitenizi evinizde misafir olarak düşünmektir. Duvarlarınızda sergilemek istediğiniz tüm bu şeyler var ama misafirlerin gezinip bir şeylere dokunmasını istemiyorsunuz. Yani onlara şunu söyleyin: “Hey! Bu odadan uzak durun lütfen."
Robots.txt dosyası bunu yapar – arama motorlarına nereye gitmeleri gerektiğini (ve nereye gitmemeleri gerektiğini) söyler. Bu mucizeyi, önceden tanımlanmış bazı kuralları takip eden basit talimatlarla gerçekleştirebilirsiniz.
Her web sitesi yalnızca tek bir robots.txt dosyasına sahip olabilir ve bu tam adı takip etmelidir - ne eksik ne fazla.
Bir Robots.txt Dosyasına İhtiyacım Var mı?
Kısa cevap evet. Web sitenizde bir robots.txt dosyası olmalıdır.
Daha uzun cevap, nasıl yapılacağını bilmeniz gerektiğidir. arama motoru botları sitenizi tarayacak ve dizine ekleyecek ve ardından robots.txt dosyanızı buna göre yazacaktır.
Hassas bilgileri spam gönderenlerin ve bilgisayar korsanlarının elinden uzak tutmanın yanı sıra, düzgün yapılandırılmış ve bakımlı bir robots.txt dosyasına sahip olmak, sitenizin arama motoru sonuçlarındaki sıralamasını iyileştirmeye yardımcı olabilir.
robots.txt dosyası basit, boş bir metin belgesi olarak hayata başlar. Bu, MS Notepad gibi düz bir metin düzenleyici kadar basit bir araçla bir tane oluşturabileceğiniz anlamına gelir. Ayrıca metin düzenleyiciyi de kullanabilirsiniz. web hosting kontrol paneli, ancak dosyayı bilgisayarınızda oluşturmak daha güvenlidir.
Belgeyi oluşturduktan sonra, onu talimatlarla doldurmaya başlamanın zamanı geldi. Bunun olması için iki şeye ihtiyacınız var. Öncelikle robots.txt dosyasının botlara ne söylemesini istediğinizi bilmelisiniz. Ardından, botların anlayabileceği talimatları nasıl kullanacağınızı anlamanız gerekir.
Bölüm 1: Robots.txt Dosyasının Yapabilecekleri
Belirli botlara izin ver veya engelle
Botların tarayabileceği dosyaları kontrol edin
Botların tarayabileceği dizinleri kontrol edin
Görüntülere erişimi kontrol edin
Site haritanızı tanımlayın
Ve daha fazlası.
2. Bölüm: Robots.txt Sözdiziminin Nasıl Çalıştığını Anlama
İçerik teknik jargon gibi göründüğü için robots.txt örneklerine bakarken birçok kişinin kafası karışıyor. Bu ortalama bir insan için oldukça doğru. robots.txt dosyasını anlamanın anahtarı bir bilgisayar gibi düşünmektir.
Bilgisayarların çalışmak için talimatlara ihtiyacı vardır ve işleri bunlara dayalı olarak işlerler. Aynı durum botlar için de geçerlidir. Talimatları birer birer okurlar. Bu satırların her birinin belirli bir formatı izlemesi gerekir.
Robots.txt dosyası için bazı genel komutlar şunlardır;
Bazı yönlerden robots.txt, bot davranışını özelleştirmenize izin verse de, bunun çalışması için gereksinimler oldukça katı olabilir. Örneğin robots.txt dosyasını web sitenizin kök dizinine yerleştirmelisiniz. Bu genellikle public_html veya www anlamına gelir.
Bazı kurallar tartışılabilir olsa da, bazı standart yönergeleri anlamak en iyisidir;
Siparişinizi İzleyin
robots.txt dosyasındaki talimatların sıralı önceliği vardır. Bu, çakışan talimatların varsayılan olarak dosyadaki ilk örneğe göre olacağı anlamına gelir. Eyalet mahkemesi kararıyla federal mahkeme kararını karşılaştırmak gibi.
Ayrıntılı Olun
Talimatları oluştururken, parametrelerinizde mümkün olduğunca spesifik olun. Botlar pazarlık yapmaz, bu yüzden onlara tam olarak ne olması gerektiğini söyleyin.
Alt Alanlar Mümkün
Ancak, her bir alt etki alanındaki robots.txt dosyasına ilişkin kurallar yalnızca dosyanın bulunduğu alt etki alanına uygulanacaktır.
Dosyayı Kontrol Et
Bir robots.txt dosyası oluşturmak ve atmak, felaket için bir reçete olabilir. İşleri serbest bırakmadan önce eklediğiniz kuralların veya talimatların işe yaradığından emin olun.
Hiçbir Şeyi Noindex Etmeyin
Google bunu robots.txt dosyasında yapmamanızı söylüyor; bu yüzden doğru olmalıdır.
Son Düşüncelerimiz
Açıkçası, bir robots.txt dosyasına ihtiyacınız yok. Bu, özellikle taranacak çok fazla içeriği olmayan daha küçük veya statik web siteleri için geçerlidir. Ancak, daha büyük web siteleri, web tarayıcılarının kaybettiği kaynakları azaltmada robots.txt dosyasını vazgeçilmez bulacaktır. Botların web sitenizi nasıl görüntülediğini çok daha iyi kontrol etmenizi sağlar.
WebHostingSecretRevealed.net (WHSR) 'nin kurucusu - 100,000 kullanıcıları tarafından güvenilen ve kullanılan bir hosting incelemesi. 15'in üzerinde web barındırma, bağlı kuruluş pazarlaması ve SEO konusunda yılların tecrübesi. ProBlogger.net, Business.com, SocialMediaToday.com ve daha fazlasına katkıda bulundu.