robots.txt isimli dosyanın kullanım alanı ve örnek..
Robots.txt adında bir dosya var. Bu dosyaya web sitenizin nerelerinin arama motorları tarafından dizine alınacağını, nerelerin internet aramaları ile bulunamayacağı gibi bilgileri yazıyorsunuz. Önemsiz bir dosya gibi görünüyor ama Arama Motoru Optimizasyonu, Gizlilik ve Güvenlik açılarından önem arzediyor. Okumaya devam et “Robots.txt dosyasının arkasında yatanlar”