Semalt, Botlar, Örümcekler ve Tarayıcılar ile Nasıl Başa Çıkma İpuçları Sağlıyor
November 24, 2017
in
1 answers:
Arama motoru dostu URL'ler oluşturmanın yanı sıra .htaccess dosyası, web yöneticilerinin belirli botların kendi web sitesine erişmesini engellemesine izin verir. Bu robotları engellemenin bir yolu robots.txt dosyasıdır. Bununla birlikte, Ross Barber, Semalt Müşteri Başarı Yöneticisi, bazı tarayıcıların bu isteği görmezden geldiğini belirtmektedir. En iyi yollardan biri, içeriğinizi dizine eklemelerini engellemek için .htaccess dosyasını kullanmaktır.
Bu botlar nelerdir
Endeksleme amacıyla internette yeni içerik silmek için arama motorları tarafından kullanılan bir yazılım türüdür.
Aşağıdaki görevleri yerine getirirler:
Bağlı olduğunuz web sayfalarını ziyaret edin
Hatalar için HTML kodunuzu kontrol edin
Hangi web sayfalarını bağladığınızı kaydediyor ve hangi web sayfalarının içeriğinize link verdiğini görüyorlar
İçeriğinizi dizine eklerler
Bununla birlikte, bazı botlar kötü amaçlıdır ve sitenize, genellikle istenmeyen mesajları veya spam gönderen e-posta adresleri ve formları arar. Bazıları kodunuzda güvenlik açıklarını da araştırır.
Web tarayıcılarını engellemek için neye ihtiyaç duyuluyor?
.htaccess dosyasını kullanmadan önce aşağıdakileri kontrol etmeniz gerekir:
1. Siteniz bir Apache sunucusunda çalışıyor olmalıdır. Günümüzde, işte yarı yarıya iyi olan web hosting firmaları bile, size gerekli dosyaya erişmenizi sağlar.
2. Web sayfalarınızı ziyaret eden botların yerlerini bulabilmeniz için web sitenizin ham sunucu günlüğüne erişmelisiniz.
Tüm zararlı botlara engel olmadığınız sürece, hatta yardım etmeyi düşündüğünüz şeyleri bile engelleyemezsiniz. Her gün yeni botlar gelir ve daha büyük botlar değiştirilir. En etkili yol, kodunuzu güvence altına almak ve botların size spam göndermesini zorlaştırmaktır.
Botların belirlenmesi
Botlar IP adresiyle veya HTTP başlıklarında gönderdikleri "Kullanıcı Aracısı Dizesi" ile tanımlanabilir. Örneğin, Google "Googlebot" u kullanır.
Kullanmaya devam etmek istemediğiniz botun adını zaten varsa, bu listeye 302 bot'la ihtiyacınız olabilir. Htaccess
Tüm günlük dosyalarını sunucudan indirmek ve bir metin düzenleyicisi kullanarak açmak için başka bir yol vardır.Sunucu üzerindeki konumları sunucunun yapılandırmasına bağlı olarak değişebilir. web barındırıcınızdan yardım.
Hangi sayfanın ziyaret edildiğini veya ziyaret saatini biliyorsanız, istenmeyen bir botla gelmeniz daha kolaydır. Bu parametrelerle günlük dosyasında arama yapabilirsiniz.
Bir kere, engellemek istediğiniz botlara dikkat ettiniz; daha sonra bunları .htaccess dosyasına ekleyebilirsiniz. Bot'u engellemenin durdurmak için yeterli olmadığını lütfen unutmayın. Yeni bir IP veya isim ile geri gelebilir.
Onları nasıl bloke ederim
.htaccess dosyasının bir kopyasını indirin. Gerekirse yedekleme yapın.
Yöntem 1: IP ile engelleme
Bu kod pasajı botu IP adresini 22.214.171.124
kullanarak bloke eder
Sipariş Reddi, İzin Ver
126.96.36.199'den reddetme
İlk satır, sunucunun belirttiğiniz kalıplarla eşleşen tüm istekleri engellediği ve diğerlerinin hepsine izin verdiği anlamına gelir.
İkinci satır, sunucuya bir 403 verileceklerini bildirir: yasak sayfa
Yöntem 2: Kullanıcı aracıları tarafından engellenmesi
En kolay yol, Apache'nin yeniden yazma motorunu
kullanmaktır.
RewriteEngine Açık
RewriteCond% {HTTP_USER_AGENT} BotUserAgent
RewriteRule. - [F, L]
İlk satır, yeniden yazma modülünün etkin olmasını sağlar. İkinci satır, kuralın uygulanacağı koşuldur. Satır 4'deki "F", sunucuya 403'ü geri vermesini söyler: Yasak, "L" ise bunun son kural olduğu anlamına gelir.
.htaccess dosyasını sunucunuza yükleyecek ve mevcut dosyanın üzerine yazacaksınız. Zamanla botun IP'sini güncellemeniz gerekecek. Bir hata yaparsanız, yaptığınız yedeklemeyi yükleyin.