Semalt Islamabad Expert - Web Paletli Hakkında Bilmeniz Gerekenler
November 29, 2017
in
S. Ide
1 answers:
Arama motoru paletli, belirli bir arama motoru için güncellenmiş bilgi sağlamak için World Wide Web üzerinde programlı bir şekilde ilerleyen otomatik bir uygulama, komut dosyası veya programdır. Bing veya Google'da aynı anahtar kelimeleri her yazışınızda neden farklı sonuç kümeleri elde ettiğinizi merak ettiniz mi? Bunun nedeni, web sayfalarının her dakika yüklenmesi. Ve yüklenirken web tarayıcıları yeni web sayfalarını çalıştırıyorlar.
Semalt 'dan önde gelen bir uzman olan Michael Brown, otomatik dizin oluşturucular ve web örümcekleri olarak da bilinen web tarayıcılarının farklı arama motorları için farklı algoritmalar üzerinde çalıştığını söylüyor. Web'de gezinme süreci, yeni yüklenen URL'lerin tanımlanmasıyla başlar, çünkü URL'ler henüz yüklenmiş veya web sayfalarının bazıları taze içeriğe sahip. Bu tanımlanan URL'ler, arama motoru döneminde tohumlar olarak bilinir.
Bu URL'ler, sonunda ne sıklıkta yeni içerik yüklendiğine ve örümcekleri yönlendiren politikalara bağlı olarak ziyaret edildi ve yeniden ziyaret edildi. Ziyaret sırasında, web sayfalarının her birindeki tüm köprüler belirlenir ve listeye eklenir. Bu noktada, farklı arama motorlarının farklı algoritmalar ve politikalar kullandığı açıkça belirtilmelidir. Bu nedenle benzerlikler çok olsa da, aynı anahtar kelimeler için Google sonuçları ve Bing sonuçlarından farklılıklar olacaktır.
Web tarayıcıları arama motorlarını güncel tutmak için muazzam işler yapar. Aslında, aşağıda üç nedenden ötürü işleri çok zordur.
1. İnternetteki her web sayfasının hacmi. Web'de birkaç milyon sitenin bulunduğunu biliyorsunuz ve her geçen gün daha çok sayıda kişi başlatılıyor. İnternet üzerindeki web sitesinin hacmi ne kadar fazla olursa tarayıcıların güncel kalmaları da o kadar zor olur.
2..Web sitelerinin başlatıldığı hız. Her gün kaç yeni web sitesinin açıldığı hakkında bir fikriniz var mı?
3. Mevcut web sitelerinde bile içeriğin değişme sıklığı ve dinamik sayfaların eklenmesi.
Bunlar, web örümceklerinin güncel olmasını zorlaştıracak üç sorundur. Web sitelerini ilk önce gelen ilk hizmete dayalı olarak taramak yerine, bir sürü web örümcekleri web sayfalarını ve köprülerini önceliklendirir. Önceliklendirme sadece 4 genel arama motoru tarayıcı politikasına dayanır.
1. Seçim ilkesi hangi sayfaların önce tarama için indirileceğini seçmek için kullanılır.
2. Yeniden ziyaret politikası türü olası değişiklikler için web sayfalarının ne zaman ve ne sıklıkla ziyaret edildiğini belirlemek için kullanılır.
3. Paralelleştirme politikası, tarayıcıların tüm tohumların hızlı bir şekilde kapsanması için nasıl dağıtıldığını koordine etmek için kullanılır.
4. Nezaket politikası, web sitelerinin aşırı yüklenmesini önlemek için URL'lerin nasıl tarandığını belirlemek için kullanılır.
Tarayıcıların hızlı ve doğru bir şekilde kapsanabilmesi için, tarayıcıların web sayfalarının önceliklendirilmesine ve daraltılmasına olanak tanıyan mükemmel bir tarama tekniğine sahip olmaları ve ayrıca yüksek düzeyde optimize edilmiş mimariye sahip olmaları gerekir. Bu ikisi, birkaç hafta içinde yüz milyonlarca web sayfasını taramalarını ve indirmelerini kolaylaştıracak.
İdeal bir durumda, her bir web sayfası World Wide Web'den çekilir ve daha sonra, web sayfalarının veya URL'lerin önceliği için özel bir zamanlayıcı aracılığıyla geçirmeden önce sıraya konması için çok parçacıklı bir indiriciden geçirilir. Öncelikli URL'ler meta verilerinin ve metnin düzgün taranması için tekrar depolanması için çok parçacıklı indiriciyle tekrar alınır.
Şu anda, birkaç arama motoru örümcekleri veya tarayıcıları var. Google tarafından kullanılan kişi Google Crawler. Web örümcekleri olmadan, yeni web sayfalarının hiçbir zaman listelenmeyeceğinden, arama motoru sonuç sayfaları sıfır sonuç verir veya eskimiş içerik döndürür. Aslında, çevrimiçi araştırma gibi bir şey olmayacak.