Googlebot nedir?
- Googlebot, Google tarafından kullanılan web gezginidir.
- Web sayfalarını bulmak ve almak için Google tarafından kullanılır.
- Googlebot tarafından toplanan bilgiler Google dizinini güncellemek için kullanılır.
- Googlebot, milyarlarca web sayfasını ziyaret eder ve web’in dört bir yanındaki sayfaları sürekli ziyaret eder.
-
Web gezgini nedir?
- Web tarayıcıları (botlar, robotlar veya örümcekler olarak da bilinir) bağlantıları takip etmek, bilgi toplamak ve daha sonra bu bilgiyi bir yere göndermek için tasarlanmış bir yazılım türüdür.
Googlebot ne yapar?
- Googlebot, web sayfalarının içeriğini (web sayfasını oluşturan kelimeler, kod ve kaynaklar) alır.
- Alınan içerik başka şeylere bağlantılar içeriyorsa, belirtilir.
- Daha sonra bilgileri Google’a gönderir.
Googlebot ve web siteniz
Googlebot’un Google bilgisayarlarına geri gönderdiği bilgiler Google dizinini günceller.
Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir.
- Web sayfalarınızın Google’da bulunabilmesi için, Googlebot tarafından görülebilmeleri gerekir.
- Web sayfalarınızın sıralamasını en iyi hale getirmek için tüm web sayfası kaynaklarına Googlebot tarafından erişilebilir olmalıdır.
Googlebot ve Google dizini arasındaki fark
Googlebot
- Googlebot, web’den içerik alır.
- Googlebot içeriği yine de yargılamaz, yalnızca içeriği alır.
- Googlebot’un tek endişeleri “Bu içeriğe erişebilir miyim?” Ve “Erişebileceğim başka bir içerik var mı?”
Google dizini
- Google dizini, Googlebot’dan aldığı içeriği alır ve sayfaları sıralamak için kullanır
Google tarafından sıralanmanın ilk adımı Googlebot tarafından alınmasıdır.
Googlebot’un sayfalarınızı görebilmesini sağlama
Googlebot, Google’ın dizinini güncelleme şekli olduğundan, Googlebot’un sayfalarınızı görebilmesi önemlidir.
Bir webmaster’ın sorması gereken temel ilk sorular …
- Googlebot sayfalarımı “görebilir mi”?
- Googlebot, tüm içeriğime ve bağlantılarına tamamen erişebilir mi?
- Googlebot, tüm sayfa kaynaklarına erişebilir mi?
Şu birbirine yakın olanlara bakalım …
1.Googlebot sayfalarımı “görebilir mi”?
Google’ın sitenizden gördüğü içeriği öğrenmek için aşağıdaki Google aramalarını yapın …
site:sitenizin-adi.com
Alan adınızın önüne “site:” koyarak, Google’ın siteniz için dizine eklediği sayfaları listelemesini isteyeceksiniz.
İpucu: Bunu yaptığınızda “site:” ile alan adınız arasında boşluk olmadığından emin olun. İşte bu siteyi kullanan bir örnek …
site: wpdersler.com
Beklediğiniz sayfaların sayısından daha azını görürseniz büyük olasılıkla Googlebot’u robots.txt dosyanızla engellemediğinizden emin olmanız gerekir (robots.txt dosyası bu sayfanın ilerisinde ele alınmıştır).
2. Googlebot, tüm içeriğime ve bağlantılara tamamen erişebilir mi?
Bir sonraki adım, Google’ın içeriğinizi ve bağlantılarınızı doğru bir şekilde görmesini sağlamaktır.
Googlebot sayfalarınızı görebildiğiniz anlamına gelmez, Google’ın bu sayfaların tam olarak ne olduğu hakkında mükemmel bir resim olduğu anlamına gelmez.
Google bot bir web sitesini insanlar kadar aynı şekilde görmez. Yukarıdaki resimde bir resim içeren bir web sayfası var. İnsanlar görüntüyü görebilir ancak Googlebot’un gördüğü yalnızca o resmi adlandıran koddur.
Googlebot, o web sayfasına (html dosyası) erişebilir, ancak çeşitli nedenlerle o web sayfasında bulunan görüntüye erişemez.
Bu senaryoda, Google dizini bu resmi içermeyecektir, yani Google’ın web sayfanız hakkında eksik bir bilgi sahibi olduğu anlamına gelir.
Googlebot bir web sayfasını “nasıl görür”?
Googlebot eksiksiz web sayfalarını görmez, yalnızca o sayfanın tek tek bileşenlerini görür.
Bu bileşenlerden herhangi biri Googlebot tarafından erişilemezse, bunları Google dizinine göndermez.
Önceki örneğimizi kullanmak için Googlebot, bir web sayfasını (html ve css) görüyor ancak resmi görmüyor.
Sadece görüntü değil. Bir web sayfasında çok sayıda parça var. Google’ın web sayfalarınızı en iyi derecede görebilmesi için Google’ın resmin tamamına ihtiyacı vardır.
Googlebot’un web içeriğine erişemeyeceği birçok senaryo vardır, bunlardan birkaçı şunlardır:
- Kaynak, robots.txt tarafından engellendi
- Sayfa bağlantıları okunamıyor veya yanlış
- Web tarayıcılarının Flash veya diğer teknolojilere aşırı güvenmesi,
- Kötü HTML veya kodlama hataları
- Aşırı derecede karmaşık dinamik bağlantılar
Bunların birçoğu, Google yönergeleri aracını kullanarak hızlı bir şekilde kontrol edilebilir .
3.Googlebot, tüm sayfa kaynaklarıma erişebilir mi?
CSS ve javascript dosyaları robots.txt dosyanız tarafından engellenirse, web sayfası içeriğinizle ilgili bazı ciddi yanlış anlamalara (yalnızca kayıp bir resimden daha kötü) neden olabilir.
Sayfa kaynakları yüklenmezse, bir web sayfasının aslında farklı olabileceği veya farklı içeriğe sahip olabileceği giderek daha doğrudur.
Bunu göstermek için bir örnek, hangi cihazın sayfaya baktığına bağlı olarak neyin gösterileceğini belirlemek için CSS veya javascript kullanan bir mobil sayfa olacaktır. Googlebot, o sayfanın CSS veya Javascript’ine erişemezse, sayfanın mobil olabileceğini fark etmeyebilir.
Bu senaryoda ve benzeri diğerleri ile Google, sayfanızı “görecek” ve hatta anlayabilir, ancak HTML’nin tek başına sunduğundan çok daha başka senaryolarda yer alabileceğini bilecek kadar bile bilmiyor olabilir.
Ayrıca, Google yönergeleri aracını kullanarak da kontrol edilebilir .
Googlebot’u kontrol edebilir miyim?
Evet.
Googlebot, aldığı talimatları robots.txt standartları izler ve hatta Google’a özgü onu kontrol etmenin gelişmiş yollarına sahiptir.
Googlebot’u denetleyebileceğiniz bazı yollar vardır …
- Bir robots.txt dosyası kullanma
- Web sayfalarının meta verilerine robot talimatları ekleme
- Başlıklarınıza robot talimatları ekleme
- Site haritalarını kullanma
- Google arama konsolunu kullanma
En yaygın yol, robots.txt dosyasını kullanıyor.
Robots.txt dosyası nedir?
Robots.txt dosyası, Googlebot gibi arama motoru örümceklerinin web sayfalarınızı nasıl gördüğünü ve etkileşimde bulunduğunu denetler.
Kısacası, bir robots.txt dosyası, Googlebot’a, Googlebot’un erişmesini istemediğiniz dosyaları ve klasörleri listeleyerek sayfalarınızı ziyaret ettiğinde ne yapacaklarını söyler.
Robots.txt dosyanızı görmek (veya bir URL’niz varsa) görmek için aşağıdaki aracın içine bir URL (örneğin ana sayfanız) girebilirsiniz ve bu sayfada bu sayfayı size gösterecektir.
Site Haritaları ve Googlebot
Site haritaları, Googlebot’un web sitenizi anlamasına veya Google’ın söylediği şekilde yardımcı olabilmeniz için bir yöntem …
“Bir site haritası, Google’ın ve diğer arama motorlarına sitenizin içeriğinin organizasyonu hakkında bilgi vermek için sitenizin web sayfalarını listeleyebileceğiniz bir dosyadır. Googlebot gibi arama motoru web tarayıcıları, sitenizi daha akıllıca taramak için bu dosyayı okumaktadır.”
Google site haritaları iyi özellikle belirli senaryolarda kullanıldığını …
- Siteniz gerçekten büyük.
- Sitenizin izole edilmiş veya birbirine iyi bağlı olmayan geniş bir içerik sayfası sayfası var.
- Siteniz yeni ve bununla ilgili az sayıda harici bağlantı içeriyor.
- Siteniz zengin medya içeriği kullanıyor, Google Haberler’de gösteriliyor veya diğer site haritalarına uyumlu ek açıklamalar kullanıyor.
Site haritaları şu anda birçok şey için kullanılıyor, ancak Googlebot gidince, site haritaları temel olarak Googlebot’un web sayfalarını ziyaret ederken rehberlik olarak kullanabileceği URL’lerin ve diğer verilerin bir listesini oluşturuyor.
Googlebot ve Google arama konsolu
Googlebot’u kontrol edebileceğiniz başka bir yer de Google arama konsolu.
Googlebot, web sunucunuza çok hızlı erişiyorsa , tarama oranını değiştirebilirsiniz .
Ayrıca, Googlebot’un web sitenize nasıl eriştiği, robots.txt dosyanızı test ettiğini, Googlebot tarama hatalarını görüp, Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak “getir ve gerçekleştir” isteklerini gerçekleştirme hakkında genel bir bakış görebilirsiniz .
Kaç Googlebot / Google web gezginleri var?
Dokuz farklı Google webcrawler türü vardır.
- Googlebot (Google Web araması)
- Google Smartphone
- Google Mobile (Özel telefon)
- Googlebot Resimleri
- Googlebot Video
- Googlebot Haberleri
- Google Adsense
- Google Mobil Adsense
- Google Adsbot (açılış sayfası kalite kontrolü)
- Her ayrıntılarını istiyorsanız, ziyaret emin olun Google tarayıcıları Google tarafından sağlanan yardım sayfasını (O kullandığı WebCrawler her ilgili ayrıntılar listelenir).
-
Googlebot Kullanıcı Aracısı nedir?
Birkaç Googlebot olduğundan, gerçekte birkaç Googlebot Kullanıcı aracıları vardır; bunlara ana konulara bakalım:
Googlebot (Google web araması)
Kullanıcı aracısı adları: Googlebot
- Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Smartphone
Kullanıcı aracısı adları: Googlebot
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Görüntüsü
Kullanıcı aracısı adları: Googlebot-Resim (Googlebot)
Googlebot-Image/1.0
Googlebot Video
Kullanıcı aracısı adları: Googlebot-Video (Googlebot)
Googlebot-Video/1.0
Google tarayıcıları yardım sayfası Google webcrawlers tümü hakkında User-agent bilgi sağlar ve size en güncel ve güvenilir bilgi aramak gerekir yerdir.
Googlebot ve dil / yer
Sayfalarınız, isteğin bulunduğu yere veya dile bağlı olarak farklı diller veya içerikler gösteriyorsa, Googlebot her zaman tüm içeriğinizi göremeyebilir ( hreflang kullanmalarını önerir ).
Ancak bu makale Googlebot hakkında ve Googlebot’un dil ve konuma dayalı içerikler için yapmaya başladığı şey ilginçtir.
Hadi bir bakalım…
Kullanıcılar sayfanızı ziyaret ettiğinde ve farklı içeriğe yönelik bir yer veya dil tabanlı bir çözümünüz varsa, İtalya’daki bir kullanıcı İtalyan içeriğini görür ve Amerika’daki bir kullanıcı İngilizce içeriğini görecektir.
Googlebot, Amerika’da yaşıyor, bu nasıl bir işe yarıyor? Googlebot, bu İtalyan içeriğini nasıl görecektir?
Googlebot tarafından yerel ayarlara göre tarama yapma
Googlebot, yerel bilgilere dayalı tarama oluşturmak için iki temel tekniği (Google’ın bize söylediği gibi) kullanmaktadır …
- Coğrafi olarak dağıtılmış tarama: Googlebot, ABD dışında bulunan, Googlebot’un ABD merkezli olduğu varsayılan uzun IP adreslerini ek olarak kullandığı görülüyor.
- Dil bağımlı tarama: Googlebot, HTTP üstbilgisinde ayarlanmış bir Accept-Language alanıyla tarar.
Diğer bir deyişle, Googlebot, web’i herhangi bir yerden bir kullanıcı olarak taramak için kullandığı yöntemleri kullanır (ve bu büyük bir “ancak”), hreflang kullanmayı hâlâ önerir .
Kararlar almak için daima Google resmi yardım sayfalarındaki yerel ayraçlı Googlebot tarama sayfasını kontrol edin !.
Resmi Google yardım sayfalarını bulma
Bu makaledeki bağlantıların çoğu resmi Google yardım sayfalarına gidiyor.
Google’ın Googlebot (veya herhangi başka bir konuda) hakkında söylediği her şeyi görmek için iyi bir yol bu sitede “Google’a Sorun Yap” aracını kullanmaktır. Sadece resmi Google belgelerinde arama yapar.
İşte GoogleBot budur.