Googlebot nedir?
- Googlebot, Google tarafından kullanılan web tarayıcıdır.
- Google tarafından web sayfalarını bulmak ve almak için kullanılır.
- Google dizini tarafından toplanan bilgiler Google dizinini güncellemek için kullanılır.
Googlebot milyarlarca web sayfasını ziyaret eder ve sürekli olarak web’deki tüm sayfaları ziyaret eder.
Web tarayıcısı nedir?
- Web tarayıcıları (botlar, robotlar veya örümcekler olarak da bilinir), bağlantıları takip etmek, bilgi toplamak ve daha sonra bu bilgileri bir yere göndermek için tasarlanmış bir yazılım türüdür.
Googlebot ne yapar?
- Googlebot, web sayfalarının içeriğini (web sayfasını oluşturan kelimeler, kod ve kaynaklar) alır.
- Elde ettiği içeriğin başka şeylere bağlantısı varsa, bu not edilir.
- Daha sonra bilgileri Google’a gönderir.
Googlebot ve web siteniz
Googlebot’un Google bilgisayarlarına geri gönderdiği bilgiler Google dizinini günceller.
Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir.
- Web sayfalarınızın Google’da bulunabilmesi için, Googlebot’a görünmeleri gerekir.
- Web sayfalarınızın en iyi şekilde sıralanması için, tüm web sayfası kaynaklarına Googlebot tarafından erişilebilir olmalıdır.
Googlebot ve Google dizini arasındaki fark
Googlebot
- Googlebot, web’den içerik alır.
- Googlebot içeriğiyle ilgili herhangi bir karar vermez, yalnızca onu alır.
- Googlebot’un sahip olduğu tek endişe “Bu içeriğe erişebilir miyim?” ve “Erişebileceğim başka içerik var mı?”
Google dizini
- Google dizini, Googlebot’tan aldığı içeriği alır ve sayfaları sıralamak için kullanır.
Google tarafından sıralanmanın ilk adımı Googlebot tarafından alınacaktır.
Googlebot’un sayfalarınızı görmesini sağlamak
Googlebot, Google’ın dizinlerini güncellemesinin yolu olduğundan, Googlebot’un sayfalarınızı görebilmesi önemlidir.
Bir webmaster’ın sorması gereken temel sorular …
- Googlebot sayfalarımı görebilir “görebilir”?
- Googlebot tüm içeriğime ve bağlantılara tamamen erişebilir mi?
- Googlebot tüm sayfa kaynaklarına erişebilir mi?
Daha yakından bakalım …
Google sayfam sayfalarımı görebilir mi?
Google’ın sitenizden gördüğü bir fikir edinmek için aşağıdaki Google araması yapın …
site: siteniz.com
Alan adınızın önüne “site:” yazarak, Google’ın Google’ın siteniz için dizine eklediği sayfaları listelemesini isteyeceksiniz.
İpucu: Bunu yaptığınızda “site:” ile alan adınız arasında boşluk olmadığından emin olun. İşte bu siteyi kullanan bir örnek …
site: hakanyerlikaya.com
Eğer beklediğiniz sayfaların miktarından az görürseniz, size Googlebot’a engellemediğinizden sağlamak için gereken muhtemel olacaktır robots.txt dosyasında (robots.txt dosyası bu Sayfanın altındaki tartışılmaktadır).
Googlebot tüm içeriğime ve bağlantılara tamamen erişebilir mi?
Bir sonraki adım, Google’ın içeriğinizi ve bağlantılarınızı doğru bir şekilde görmesini sağlamaktır.
Googlebot’un sayfalarınızı görebilmesi, Google’ın bu sayfaların tam olarak ne olduğu hakkında mükemmel bir resme sahip olduğu anlamına gelmez.
Google bot, bir web sitesini insanların yaptığı gibi görmüyor. Yukarıdaki resimde, üzerinde bir görüntü bulunan bir web sayfası bulunmaktadır. İnsanlar görüntüyü görebilir, ancak Googlebot’un gördüğü şey yalnızca bu resmi çağıran koddur.
Googlebot bu web sayfasına (html dosyası) erişebilir, ancak çeşitli nedenlerle söz konusu web sayfasında bulunan görüntüye erişemez.
Bu senaryoda, Google dizini söz konusu resmi içermez. Bu, Google’ın web sayfanızda eksik bir anlayışa sahip olduğu anlamına gelir.
Googlebot bir web sayfasını “nasıl” görür?
Googlebot, tam web sayfalarını görmez, yalnızca o sayfanın tek tek bileşenlerini görür.
Bu bileşenlerden herhangi biri Googlebot’a erişemezse, bunları Google dizinine göndermez.
Önceki örneğimizi kullanmak için, Googlebot bir web sayfasını (html ve css) görüyor ancak görmüyor.
Bu sadece görüntü değil. Bir web sayfasının birçok parçası var. Google’ın web sayfalarınızı en iyi şekilde sıralayabilmesi için Google’ın tam resme ihtiyacı vardır.
Googlebot’un web içeriğine erişemeyebileceği pek çok senaryo var. Burada birkaç yaygın sorun var.
- Kaynak robots.txt tarafından engellendi
- Sayfa bağlantıları okunamaz veya yanlış
- Flash veya web gezginlerinin sorun yaşayabileceği diğer teknolojilere aşırı güvenme
- Bozuk HTML veya kodlama hataları
- Aşırı karmaşık dinamik bağlantılar
Google hesabınız varsa, Google arama konsolunda bulunan “getir ve oluştur” aracını kullanın . Bu araç, Google’ın tek bir sayfa için tam olarak gördüğü şeylerin canlı bir örneğini size sağlayacaktır.
Googlebot, tüm sayfa kaynaklarına erişebilir mi?
CSS ve javascript dosyaları robots.txt dosyanız tarafından engellendiyse, web sayfanızın içeriğiyle ilgili bazı yanlış anlaşılmalara neden olabilir (yalnızca eksik bir görüntüden daha kötü).
Bir web sayfasının aslında farklı olabileceği veya sayfa kaynakları yüklenmemişse farklı içeriklere sahip olduğu giderek daha doğrudur.
Bunu açıklayan örnek, sayfaya hangi cihazın baktığına bağlı olarak nelerin gösterileceğini belirlemek için CSS veya javascript kullanan bir mobil sayfa olacaktır. Googlebot söz konusu sayfanın CSS veya Javascript’ine erişemezse, sayfanın mobil olabileceğini fark etmeyebilir.
Bu senaryoda ve diğerlerinde Google, sayfanızı “görecek” ve hatta anlayabilmektedir, ancak tek başına HTML’nin sunabileceğinden çok başka senaryolarda sıralanabileceğini farketmeye yetmeyebilir.
Bu, Google yönergelerini kullanarak da kontrol edilebilir .
Googlebot’u kontrol edebilir miyim?
Evet.
Googlebot, robots.txt standartlarına göre aldığı talimatları izler ve hatta Google’a özgü olarak kontrol etmenin gelişmiş yollarına sahiptir.
Googlebot’u kontrol edebilmenin bazı yolları …
- Bir robots.txt dosyası kullanma
- Web sayfalarınızın meta verilerinde robot talimatları dahil
- Başlıklarınıza robot talimatları dahil
- Site haritalarını kullanma
- Google arama konsolunu kullanma
En yaygın yol, robots.txt dosyasını kullanmaktır.
Robots.txt dosyası nedir?
Robots.txt dosyası, Googlebot gibi arama motoru örümceklerinin web sayfalarınızla nasıl göründüğünü ve etkileşimde bulunduğunu kontrol eder.
Kısacası, bir robots.txt dosyası Googlebot’a, Googlebot’un erişmesini istemediğiniz dosya ve klasörleri listeleyerek sayfalarınızı ziyaret ettiğinde ne yapması gerektiğini söyler.
Google’ın, robot talimatlarından söz eden birkaç kaynağı:
- robots.txt dosyası
- Google’ın robots.txt’i nasıl ele aldığıyla ilgili teknik genel bakış
- Robotlar meta etiketleri ve başlıkları
Site Haritaları ve Googlebot
Site Haritaları, Googlebot’un web sitenizi anlamasına yardımcı olabileceğiniz veya Google’ın dediği gibi bir yoldur.
“Bir site haritası, sitenizin web sayfalarını listelemek için Google ve diğer arama motorlarına site içeriğinizin düzenlenmesi hakkında bilgi verebileceğiniz bir dosyadır. Googlebot gibi arama motoru web tarayıcıları, sitenizi daha akıllıca taramak için bu dosyayı okur.”
Google devletler site haritaları iyi özellikle belirli senaryolarda kullanıldığını …
- Siteniz çok büyük.
- Sitenizin, birbiriyle bağlantılı veya birbiriyle bağlantılı olmayan geniş bir içerik sayfası arşivi var.
- Siteniz yeni ve ona çok az harici bağlantı var.
- Siteniz zengin medya içeriği kullanıyor, Google Haberler’de gösteriliyor veya diğer site haritaları ile uyumlu ek açıklamalar kullanıyor.
Site haritaları artık pek çok şey için kullanılıyor, ancak Googlebot’a göre, site haritaları temel olarak Googlebot’un web sayfalarınızı ziyaret ederken rehber olarak kullanabileceği URL’lerin ve diğer verilerin bir listesini oluşturur.
Googlebot ve Google Search Console
Googlebot’u kontrol edebileceğiniz başka bir yer Google search console.
Googlebot web sunucunuza çok hızlı erişiyorsa , tarama hızını değiştirebilirsiniz .
Ayrıca, Googlebot’un web sitenize nasıl eriştiğine, robots.txt dosyanızı test ettiğine, Googlebot tarama hatalarını görebildiğinize ve Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak “getirme ve işleme” isteklerini gerçekleştirebileceğiniz bir genel bakış görebilirsiniz .
Kaç tane Googlebot / Google web tarayıcısı var?
Dokuz farklı Google web tarayıcısı var.
- Googlebot (Google Web search)
- Google Smartphone
- Google Mobile (Feature phone)
- Googlebot Images
- Googlebot Video
- Googlebot News
- Google Adsense
- Google Mobile Adsense
- Google Adsbot (landing page quality check)
Her birinin ayrıntılarını öğrenmek isterseniz, Google tarafından sağlanan Google tarayıcıları yardım sayfasını ziyaret ettiğinizden emin olun (Kullandığı her bir web tarayıcısıyla ilgili ayrıntıları listeler).
Googlebot Kullanıcı aracısı nedir?
Birkaç Googlebot olduğundan, birçok Googlebot Kullanıcı aracı var, en önemli olanlara bakalım:
Googlebot (Google web araması)
User-agent names: Googlebot
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Smartphone
User-agent names: Googlebot
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Image
User-agent names: Googlebot-Image (Googlebot)
Googlebot-Image/1.0
Googlebot Video
User-agent names: Googlebot-Video (Googlebot)
Googlebot-Video/1.0
Google tarayıcıları yardım sayfası Google webcrawlers tümü hakkında User-agent bilgi sağlar ve size en güncel ve güvenilir bilgi aramak gerekir yerdir.
Googlebot ve diller / yerler
Sayfalarınız isteğin yerine veya diline bağlı olarak farklı diller veya içerik gösteriyorsa, Googlebot tüm içeriğinizi her zaman göremeyebilir ( hreflang kullanmanızı önerir ).
Ancak bu makale Googlebot ile ilgilidir ve Googlebot’un dil ve yer tabanlı içerik için yapmaya başladığı şey ilginçtir.
Kullanıcılar sayfanızı ziyaret ettiğinde ve farklı içerikler için bir yer veya dil tabanlı bir çözümünüz varsa, İtalya’daki bir kullanıcı İtalyan içeriğini görecek ve Amerika’daki bir kullanıcı İngilizce içeriği görecektir.
Googlebot Amerika’da yerleşiktir, bu nasıl çalışır? Googlebot, İtalyan içeriğini nasıl görecek?
Googlebot’un yerel olarak bilinir durumda gezinmesi
Googlebot, yerele duyarlı tarama yapmak için iki temel teknikten (Google’ın bize bahsettiği) yararlanıyor …
- Coğrafi dağılmış tarama: Googlebot, ABD’de yerleşik olarak görünen Googlebot’un kullandığı uzun süredir IP adreslerine ek olarak ABD dışında IP adresleri kullanıyor gibi görünüyor.
- Dile bağımlı tarama: Googlebot, HTTP üstbilgisinde ayarlanmış bir Kabul Etme alanıyla tarar.
Başka bir deyişle, Googlebot, web’i herhangi bir yerden bir kullanıcı olarak taramak için yöntemler kullanır, ancak (ve bu büyük bir “ama”), Google hala hreflang kullanmanızı önerir .
Karar almak için her zaman Google resmi yardım sayfalarında yerele duyarlı Googlebot tarama sayfasını kontrol edin !
Resmi Google yardım sayfalarını bulma
Bu makaledeki bağlantıların çoğu resmi Google yardım sayfalarına gider.
Google’ın Googlebot (veya başka bir konu) hakkında söylediği her şeyi görmenin iyi bir yolu, bu sitedeki “Google’a Sor” aracını kullanmaktır. Yalnızca resmi Google dokümanlarını arar.
Hakan Yerlikaya