Crawling, web sitelerini programatik bir şekilde gezerek belirli sayıdaki linkleri veya bütün linkleri elde etmek anlamına gelmektedir. Türkçe olarak arama robotu ismi verilebilir. Bu robotlar web sitelerini otomatik olarak gezerek bilgi toplarlar ve hedef bir adresten başlayarak girdiği yeni adresleri kendi listesine ekler. Daha sonra listeye eklediği adresleri tek tek dolaşmaya ve edindiği yeni linkleri listeye eklemeye devam eder.
Özetle Crawling, arama motorlarının tasarımı esnasında kullanılan, internet üzerindeki linkleri gezerek bilgi toplayan, bütün sayfaları gezip sayfa ve sayfalardaki kelimeleri çıkaran internet örümcekleridir. Bu programlar sırasıyla şu işlemleri yapmaktadırlar. Bir internet sayfasını indirirler, sayfadaki bağlantıları çıkarırlar, sayfadaki anahtar kelimeleri çıkarırlar, kelime veya sayfa bilgisini geçirirler, bulduğu bağlantılara devam ederek aynı işlemleri tekrar yaparlar.