Web Scraping Nedir?
Bir web sayfasından büyük ölçekli içerik çıkarmaya web taraması denir. Bu, birkaç çevrimiçi sayfanın veya tüm web sitesinin alınmasını gerektirebilir. Kaydedilen materyale yalnızca sayfaların metni, HTML'nin tamamı veya hem HTML hem de her sayfadaki resimler dahil edilebilir.
Bir web sayfasını tarama işlemi çeşitli şekillerde yapılabilir. Manuel olarak çevrimiçi siteler almak en temel olanıdır. Bunu, her bir web sitesindeki metni kopyalayıp bir metin düzenleyiciye yapıştırarak veya tarayıcınızın Dosyayı Farklı Kaydet... işlevini kullanarak tek tek sayfaların yerel sürümlerini kaydederek gerçekleştirebilirsiniz. Web kazıyıcı yazılımı, otomatik çıkarma işlemine de izin verir. Bu, bir web sitesinden aynı anda birçok belge indirmek için en yaygın yöntemdir. Bazı durumlarda, bir web sitesini düzenli olarak taramak için botlar kullanılabilir.
Web kazıma birkaç farklı amaç için yapılabilir. Örneğin, bir web sitesinin bir bölümünü çevrimdışı erişim için arşivlemek isteyebilirsiniz. Birkaç sayfayı bilgisayarınıza indirerek daha sonra internete bağlanmadan okuyabilirsiniz. Web geliştiricileri, her sayfadaki bozuk bağlantıları ve resimleri test ederken bazen kendi web sitelerini çizerler. Scraping, bir web sitesini kopyalamak ve farklı bir adla yeniden yayınlamak gibi hukuka aykırı amaçlarla da yapılabilir. Bu tür kazıma, bir telif hakkı ihlali olarak görülür ve yasal kovuşturmaya yol açabilir.
Bir web sitesini yeniden bilgi yayınlamak amacıyla taramak asla kabul edilemez olsa da, bunu yapmak söz konusu web sitesinin hizmet koşullarına aykırı olabilir. Bu nedenle, bir web sitesinden materyal almadan önce her zaman hizmet koşullarını incelemelisiniz.