Web Kazıyıcı Özellikleri - Semalt Uzmanı
Web kazıyıcı, web sayfalarından veri almayı amaçlayan bir Chrome tarayıcı uzantısıdır. Bu uzantıyla, bir sitede gezinmek ve siteden veri almak için en uygun yolu gösteren bir site haritası veya plan oluşturabilirsiniz.
Site haritanızı izleyen Web Scraper, sayfadan sonra kaynak site sayfasında gezinir ve gerekli içeriği sıyırır. Çıkarılan veriler CSV veya diğer formatlar olarak dışa aktarılabilir. Ayrıca, bu uzantı sorunsuz bir şekilde Chrome Mağazası'ndan yüklenebilir.
Web Scraper'ın bazı özellikleri aşağıda özetlenmiştir
- Birden çok sayfayı kazıma yeteneği
Araç, site haritasında belirtilmişse, birkaç web sayfasından aynı anda veri ayıklama özelliğine sahiptir. 100 sayfalık bir web sitesindeki tüm resimleri çıkarmanız gerekiyorsa, sayfaların her birini kontrol etmeniz ve hangilerinin resim içerdiğini, hangilerinin bulunmadığını öğrenmeniz zaman alabilir. Böylece, araca her sayfayı görüntüler için kontrol etmesini isteyebilirsiniz.
- Araç, verileri CouchDB'de veya tarayıcının yerel deposunda depolar
- Araç, site haritalarını ve çıkarılan verileri tarayıcının yerel depolama alanında veya CouchDB'de depolar
- Birden çok veri ayıklayabilir
Araç birden çok veri türüyle çalışabildiğinden, kullanıcılar aynı sayfada ayıklamak için birden çok veri türü seçebilir. Örneğin, web sayfalarındaki resimleri ve metni aynı anda kazıyabilir
- Dinamik sayfalardaki verileri kazıyın
Web Scraper o kadar güçlü ki Ajax ve JavaScript gibi dinamik sayfalardan bile veri kopyalayabiliyor
- Çıkarılan verileri görüntüleme yeteneği
Araç, kullanıcıların belirlenen konuma kaydedilmeden önce kazınmış verileri görüntülemelerini sağlar
- Çıkarılan verileri CSV olarak dışa aktarır
Web Scraper varsayılan olarak çıkarılan verileri CSV olarak dışa aktarır, ancak diğer biçimlerde de dışa aktarabilir.
- Site haritalarını dışa ve içe aktarma
Aracın istek üzerine site haritalarını içe ve dışa aktarabilmesi için site haritalarını birden çok kez kullanmanız gerekebilir.
- Yalnızca Chrome tarayıcısına bağlıdır
Ne yazık ki, bu bir avantajı dezavantaj. Yalnızca Chrome tarayıcı ile çalışır.
Diğer veri kazıma araçları
Sizin için de yararlı olabilecek bazı basit veri kazıma araçları vardır. Bunlardan bazıları aşağıda listelenmiştir.
1. Terapi
Bu çerçeve, web sitenizin tüm içeriğini kazımak için kullanılabilir. İçerik kazıma tek işlevi değildir. Otomatik test, izleme, veri madenciliği, web taraması, ekran kazıma ve diğer birçok amaç için de kullanılabilir.
2. Wget
Wget'i ayrıca bir web sitesinin tamamını kolayca kazımak için de kullanabilirsiniz. Ancak bu araçla ilgili küçük bir dezavantaj var, CSS dosyalarını ayrıştıramıyor.
3. Web sitenizin içeriğini ayırmadan önce kazımak için aşağıdaki komutu da kullanabilirsiniz:
file_put_contents ('/ some / directory / scrape_content.html', file_get_contents ('http://google.com'));