Crawler web adalah program yang secara automatik mengekori web dengan memuat turun halaman dan mengikuti pautan dari halaman ke halaman. Tujuan umum merangkak web adalah untuk memuat turun mana-mana laman web yang boleh diakses melalui pautan. Proses ini dipanggil web merangkak atau labah-labah. Banyak laman web, khususnya enjin carian, menggunakan labah-labah sebagai cara menyediakan data terkini. Crawler web kebanyakannya digunakan untuk mencipta salinan semua halaman yang dilawati untuk pemprosesan kemudian oleh enjin carian yang akan mengindeks halaman yang dimuat turun untuk menyediakan carian pantas. Crawler juga boleh digunakan untuk mengautomasikan tugas penyelenggaraan di laman web, seperti menyemak pautan atau mengesahkan kod HTML. Juga, crawler boleh digunakan untuk mengumpul jenis maklumat tertentu dari laman Web, seperti menuai alamat e-mel ing (biasanya untuk spam). Crawler web adalah satu jenis bot, atau ejen perisian. Secara umum, ia bermula dengan senarai URL untuk dilawati, dipanggil benih. Apabila crawler melawat URL ini, ia mengenal pasti semua hiperpautan di halaman dan menambah mereka ke senarai URL untuk melawat, yang dipanggil sempadan merangkak. URL dari sempadan dikunjungi secara berulang mengikut satu set dasar.
sejarah versi
- Versi 3.19 diposkan pada 2012-01-15
keluaran awam pertama
Butiran Atur Cara
- Kategori: Utiliti Sistem > Alatan Automasi
- Penerbit: VietSpider
- Lesen: Percuma
- Harga: N/A
- Versi: 3.19
- Platform: windows