Crawling adalah tahapan dimana data dikumpulkan untuk disimpan di database. Crawling dilakukan
cibai sebelum user mengakses website di search engine.
Crawler akan
menjelajah website yang ada di seluruh dunia untuk mencari konten baru guna
dikumpulkan di database dan juga mencari konten update terbaru dari konten yang pernah disimpan sebelumnya.
