Crawler


Crawler  - тип робота (обычно робота поисковой системы), исследующий каждую страницу на сайте, следуя по всем ссылкам на каждой странице.