Crawler / Robot / Bot
Crawler je jedním z mnoha druhů robotů, jenž procházejí internet a indexují “crawlují”. Crawler můžeme popsat jako automatizovaný program, který je součástí fulltextového vyhledávače, prozkoumává internetové stránky, následuje jejich odkazy, shromažďuje jejich textový obsah a vše ukládá do databáze. Tito roboti s určitou pravidelností procházejí internet a aktualizují fulltextové databáze internetových fulltextových vyhledávačů.
