Deep crawling
Hloubkové skenování vyhledávacího robota, které například u Google probíhá cca každé 3 měsíce. Deepbot se snaží také indexovat složky 3., 4., a 5. úrovně od kořenu webu.
Každý vyhledávač používá pro vyhledávání jiný algoritmus. Algoritmus je naprogramovaný skript, který používá vyhledávač k hodnocení jednotlivých internetových stránek.
Crawler je robot, který skenuje již existující nebo nové stránky, které při "crawlování" nalezne.
Hloubkové skenování vyhledávacího robota, které například u Google probíhá cca každé 3 měsíce. Deepbot se snaží také indexovat složky 3., 4., a 5. úrovně od kořenu webu.
Prohledávací robot od Google, který se však značně liší od klasického Googlebota. Navštěvuje častěji aktualizované internetové stránky, které po nějaké době přesune do hlavního vyhledávání Google.
Vyhledávání prostřednictvím internetových vyhledávačů pomocí jednoho nebo více klíčových spojení.
Hlavní robot vyhledávače Google. Má za úkol skenovat stránky ve svém indexu a nově vložené stránky uživateli.