С момента появления первых поисковиков прошло более 20 лет. Технологии обработки сайтов сильно видоизменились и усложнились. В статье мы шаг за шагом разберем весь алгоритм сканирования web-страниц с момента их создания и до попадания в результаты поисковой выдачи. Рассмотрим - из каких частей состоят современные поисковые роботы.