Связаться с автором блога Карта сайта

История поискового робота

Когда Интернет только начинал свое развитие, уже существовала проблема поисковых роботов, которые могли обрушить сервер, делая много запросов одновременно. Кроме того, админы и вебмастера не могли влиять на роботов, но они имели возможность закрыть свой ресурс для них.

Но в 1994 г. создали протокол robots.txt , что дало возможность управлять роботами, а также исключить их.

поисковой робот

Естественно, с развитием Интернета и поисковых роботов создавали все больше и, кроме того, возможности их увеличивались. Но, отметим, что некоторые роботы так и остались в 90-х годах. К примеру, робот под названием Scooter еще в 2002 году активно работал, проводил индексацию документов, а сейчас бесследно исчез.

Также уже даже не вспомнят робота T-Rex, который существовал на начале 90-х годов. Но даже сегодня можно отыскать отклики минувших дней, например, в имени главного робота “Яндекса” остался фрагмент старого названия “compatible; Win16;”, который добавили для того, чтобы была совместимость с некоторыми давними ресурсами.

 
03.05.2014 | Раздел: Интернет | Метки: ,

VK
OK
MR
GP

Предыдущие посты блога:

  • 1 мая. 2014 - Shihal-Serz: Дайджест постов за апрель 2013
  • 27 Апр. 2014 - Shihal-Serzh: Карта сайта за январь 2008
  • 27 Апр. 2014 - Зачем свой сайт нумизмату?
  • |
    Комментариев в блоге
    39,984
    -----------------------
    Обновлено: 11:42 29.09.2016
    Я в социальных сетях
    Мой твиттер   Мой ВК   Мой фейсбук   Мой G+
    Мои цели
    • 3'000 посетителей в день (до 1.05.17)
    • 40'000 комментариев (до 1.05.17)
    • 20'000 фолловеров в тви (до 1.05.17)
    • 50'000 рублей в месяц (до 1.05.2017)
    • 100'000 руб. на отпуск (до 1.07.2017)
    • Отдохнуть в Таиланде (09.2017)..
    Статистика блога
    Яндекс Каталог  DMOZ

      Яндекс.Метрика

    вся статистика
    Рекомендую
    • Родина Линков - хороший источник вечных ссылок
    • Gogetlinks - хорошая биржа вечных ссылок
    • Pr.Sape - вечные ссылки с гарантией индексации, оплатой в рассрочку и страховкой от снятия вебмастерами