Страница 1 из 1
Google открыл код парсера файлов robots.txt
Добавлено: 02 июл 2019, 03:30
[Ботя]
Компания Google опубликовала под лицензией Apache 2.0 код С++ библиотеки для разбора файлов robots.txt, содержащих правила (REP, Robots Exclusion Protocol) для исключения контента из области индексации ботами поисковых систем. Одновременно компания Google выступила с инициативой продвижения протокола REP в качестве интернет-стандарта после 25 лет существования в роли стандарта де-факто.
Подробнее...