# robots.txt для ifbest.org
#
# Правила поделены на три части: кто приводит к нам людей, кто только берёт,
# и все остальные. Основание — замер за неделю 19-25.09.2026: из 237 310
# запросов к сайту 180 737 (76%) сделали роботы.

# ── Поисковики, которые приводят посетителей: полный доступ ──────────────
#
# Им не ставим даже задержку: они и так ходят вежливо. Настоящий Googlebot
# за неделю сделал 583 запроса, Bing 6083, Яндекс 687 — это нормально.
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
User-agent: YandexBot
User-agent: YandexImages
User-agent: Applebot
User-agent: DuckDuckBot
User-agent: PetalBot
Allow: /
Disallow: /admin

# ── Соцсети: им нужна только карточка ссылки ────────────────────────────
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: TelegramBot
User-agent: WhatsApp
User-agent: VKRobot
User-agent: Pinterestbot
Allow: /
Disallow: /admin

# ── Сборщики, которые не приводят никого: полный запрет ──────────────────
#
# ExaSearchBot за неделю сделал 83 280 запросов — 35% ВСЕГО трафика сайта,
# больше чем все настоящие поисковики вместе взятые. Ходит с 256 адресов
# и рендерит страницы целиком, как браузер. Посетителей от него ноль.
# robots.txt он читает (проверено), значит запрет подействует.
#
# Остальные здесь — сеошные сервисы и сборщики данных. Они продают
# аналитику о нас третьим лицам, а нам не дают ничего.
User-agent: ExaSearchBot
User-agent: Reflectionbot
User-agent: SemrushBot
User-agent: SemrushBot-BA
User-agent: AhrefsBot
User-agent: DotBot
User-agent: SERankingBacklinksBot
User-agent: MJ12bot
User-agent: BLEXBot
User-agent: Bytespider
User-agent: DataForSeoBot
User-agent: Barkrowler
Disallow: /

# ── Все прочие: можно, но не быстрее одного запроса в 10 секунд ──────────
#
# Crawl-delay понимают не все (Google его игнорирует), но Яндекс, Bing
# и большинство мелких — понимают. Для незнакомого робота это разумная
# просьба: мы не против, но не надо нас заваливать.
User-agent: *
Allow: /
Disallow: /admin
Crawl-delay: 10

# Карта сайта. Раньше этой строки здесь не было вовсе, и поисковикам
# приходилось находить страницы обходом.
Sitemap: https://ifbest.org/sitemap.xml