Wayback Machine массово показывает 429 Too Many Requests: почему это происходит и что делать

Если Wayback Machine внезапно отвечает 429 Too Many Requests, это не обязательно означает поломку архива. Чаще всего сработал rate limiter против избыточного автоматизированного трафика.

Почему Wayback Machine показывает 429

Код HTTP 429 означает Too Many Requests: сервер временно ограничивает запросы, когда видит слишком высокую частоту обращений. В случае Wayback Machine проблема стала заметнее на фоне волн автоматизированного трафика. Защитные механизмы Internet Archive пытаются отсекать ботов и массовый scraping, но иногда под ограничение попадают и обычные пользователи.

Это не значит, что архив «закрылся»

429 — не то же самое, что удаленная страница, вечный бан или отсутствие нужного snapshot. Чаще всего это временный ответ rate limiter. Поэтому бессмысленно многократно нажимать Refresh или запускать параллельные запросы: такое поведение может лишь продлить ограничение. Сначала лучше остановить автоматические инструменты и дать сервису время.

Что проверить на своей стороне

Если ошибка возникает в браузере, проверьте, не работают ли расширения, скрипты или программы, которые одновременно обращаются к web.archive.org. В корпоративной или провайдерской сети много людей могут выходить через один публичный IP, поэтому лимит иногда срабатывает из-за чужого трафика. Стоит также сравнить поведение в другой сети без VPN и не использовать агрессивное автоматическое обновление.

Что делать разработчикам и архиваторам

Для массового доступа нужно уважать rate limits, кешировать результаты, ставить задержки и exponential backoff после 429. Если скрипт мгновенно повторяет один запрос десятки раз, он создает именно ту проблему, от которой Archive пытается защититься. Не стоит распределять нагрузку через прокси только ради обхода лимита: это может нарушать правила сервиса и ухудшает ситуацию для остальных.

Когда обращаться в Internet Archive

В сообщениях о текущей волне блокировок представитель Wayback Machine Марк Грэм советовал пользователям, считающим блокировку ошибочной, обращаться в Internet Archive и указывать данные об ОС, браузере и IP. Сначала стоит убедиться, что на устройстве или в сети действительно нет автоматического клиента. Если 429 стабильно сохраняется при обычном ручном просмотре, это уже полезная информация для диагностики.

↗