Wayback Machine масово показує 429 Too Many Requests: чому це стається і що робити

Якщо Wayback Machine раптом відповідає 429 Too Many Requests, це не обов’язково означає поломку архіву. Найчастіше спрацював rate limiter проти надмірного автоматизованого трафіку.

Чому Wayback Machine показує 429

Код HTTP 429 означає Too Many Requests: сервер тимчасово обмежує запити, коли бачить занадто високу частоту звернень. У випадку Wayback Machine проблема стала помітнішою на тлі хвиль автоматизованого трафіку. Захисні механізми Internet Archive намагаються відсікати ботів і масовий scraping, але інколи під обмеження потрапляють і звичайні користувачі.

Це не означає, що архів «закрився»

429 — не те саме, що видалена сторінка, бан назавжди чи відсутність потрібного snapshot. Найчастіше це тимчасова відповідь rate limiter. Тому безглуздо багато разів натискати Refresh або запускати паралельні запити: така поведінка може лише продовжити обмеження. Спочатку варто зупинити автоматичні інструменти й дати сервісу час.

Що перевірити на своєму боці

Якщо помилка виникає у браузері, перевірте, чи не працюють розширення, скрипти або програми, які одночасно звертаються до web.archive.org. У корпоративній або провайдерській мережі багато людей можуть виходити через одну публічну IP-адресу, тому ліміт іноді спрацьовує через чужий трафік. Також варто порівняти поведінку в іншій мережі без VPN і не використовувати агресивне автоматичне оновлення.

Що робити розробникам і архіваторам

Для масового доступу треба поважати rate limits, кешувати результати, ставити затримки та exponential backoff після 429. Якщо скрипт миттєво повторює той самий запит десятки разів, він створює саме ту проблему, від якої Archive намагається захиститися. Важливо також не розподіляти навантаження через проксі лише для обходу ліміту: це може порушувати правила сервісу і погіршує ситуацію для всіх.

Коли звертатися до Internet Archive

У повідомленнях про поточну хвилю блокувань представник Wayback Machine Марк Грем радив користувачам, які вважають блокування помилковим, звертатися до Internet Archive та надавати дані про ОС, браузер і IP. Перед цим варто переконатися, що на пристрої або в мережі справді немає автоматичного клієнта. Якщо 429 стабільно тримається при звичайному ручному перегляді, це вже корисна інформація для діагностики.

↗