Cloudflare назвала причину масштабного збою

Масштабний збій, який 18 листопада порушив роботу багатьох онлайн-сервісів — від ChatGPT до X, — у Cloudflare пов’язали з помилкою всередині системи Bot Management. У компанії заявили, що це найсерйозніша проблема за 6 останніх років.

Причиною став некоректний SQL-запит у ClickHouse, який генерує конфігурацію для моделі машинного навчання. Через помилку система створила масив дублікатів даних, і файл конфігурації перевищив допустимі обмеження. Унаслідок цього один із ключових проксі-модулів вийшов з ладу, а клієнти, що використовували автоматичні правила щодо “ботів”, почали мимоволі блокувати звичайний трафік. Ті ж компанії, які не покладалися на цю функцію, працювали без суттєвих перебоїв.

У Cloudflare наголосили, що це не було ані атакою, ані проблемою DNS: збій виник саме у внутрішній логіці оновлення Bot Management. Для запобігання таким випадкам компанія планує посилити контроль конфігурацій, розширити кількість “kill switch”, переглянути режими відмови та запобігти ситуаціям, коли технічні звіти можуть перевантажувати систему.

Оскільки приблизно п’ята частина світового інтернет-трафіку проходить через Cloudflare, збої в її центральних модулях одразу набувають глобального масштабу. 18 листопада проблеми із доступом до сайтів фіксували по всьому світу.