Отчет об инциденте при установке обновления 3.7.4 (обращение от Джонатана, технического директора Grinding Gear Games)
Сегодня, во время установки обновления 3.7.4 мы столкнулись с рядом проблем, которые привели к увеличению времени простоя серверов Path of Exile и потере прогресса за время игры между изначальной установкой 3.7.4 и момента, когда спустя примерно 2 часа нам удалось установить исправленную версию. Я хотел бы воспользоваться моментом и объяснить, что произошло и как мы будем предотвращать подобное в будущем.

Хронология событий

Сегодня, в 3:00 МСК, мы отключили серверы для установки обновления 3.7.4. Время отключения составило примерно 18 минут и в 3:18 МСК серверы были включены. В 3:25 МСК наш корейский издатель Kakao Games проинформировал нас, что корейским игрокам при заходе в игру предлагалось создать новый аккаунт вместо автоматического входа в уже существующий.

Не зная причины проблемы, моим первым действием было решение отключить корейский шлюз для уменьшения потенциального урона, который мог быть нанесен, что дало бы нам время для изучения проблемы.

Мы довольно быстро определили, что обновление содержало миграцию базы данных учетных записей, о присутствии которой никто из команды продюсеров и администраторов серверов не знал. Эта миграция уничтожила в базе данных все учетные данные Kakao.

Система миграции, которую мы используем, имеет возможность довольно быстро вернуть на место исходные данные в случае, если миграция базы данных наносит ущерб, поэтому мы решили отключить сервер, откатить данные учетных записей и переустановить 3.7.3d, сохраняя прогресс игроков с момента запуска и до возможности установки исправленной версии 3.7.4. Мы отключили сервер в 3:35 МСК.

В 3:48 МСК мы установили 3.7.3d с восстановленной базой данных учетных записей. После этого мы начали получать сообщения о том, что у игроков пропали ископаемые. Так как в 3.7.3d ископаемые не складывались в стопки, то стопки пропадали как только игрок открывал любую вкладку сундука с ними. К сожалению, когда я принимал решение об откате базы данных учетных записей, я не учел возможные проблемы с ископаемыми.

Для предотвращения дальнейшего урона, сервер снова был отключен в 4:00 МСК.

К сожалению, такой тип повреждений невозможно было исправить с помощью специального анализа логов, поэтому мы решили сделать полный откат базы данных на определенный момент времени, из-за чего игроки потеряли бы 29 минут игрового прогресса. Я решил, что экономический ущерб от потери 29 минут игрового времени, вероятно, будет меньше, чем экономический эффект от того, что многие игроки потеряют большое количество ценных ископаемых.

В 4:05 МСК мы начали процесс отката базы данных до этого момента времени. Откат базы данных таким способом - довольно медленный процесс, но к 4:45 МСК он был завершен.

В этот момент мы поняли, что исправленная версия 3.7.4 была почти готова, поэтому мы решили, что лучше подождать пока ее установят на серверы, чем устанавливать 3.7.3d только ради того, чтобы потом через несколько минут опять отключить сервер.

В 5:04 МСК мы перезапустили сервер на версии 3.7.4, миграция (исправленная) завершилась в 5:15 МСК, после этого мы открыли доступ игрокам.

В общей сложности этот инцидент привел к 123 минутам простоя серверов, включая 29 минут потерянного игрового процесса.

Реакция

К этому инциденту привели несколько ошибок.

Первая ошибка заключается в том, что была добавлена миграция базы данных, о которой никого не проинформировали. Обычно, при добавлении в обновление миграции базы данных, отдел контроля качества и серверные администраторы уделяют особое внимание тому, чтобы данные не терялись и не вызывали проблем. Продюсер, который готовил обновление, не знал, что в это обновление включена миграция. Чтобы убедиться, что такие изменения привлекут внимание, мы добавим систему, предотвращающую добавление миграции без специального подтверждения продюсером.

Вторая проблема заключается в том, что наши процессы контроля качества не уловили проблему. Несмотря на то, что эта область не была промаркирована для контроля качества, проблема была достаточно простой для ее обнаружения. Список быстрой проверки КК включал в себя проверку работоспособности входа через Kakao, но не включал проверку существования старой учетной записи! Мы внесем поправки в список проверок.

Третья ошибка была моей. После того, как я узнал о неправильной миграции учетных записей, перед принятием решения об откате версии до 3.7.3d, я не уделил достаточно времени для оценки того, могут ли какие-либо изменения 3.7.4 вызвать проблемы. В будущем мы обязательно будем учитывать все последствия отката, прежде чем принимать подобное решение. Мы не избавимся от отключения серверов, но сможем избежать потерю прогресса игроков.

Случившееся не соответствует стандарту обслуживания, который мы хотим предоставлять вам, и я хочу лично извиниться за то, как этот инцидент был разрешен. Вы должны ожидать большего от Grinding Gear Games, и мы сделаем все от нас зависящее, чтобы избежать подобных вещей в будущем.

Спасибо,
Джонатан