Graceful shutdown

[alexlapa]

Part of 0.2.0 Roadmap (#8)

PR: #30, #37

Background

В данный момент, в случае завершения приложения все ws клиенты получат close code 1006 (отсутствие close frame). Так как этот код также может быть получен в случае "обрыва" соединения, он будет вести к попыткам реконнекта со стороны клиента.

Problem to solve

Требуется разработать мехнизм graceful shutdown в случае получения сигналов завершающих приложение: SIGHUP, SIGINT, SIGTERM, SIGQUIT. В рамках которого все ws-клиенты будут закрываться со статусом 1000.

Possible solutions

Для подписки на сигналы следует использовать actix::actors::signal.

[nWacky]

Обсудили, решили сделать следующее:

• Добавить graceful shutdown в Room
• Удалять всех пользователей из redis при получении сигнала о завершении
• Прокидывать ProcessSignals через конструктор

[nWacky]

@alexlapa,

Проблема с закрытием приложения.

В функции main мы подписываем Room на System::current().registry().get::<signal::ProcessSignals>(), затем запускаем actix_web::HttpServer, который тоже подписывается на сигналы System::current().registry().get::<signal::ProcessSignals>().

В случае получения SIGHUP, SIGINT, SIGTERM, SIGQUIT, SIGCHILD System::current().registry().get::<signal::ProcessSignals>() посылает signal::Signal всем подписавшимся. signal::Signal - enum, содержащий сигнал, который был получен.

При получении signal::Signal actix_web::HttpServer устанавливает флаг exit на true, после чего посылает себе сигнал StopServer. StopServer вызывает stop на своих workers.

Workers или завершаются в течение shutdown_timeout (если получили SIGTERM) или делают request ServerMessage::ForceShutdown.

После того, как завершение workers закончено, actix_web ждет еще 300ms и выключает текущую систему Actix (при exit = true), в которой может еще работать код закрытия Room.

Закрытие Room посылает сигнал CloseRoom, который закрывает все RpcConnection и удаляет всех IceUser, о которых знает Room.

Суть проблемы

actix_web выключит систему через 300ms после получения закрывающего сигнала, и Room нужно успеть сделать все за 300ms, иначе ее выключат и она ничего не сможет сделать (и всем ws-клиентам вернется код 1006)

Возможные варианты решения

Насколько я знаю, мы не можем добавить свои классы к worker'ам actix_web

Можно запретить actix_web реагировать на закрывающие сигналы, и потом выключить систему, но тогда actix_web workers не смогут shut down gracefully

Можно сохранить Addr<HttpServer> в main и послать StopServer как только получен сигнал, предварительно запретив обработку сигналов. actix_web тогда не будет останавливать систему после закрытия, нужно ее закрыть вручную. Можно всегда закрывать HttpServer gracefully.

.

Я предлагаю 3-й вариант. Тогда есть 2 варианта:

1. Сделать класс, который будет вызывать Close везде, смотреть закрылось ли все и потом выключать систему
2. Обрабатывать сигнал закрытия каждым компонентом индивидуально и выключать систему в течение некоторого shutdown_timeout

Я предлагаю 2 вариант

[alexlapa]

@nWacky ,

Можно сохранить Addr в main и послать StopServer как только получен сигнал, предварительно запретив обработку сигналов.

Не совсем уловил в чем различие с текущей реализацией. Сейчас сервер сам подписывается на сигнал и бросает в себя StopServer, а так мы подпишемся на сигналы и будем бросать серверуStopServer.

Сделать класс, который будет вызывать Close везде, смотреть закрылось ли все и потом выключать систему

В такой формулировке смысл появляется. Сначала уведомляем наши компоненты, ждем пока они ответят что закрылись, потом перекидываем сигнал серверу, который закроет систему.