Microsoft разработала алгоритм обучения с подкреплением, предлагающий для текущего состояния пациента наиболее эффективную тактику лечения. Модель нацелена на ускорение принятия решений в здравоохранении в условиях ограниченного количества медицинских данных.
Модель была разработана для распознавания протоколов лечения, которые могут привести к негативным результатам, и для предупреждения врачей о том, что состояние пациента может ухудшиться до угрожающего жизни уровня.
Здравоохранение является областью последовательного принятия решений, а обучение с подкреплением является формальной парадигмой для моделирования и решения проблем в таких областях. В здравоохранении врачи основывают свои решения о лечении на общем понимании состояния здоровья пациента; они наблюдают, как пациент реагирует на это лечение, и затем процесс повторяется. Аналогично, при обучении с подкреплением алгоритм или агент интерпретирует состояние своей среды и выполняет действие, которое в сочетании с внутренней динамикой среды заставляет ее переходить в новое состояние.
Алгоритм Microsoft определяет методы лечения, которых следует избегать, чтобы предотвратить «медицинский тупик» — точку, в которой пациент с наибольшей вероятностью умрет независимо от будущего лечения. Особенность такого подхода заключается в экспоненциально меньшем количестве требуемых данных по сравнению с другими методами, что делает его значительно более надежным в ситуациях с ограниченными данными. Выделяя методы лечения с высоким риском, данный метод может помочь врачам принимать надежные решения в ситуациях, требующих экстренного реагирования.
