Kaliber Labs разрабатывают нейросеть, которая интерпретирует видео с камер внутри пациента во время операций. Модель определяет оперируемую область и выдает рекомендации, которые выводятся на монитор в операционной. Kaliber Labs — это стартап, который базируется в Сан-Франциско.
Стандартно открытые операции требуют широкие разрезы, которые дают докторам представление об области, которую они оперируют. Но хирурги чаще стараются минимизировать область разреза и используют видеокамеры, которые записывают состояние организма в реальном времени. Это дает возможность получить информацию об оперируемой области с минимально необходимыми издержками. Такой подход способствует тому, что пациенты тратят меньше ресурсов на восстановление после операции.
Несмотря на преимущество, использование маленьких камер требует от хирургов большей осторожности. Это связано с тем, что обзор оперируемой области ограничен и использование небольших по размеру инструментов требует точности действий.
Чтобы помочь врачам, компания Kaliber Labs обучает нейросеть, которая обрабатывает в реальном времени записи с камер в пациенте. Операция состоит из ряда шагов. Модель сопровождает процесс операции на всех этапах, чтобы снизить риск ошибки. Компания также работает над нейросетью, которая размечает видеозаписи операций. Это призвано улучшить открытость коммуникации между пациентом и врачом.
Модели обучались на Keras, PyTorch и TensorFlow с использованием NVIDIA RTX GPU. Использование GPU сократило время обучения моделей в 5 раз. Чтобы разработать инструменты для обработки видео в реальном времени, разработчики используют JetPack SDK и NVIDIA Jetson TX2. Детали реализации моделей не раскрываются.
Как это работает
В начале процедуры система использует видео, чтобы определить, какой тип процедуры сейчас происходит (например, какой орган оперируется). Затем отбирается модель, которая была специально обучена для обработки этого типа операций. Выбранная модель в реальном времени выдает рекомендации к оперированию проблемной области.
На данный момент компания закончила разработку нейросети для обработки видео с операций на плечо. Разработчики работают над моделями для обработки операций на колено и бедро. Модели обучаются на тысячах часов видеозаписей реальных операций.
