Исследователи сравнили, кто лучше справляется с диагностированием рака груди: нейросеть или 101 профессионал в радиологии. Нейросеть в среднем была более эффективна в определении рака груди, чем врачи. Однако система проигрывала наиболее опытным радиологам.
В рамках эксперимента нейросетью и экспертами из Radboud University Medical Centre были классифицированы более 28,000 маммограмм. Нейросеть была обучена детектировать поражения мягких тканей и уплотнения. На вход система принимает изображение с маммограммой, а на выходе выдает степень уверенности в том, что пациент болен раком, от 1 до 10.
Тренировочная выборка изображений была получена из схожих клинических исследований. Маммограммы принадлежали пациенткам из 7 стран и были сделаны на 4-х различных маммографических аппаратах. Каждый датасет включал в себя изображения, оценку вероятности заболевания от радиологов и фактический диагноз пациента. Всего изображений было 189,000, 9 тыс. из которых были с положительным диагнозом.
Всего в рамках эксперимента было проанализировано 2,652 случая, 653 из которых были с положительным диагнозом. Суммарное количество оценок составило 28,296 от 101 радиолога. 53 специалиста были из США, равно представлены были эксперты, специализирующиеся в проведении маммографии, и радиологи. 48 специалистов были из Европы и все являлись экспертами по маммографии.
Сравнение работы модели и экспертов
Исследователи заявляют, что результаты работы нейросети статистически значимо не уступают результатам экспертов. В качестве метрики оценки ученые выбрали Area Under Curve (AUC). AUC для нейросети был равен 0.840, а у радиологов — 0.814. Нейросеть имела более высокий AUC, чем 62 эксперта. Несмотря на успехи нейросети, ее результаты были заметно ниже, чем у наиболее квалифицированных радиологов на всех датасетах. Исследователи предполагают, что у радиологов было преимущество в наличии предыдущих маммограмм пациенток в большинстве случаев.
Исследователи предлагают несколько применений системы в существующей процедуре осмотра. Первый — использование нейросети параллельно обследованию радиолога, как независимый ориентир. Второй — по аналогии с CAD, использование нейросети как одна из частей обследования радиологом.
