C помощью сверточной нейросети ученым впервые удалось осуществить полную 3D-реконструкцию биологической клетки на основе данных электронной микроскопии. Процесс реконструкции с помощью нейросети занимает несколько часов, что примерно в 100 000 раз быстрее, чем при ручной обработке данных.
Клетки состоят из множества органелл, управляющих их деятельностью. Несмотря на то, что эти структуры являются хорошо изученными, до сих пор не существовало карты их пространственного распределения на нанометровом масштабе. Такую карту можно получить с использованием методов электронной микроскопии сверхвысокого разрешения. Однако данные только для одной клетки состоят из десятков тысяч изображений, и потому анализ всех органелл клетки занял бы у одного ученого более 60 лет.
Коллективу ученых удалось решить эту задачу с помощью нейросети 3D U-net, которая классифицировала тысячи органелл внутри клетки за несколько часов. Нейросеть была обучена на 30 размеченных вручную типах органелл и других структур.
Ключевым результатом исследования является получение информации о том, сколько места занимают органеллы внутри клетки, как они расположены друг относительно друга и как они взаимодействуют. В дополнение к двум статьям в Nature ученые запустили портал OpenOrganelle, на котором в открытом доступе представлены массивы выходных данных нейросети, датасеты и инструменты для обработки данных электронной микроскопии.
