Neuroglancer — это 3D-интерфейс для изучения структуры мозга мухи, который доступен публично. Работа проводилась совместно с Howard Hughes Medical Institute (HHMI) Janelia Research Campus и Cambridge University. Исследователи из Google AI разработали нейросеть, которая воссоздала структуру мозга мухи в 3D. В качестве архитектуры были использованы Flood-Filling нейросети.
Цель исследований в области коннектомики — восстановить работу нервной системы с помощью схемы нейронных соединений. Основной задачей последних работ является исследование мозга мухи (Drosophila melanogaster). Муха считается хорошо исследованным организмом. Всего за исследования этого вида было выдано 8 Нобелевских премий в области биологии, генетики и неврологии. Важным преимуществом мух в экспериментах является их размер. Размер мозга мухи относительно мал (100 тысяч нейронов) в сравнении с мозгом мыши (100 миллионов нейронов).
Автоматизированная реконструкция 40 триллионов пикселей
Ученые из HHMI разделили мозг мухи на тысячи ультратонких 40-нанометровых частей. Каждая часть была запечатлена с помощью микроскопа. Общий размер полученных изображений составил более 40 триллионов пикселей. Затем 2D изображения были объединены в последовательную 3D модель мозга. В Google для обучения использовали Flood-Filling Networks (FFNs) и тысячи TPU.
Нейросеть выдавала нестабильные результаты, когда последовательность изображений была нарушена или когда часть изображений мозга отсутствовала. Чтобы обойти эти ограничения исследователи добавили следующие два шага:
- Ввели оценку консистентности последовательности изображений и локально стабилизировали содержание изображений;
- Использовали “Segmentation-Enhanced CycleGAN” (SECGAN), чтобы вычислительно восстановить отсутствующие изображения частей мозга
SECGAN — это тип генеративных нейросетей, которые адаптированы под задачу сегментации изображений. Использование SECGAN позволило FFN более точно восстанавливать нейронные соединения там, где отсутствовало множество изображений частей мозга.
Интерактивная визуализация мозга
Исследователи опубликовали 3D-интерфейс для изучения результатов нейросети — Neuroglancer. Код проекта также лежит в открытом доступе на GitHub.
Видеодемонстрация работы Neuroglancer:
