Microsoft создает нейросеть для распознавания рыбы, чтобы следить за популяцией

3 декабря 2018
отслеживание популяции рыбы

Microsoft создает нейросеть для распознавания рыбы, чтобы следить за популяцией

Команда биологов NT Fisheries совместно с Microsoft разработали и применили технологию для автономного отслеживания видов и подсчета количества рыбы даже в мутной воде. Разработка поможет упростить исследования морских биологов, особенно работающих…

Команда биологов NT Fisheries совместно с Microsoft разработали и применили технологию для автономного отслеживания видов и подсчета количества рыбы даже в мутной воде. Разработка поможет упростить исследования морских биологов, особенно работающих в местах с повышенной опасностью — в водоёмах, где обитают хищные рыбы и аллигаторы.

Технология разработана в Microsoft и основана на Azure Cognitive Service. Усовершенствованная модель сегментации позволяет распознавать виды рыб в мутной воде с точностью от 95% до 99%. Исходный код модели доступен на GitHub.

распознавание рыбы microfost ai

Распознавание видов рыб

Департамент сырьевой промышленности Австралии управляет сырьевыми ресурсами, к которым относится и рыбная ловля, разрабатывает рекомендации по ловле и сохранению видов рыб. Для этого работникам нужно ежедневно мониторить количество рыбы, отслеживать резкие изменения в количестве и поведении отдельных видов.

Команда исследователей NT Fisheries использует приманку, а затем снимают приплывшую рыбу на видео с помощью подводных камер. После того как материалы собраны, ученым приходится отсматривать терабайты данных (1 терабайт равен примерно 500 часам видео) и маркировать виды рыб вручную.

В Microsoft создали автоматическую систему помощи исследователям в отслеживании и классификации видов. Разработчики столкнулись с необычными проблемами. Например, как компьютер определит вид золотой трески, которая способна менять цвет, чтобы подстроиться под окружающую среду? Результаты очень сильно зависят от обучающей выборки, поэтому ученые разработали модель, которая обучается непрерывно. После трех месяцев обучения и тестирования, технология распознает 15 видов рыбы.

Хотя уже есть разговоры об использовании AI для создания глобальной базы данных о видах рыб, команда NT Fisheries сосредоточена на работе с существующими проблемами. «У нас много видов рыб, находящихся под угрозой исчезновения, и видов, о которых не хватает данных» — поясняют  исследователи. В Microsoft надеются, что их наработки помогут странам начать эффективно использовать водные ресурсы и управлять ими.

Африканские леса поставили на прослушку для защиты вымирающих слонов

11 сентября 2018

Африканские леса поставили на прослушку для защиты вымирающих слонов

Согласно исследованиям ООН, в Африке ежедневно от рук браконьеров погибают 100 слонов. Количество лесных слонов (Loxodonta cyclotis) центральной Африки сократилась со 100 000 особей в 2011 году до 40 000…

Согласно исследованиям ООН, в Африке ежедневно от рук браконьеров погибают 100 слонов. Количество лесных слонов (Loxodonta cyclotis) центральной Африки сократилась со 100 000 особей в 2011 году до 40 000 в 2018. Чтобы замедлить этот процесс, разработчики стартапа Conservation Metrics совместно с учёными из Корнельского университета создали алгоритм, который поможет бороться с браконьерами, анализируя аудиозаписи из мест обитания животных.

Для проекта Elephant Listening исследователи установили микрофоны в Национальном парке Нуабале-Ндоки, расположенном в Республике Конго. Каждые 3 месяца учёные получают оттуда 7 Тб записей для анализа. Обработка такого количества информации занимала 12 недель. Чтобы ускорить процесс, Conservation Metrics создали алгоритм, который сокращает время обработки аудиоданных до 22 дней. Разработчики надеются, что со временем им удастся ускорить обработку ещё больше.

Компания обучила нейросеть распознавать выстрелы и звуки, которые издают слоны. Работники парка используют эти данные, чтобы определять местонахождение стадов и оперативно реагировать на угрозы. Видео и спектрограмма показывают приветствие между двумя африканскими лесными слонами, Кейт и Тесс.

Разработка станет полезной, когда исследователям удастся реализовать алгоритм, который будет сигнализировать о наличии браконьеров в режиме онлайн, анализируя аудио из африканской саванны. С помощью вертолета можно будет быстро нагнать браконьеров.

DeepLabCut — новый инструмент для оценки позы и захвата движений

30 августа 2018
DeepLabCut

DeepLabCut — новый инструмент для оценки позы и захвата движений

Исследователи из Гарварда разработали DeepLabCut — инструмент для автоматической оценки позы и разметки движущихся частей тела животных и людей. Обычно, чтобы отследить движения, исследователи записывают видео и вручную покадрово размечают изображения. В…

Исследователи из Гарварда разработали DeepLabCut — инструмент для автоматической оценки позы и разметки движущихся частей тела животных и людей. Обычно, чтобы отследить движения, исследователи записывают видео и вручную покадрово размечают изображения. В новом подходе учёные предлагают технологию для автоматизации и ускорения этого процесса.

Идея состояла в том, чтобы уловить крошечные движения, которые вместе составляют более заметное. DeepLabCut можно применять в биомеханике для изучения работы мозга животных, а также в физиотерапии и спорте.

«С помощью видео мы можем легко наблюдать и регистрировать поведение животных в различных условиях, но извлечение конкретных аспектов поведения для дальнейшего анализа может быть трудоемким», — отметили разработчики в статье.

Как работает DeepLabCut

DeepLabCut позволяет автоматически выполнять оценку позы и отслеживать движения. Для работы сначала загружаются размеченные изображения интересующего объекта, например, белки или крысы, и видео с тем, как она двигается. После этого загружают видео с нужной активностью (например, белка грызёт орех). Программа разметит части тела белки и будет отслеживать движения автоматически. Даже когда обозначено ~ 200 кадров, алгоритм обеспечивает отслеживаемость, которая сопоставима с точностью человеческой разметки.

Крыса

odortrail

detect

Муха

animals detection movements

Лошадь

horse1

Человек

human movements

Команда обучила нейросеть выполнять оценку позы и определять части тела на сотнях изображений из набора ImageNet, используя графические процессоры NVIDIA GeForce GTX 1080 Ti и NVIDIA TITAN Xp с расширенной cuDNN и библиотеку TensorFlow.

Инструмент доступен open source.

Метод распознавания животных и их поведения в дикой природе

26 июня 2018
распознавание животных

Метод распознавания животных и их поведения в дикой природе

Экологи, биологи и зоологи прилагают усилия, чтобы спасти дикую природу, пытаются повысить осведомленность о местоположении и поведении животных в естественных условиях. Им нужна наиболее точная и актуальная информация о поведении…

Экологи, биологи и зоологи прилагают усилия, чтобы спасти дикую природу, пытаются повысить осведомленность о местоположении и поведении животных в естественных условиях. Им нужна наиболее точная и актуальная информация о поведении и количестве животных в дикой природе.

pnas распознавание живтоных в дикой природе
Обложка журнала PNAS за июнь 2018 года с представляет метод

Проекты камер-ловушек — один из методов, используемых экологами и биологами для получения информации о дикой природе. Размещение большого количества камер в равноудаленных местах в дикой природе позволило изучить размеры и распределение популяции животных. Тем не менее, из-за необходимых человеческих усилий для анализа изображений, полученных с помощью этих проектов, эксперты извлекают только небольшую часть ценной информации из огромного количества фотографий, которые сохранены на серверах. Совместные усилия исследователей из Университета Вайоминга, Обернского университета, Гарвардского университета, Оксфордского университета, университета Миннесоты и Uber AI привели к созданию точного метода автоматической идентификации животных по фотографиям с камер-ловушек.

Исследователи используют методы глубокого обучения и большие размеченные наборы данных для выявления, подсчета и описания поведения видов животных. Проблема может быть оформлена как многозадачная проблема обучения с использованием изображений из проектов камер-ловушек.

Датасет

Исследователи используют размеченный датасет, взятый из Snapshot Serengeti Project — крупнейшего в мире проекта камер-ловушек. В проекте задействовано 225 камер-ловушек, непрерывно работающих в национальном парке Серенгети, Танзания, датасет содержит 3,2 миллиона изображений, соответствующих 1,2 миллионам событий захвата (примечание: событие захвата представляет собой момент, когда камера идентифицировала движение и было сделано несколько снимков). В этом проекте исследователи фокусируются на событиях захвата, которые содержат только один вид, и удалили события, содержащие более одного вида.

После человеческой разметки оказалось, что 75% фотографий из датасета не содержат животных, так как камера-ловушка срабатывает на любое движение. Затем добровольцы разметили все события на каждой фотографии.

Однако применение такого подхода может быть потенциально опасным для процесса обучения, поскольку передаваемые метки от событий к отдельным изображениям часто могут не соответствовать друг другу. В статье утверждается, что добавление такого рода “шума” может быть преодолено нейронной сетью.

Тестовый набор

Для оценки моделей авторы создают два набора тестов: набор тестов с меткой эксперта, содержащий 3800 событий захвата, и набор тестов с меткой добровольца, состоящий из 17400 событий захвата.

Метод

Исследователи учитывают это при решении проблемы с использованием двухэтапного подхода:

  • (I) обнаружение присутствия животного (решение задачи — пусто vs животное)
  • (II) определение того, какие виды присутствуют,
  • (III) подсчет количества животных
  • (IV) описание действий на фотографии (поведение и наличие молодняка).

Ученые исследовали различные архитектуры глубоких нейронных сетей, чтобы найти наиболее подходящую для автоматизированной идентификации животных.

 Постепенное преобразование необработанных данных в абстрактные понятия

Постепенное преобразование необработанных данных в абстрактные понятия
архитектуры глубоких нейронных сетей, используемых в этом проекте
Описание некоторых из наиболее популярных архитектур глубоких нейронных сетей, используемых в этом проекте

Задача I: обнаружение изображений, содержащих животных

Первая задача самая простая из всех. Это двоичная классификация, и единственная проблема, возникающая в этом контексте — заметный дисбаланс классов. Чтобы решить эту проблему, исследователи взяли 25% непустых изображений и случайным образом выбрали тот же объем данных из остальных 75% пустых изображений. Таким образом, они получили 1,5 миллиона изображений, из которых 1,4 миллиона для обучения и 100 000 для тестирования. Как сообщают исследователи, все классификаторы достигают точности 95.8% в этой задаче, самая точная — VGG с точностью в 96.8%.

Оценка моделей
Оценка моделей

Задача II: определение видов

Для выполнения этой задачи авторы рассматривают методы “Top-1” и “Top-5” многокомпонентной классификации с 48 классами, соответствующих 48 видам, присутствующим в обучающем наборе данных. Окончательная модель достигает 99,1% с методом “Top-5”. Подход, который они используют для конкретной задачи идентификации видов — это совокупное обучение, где прогноз получается путем усреднения всех прогнозов из нескольких моделей. Оценки на размеченных экспертами данных: точность 94.9% с методом “Top-1” и 99,1% с методом “Top-5”(лучшая модель — ResNet-152 достигает 93.8% на “Top-1” и 98,8% на “Top-5”) .

точность

Задача III: подсчет животных

Для решения этой задачи исследователи поделили пространство возможных ответов на 12 кластеров, соответствующих 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11–50 и 51+ животных на одном фото соответственно. В этой задачи они достигли (при использовании совокупности моделей на тестовом наборе, размеченном экспертами) точности 63,1% при “Top-1”, при этом 84,7% предсказаний находится в пределах +/-1 кластера.

Задача IV: поведение животных и дополнительные атрибуты

Набор данных Serengeti содержит 6 не взаимоисключающих меток, определяющих поведение животных на изображении: стоит, отдыхает, двигается, питается, взаимодействет, и наличие молодняка.

Двоичная классификация рассматривает возможность иметь несколько меток. Объединенная по всем атрибутам совокупность моделей достигает 76,2% точности (86,1% precision и 81,1% recall).

распознавание живтоных 1 распознавание живтоных 2 распознавание живтоных 3

Работа показала, что глубокое обучение может быть полезно таким экспертам, как биологи и экологи, в их работе по изучению и сохранению дикой природы.

Перевод — Виктор Новосад, оригинал — Dane Mitrev