Голосовой ассистент и очки HoloLens помогут слабовидящим перемещаться

13 декабря 2018

Голосовой ассистент и очки HoloLens помогут слабовидящим перемещаться

Американские ученые разработали технологию CARA на базе очков дополненной реальности Microsoft HoloLens, которая поможет слабовидящим людям ориентироваться в пространстве. Каждый предмет в окружении получит свой “голос”, благодаря чему человек будет…

Американские ученые разработали технологию CARA на базе очков дополненной реальности Microsoft HoloLens, которая поможет слабовидящим людям ориентироваться в пространстве. Каждый предмет в окружении получит свой “голос”, благодаря чему человек будет понимать, что находится вокруг него. Технология позволит обходить препятствия, осуществлять навигацию в зданиях и на улице, формировать пространственную память.

Как работает устройство

С помощью очков HoloLens, устройство сканирует все поверхности и предметы, используя видео- и инфракрасные датчикию. Программа обнаруживает поверхности объектов с точностью до сантиметра и создает трехмерную карту окружающего пространства. Затем Cognitive Augmented Reality Assistant (CARA) конвертирует информацию, полученную из датчиков HoloLens, в аудиосообщения, придавая каждому объекту «голос», который человек слышит с помощью гарнитуры.

Чем ближе человек находится к объекту, тем выше тон голосового помощника. Пользователь взаимодействует с устройством в трех режимах, используя голосовые команды и кликер:

  • Режим«прожектора». Ассистент называет объект, на который направлен взгляд пользователя.
  • Режим сканирования. Ассистент называет слева направо все объекты, которые видит камера HoloLens.
  • Целевой режим. Подается информация только об одном объекте, если человеку нужно найти его или пройти рядом.

В тестировании технологии участвовали 7 человек с нарушениями зрения. Они использовали HoloLens, чтобы добраться в офис команды на втором этаже. Всем участникам удалось добраться до офиса с первого раза.

По данным ВОЗ, 1,3 миллиарда человек во всем мире живут с разными формами нарушения зрения: 217 миллионов людей попадают в категорию слабовидящих, а 36 миллионов — полностью слепых. Технология Caltech демонстрирует многообещающие результаты и может применяться в различных разработках для помощи людям с нарушениями зрения. В дальнейшем ученые собираются тестировать, как HoloLens и CARA работают в общественных местах с большим скоплением людей — в торговых центрах, магазинах, парках развлечений.

Microsoft создает нейросеть для распознавания рыбы, чтобы следить за популяцией

3 декабря 2018
отслеживание популяции рыбы

Microsoft создает нейросеть для распознавания рыбы, чтобы следить за популяцией

Команда биологов NT Fisheries совместно с Microsoft разработали и применили технологию для автономного отслеживания видов и подсчета количества рыбы даже в мутной воде. Разработка поможет упростить исследования морских биологов, особенно работающих…

Команда биологов NT Fisheries совместно с Microsoft разработали и применили технологию для автономного отслеживания видов и подсчета количества рыбы даже в мутной воде. Разработка поможет упростить исследования морских биологов, особенно работающих в местах с повышенной опасностью — в водоёмах, где обитают хищные рыбы и аллигаторы.

Технология разработана в Microsoft и основана на Azure Cognitive Service. Усовершенствованная модель сегментации позволяет распознавать виды рыб в мутной воде с точностью от 95% до 99%. Исходный код модели доступен на GitHub.

распознавание рыбы microfost ai

Распознавание видов рыб

Департамент сырьевой промышленности Австралии управляет сырьевыми ресурсами, к которым относится и рыбная ловля, разрабатывает рекомендации по ловле и сохранению видов рыб. Для этого работникам нужно ежедневно мониторить количество рыбы, отслеживать резкие изменения в количестве и поведении отдельных видов.

Команда исследователей NT Fisheries использует приманку, а затем снимают приплывшую рыбу на видео с помощью подводных камер. После того как материалы собраны, ученым приходится отсматривать терабайты данных (1 терабайт равен примерно 500 часам видео) и маркировать виды рыб вручную.

В Microsoft создали автоматическую систему помощи исследователям в отслеживании и классификации видов. Разработчики столкнулись с необычными проблемами. Например, как компьютер определит вид золотой трески, которая способна менять цвет, чтобы подстроиться под окружающую среду? Результаты очень сильно зависят от обучающей выборки, поэтому ученые разработали модель, которая обучается непрерывно. После трех месяцев обучения и тестирования, технология распознает 15 видов рыбы.

Хотя уже есть разговоры об использовании AI для создания глобальной базы данных о видах рыб, команда NT Fisheries сосредоточена на работе с существующими проблемами. «У нас много видов рыб, находящихся под угрозой исчезновения, и видов, о которых не хватает данных» — поясняют  исследователи. В Microsoft надеются, что их наработки помогут странам начать эффективно использовать водные ресурсы и управлять ими.

Azure ML туториал: создание простой модели машинного обучения

23 октября 2018
azure ml туториал что это

Azure ML туториал: создание простой модели машинного обучения

Перед вами пошаговое руководство по созданию модели машинного обучения с использованием Microsoft Azure ML, перевод статьи «Tutorial – Build a simple Machine Learning Model using AzureML«. Ссылка на оригинал — в…

Перед вами пошаговое руководство по созданию модели машинного обучения с использованием Microsoft Azure ML, перевод статьи «Tutorial – Build a simple Machine Learning Model using AzureML«. Ссылка на оригинал — в подвале статьи.

Насколько тяжело построить модель машинного обучения на языках программирования R или Python? Для начинающих это геркулесов труд. Программистам среднего уровня и синьорам для этого требуется лишь достаточный объем памяти системы, осознание поставленной задачи и немного времени.

Модели машинного обучения иногда сталкиваются с проблемой несовместимости с системой. Чаще всего это происходит, когда датасет имеет слишком большие размеры; модель будет дольше считаться или просто перестанет работать. То есть работа с машинным обучением в любом случае предоставит определенные сложности как начинающим так и экспертам.

Что такое Azure ML?

azure ml туториал

Хорошая новость — освоить машинное обучение сегодня стало намного проще, чем, например, в 2014 году. Как новичок в этом деле, ты можешь начать познавать машинное обучение с помощью фреймворка Microsoft Azure ML.

Azure ML представляет собой реализацию алгоритма машинного обучения через графический интерфейс от Microsoft.

Какие ресурсы доступны на AzureML

Давайте познакомимся с арсеналом этого инструмента.

  1. Примеры датасетов: мне нравится тестировать инструменты, которые имеют множество встроенных наборов данных. Это упрощает процесс тестирования мощности инструмента. Azure ML поставляется с длинным списком встроенных наборов данных. Список датасетов.
  2. Средства машинного обучения: Azure ML имеет в наличии почти все популярные алгоритмы машинного обучения и формулы оценочных показателей.
  3. Преобразование данных: в Azure ML есть все параметры фильтрации, параметры преобразования, параметры суммирования и варианты расчета матрицы.
  4. Параметры преобразования формата данных: А  что если вы хотите добавить свой собственный набор данных? Azure ML имеет несколько опций для добавления наборов данных из вашей локальной системы. Вот эти варианты:

формат экспорта данных из azure ml

Создание модели

Теперь вы знаете потенциал AzureML. Давайте теперь сосредоточимся на способах использования. Я приведу простой пример, чтобы продемонстрировать то же самое. Я предлагаю вам проделать эти шаги со мной, чтобы лучше понять этот урок.

Здесь вы начинаете — нажмите на “Создать новый эксперимент”.

Вы получаете пустую таблицу экспериментов:

поле для экспериментов

Теперь вы можете выбрать pallete:

список датасетов azure ml

Шаг 1. Выберите набор данных. Это могут быть ваши примеры данных или же вы можете загрузить их. В этом уроке я буду использовать «Данные о раке молочной железы» из встроенных наборов данных. Просто перетащите эти данные в главное окно.

машинное обучение с azure ml

Шаг 2. Выберите инструмент деления. Вы можете использовать опцию поиска в палитре, чтобы найти «split data». Поместите «split data» под свой набор данных и присоедините.

датасеты

Теперь вы видите две точки на ячейке «split data». Это означает, что у вас есть два набора данных, готовых к работе. С правой стороны у вас есть возможность выбрать тип деления.

Шаг 3. Обучите модель машинного обучения: Для этого вам понадобятся два узла. Во-первых, это будет тип модели, которую вы хотите построить. Во-вторых, это будет узел тренировки модели. Вы можете обратиться к следующему рисунку:

датасет

Вы можете заметить восклицательный знак в узле тренировки модели. Это означает, что вам нужно указать целевую переменную. Выберем целевую переменную, щелкнув по ней. Теперь вы увидите окно с правой стороны. Выберите «Launch column slector».

тренировка модели

Я выбрал «Класс» в качестве целевой переменной.

Шаг 4. Теперь вы оцениваете модель: см. Следующий рисунок

model training azure ml

Шаг 5. Наконец, производите вычисления

Запускаете модель!

Визуализация датасета и вывода

Чтобы визуализировать любой узел, вы просто переходите к узлу, нажимаете на него правой кнопкой мыши, затем выбираете “визуализировать”.

Вот как выглядят визуальные данные в нашем случае:

визуализация данных в azure ml

Как видно, переменная Класс имеет только два значения. Этот инструмент аккуратно рисует распределение для каждой переменной и позволяет проверить нормальность.

Так выглядит подсчитанная модель:

azure машинное обучение

Как видно, оцененные вероятности в основном близки к нулю и к единице. Функция распределение имеет почти постоянное значение между нулем и единицей.Таким образом, модель выдает сильно разбросанные значения.

Наконец, вот как выглядят графики:

azure ml туториал

azure ml туториал

Заключение

Как можно видеть, модель оказалась очень эффективной, и мне потребовалось меньше минуты, чтобы построить и исполнить задачу. Вычисляемые расчетные матрицы являются довольно полными и, вероятно, содержат значение, которое вы искали. Мне понравился инструмент своей временной эффективностью и удобством для пользователя.

Считаете ли вы эту статью полезной ? Поделитесь с нами своим опытом работы с Azure ML.


Интересные статьи по теме:

Фреймворк Infer.NET от Microsoft теперь доступен open source

8 октября 2018

Фреймворк Infer.NET от Microsoft теперь доступен open source

Фреймворк для создания моделей машинного обучения Infer.NET от Microsoft ранее был доступен только для академического использования. В октябре Microsoft Research опубликовали исходный код инструмента на GitHub. Теперь его можно бесплатно…

Фреймворк для создания моделей машинного обучения Infer.NET от Microsoft ранее был доступен только для академического использования. В октябре Microsoft Research опубликовали исходный код инструмента на GitHub. Теперь его можно бесплатно использовать в коммерческой разработке. Вскоре Infer.NET станет частью программной библиотеки ML.NET.

Применение

Infer.NET — фреймворк, который учёные используют в биоинформатике, эпидемиологии, компьютерном зрении для создания моделей машинного обучения. Он используется во многих продуктах Microsoft — XBox, Azure, Microsoft Office. Недавний пример — TrueSkill 2 — технология машинного обучения, которая подбирает игроков в онлайн-играх в зависимости от уровня, скиллов, рейтинга и т.д. Реализованная на Infer.NET, TrueSkill 2 работает в реальном времени в Halo 5 и Gears of War 4, обрабатывая миллионы матчей.

Особенности Infer.NET

Фреймворк использует Байесовские сети в качестве генеративных моделей и позволяет создавать вероятностные модели, реализовывая для них процедуру вывода. Модели способны обучаться по мере поступления новых данных. Это важно для деловых и потребительских продуктов, которые взаимодействуют с пользователями в режиме реального времени. Например, в TrueSkill 2 нужно обновлять навыки игроков после каждого раунда, чтобы матчи были конкурентными. Технология реализует это за миллисекунду. Подход также обеспечивает хорошую масштабируемость и делает Infer.NET практичным инструментом для создания графических моделей.

Преимуществом Infer.NET разработчики называют интерпретируемость. «Если вы разработали модель, инструмент поможет понять, почему она ведет себя определенным образом или делает определенные прогнозы» — пишут исследователи в блоге.

Поддержка Windows, Linux и MacOS предоставляется через .NET Core. Загрузить фреймворк можно здесь. Посмотреть какие модели можно реализовать с помощью инструмента — здесь.