Обновления: PyTorch 1.2, torchtext 0.4, torchaudio 0.3 и torchvision 0.4

14 августа 2019

Обновления: PyTorch 1.2, torchtext 0.4, torchaudio 0.3 и torchvision 0.4

Вышли обновления для библиотеки PyTorch и дополнительных библиотек для обработки текста, аудио и изображений. В PyTorch добавился модуль с трансформером, в torchaudio — новые способы трансформации и стандартизации аудиоданных, в…

Модель от FAIR для представления слов устойчива к опечаткам

12 августа 2019

Модель от FAIR для представления слов устойчива к опечаткам

Facebook AI Research опубликовали новую модель для обучения представлений слов, — MOE. Misspelling Oblivious Embeddings (MOE) комбинирует в себе модель fastText и задачу по подбору наиболее близкого слова к слову…

Как сократить размер BERT без значительной потери в точности

12 августа 2019

Как сократить размер BERT без значительной потери в точности

BERT — это одна из state-of-the-art моделей в обработке естественного языка. Несмотря на качество модели, обучение BERT является ресурсоемким как по памяти, так и по скорости обучения. Исследователи из RASA…

Нейросеть учится отвечать на открытые вопросы

28 июля 2019

Нейросеть учится отвечать на открытые вопросы

Facebook AI представили новую задачу по обработке естественного языка — ответы на открытые вопросы. Исследователи выложили в открытый доступ данные, код и результаты базовых моделей. Чтобы поспособствовать развитию умных ассистентов…

ВКонтакте опубликовали библиотеку для предобработки текстовых данных

21 июля 2019

ВКонтакте опубликовали библиотеку для предобработки текстовых данных

YouTokenToMe — это библиотека для предобработки текстовых данных. Инструмент работает в 7-10 раз быстрее аналогов для текстов на алфавитных языках и в 40-50 на иероглифических языках. Библиотека была разработана исследователями…

CoS-E: датасет для обучения нейросетей здравому смыслу

13 июля 2019

CoS-E: датасет для обучения нейросетей здравому смыслу

CoS-E — датасет, который состоит из описания обыденных случаев и объяснений к ним. Датасет собирали исследователи из Salesforce. Данные доступны по ссылке. Примеры из датасета. Единица данных состоит из вопроса,…

XLNet: новый state-of-the-art в задачах обработки естественного языка

28 июня 2019

XLNet: новый state-of-the-art в задачах обработки естественного языка

XLNet — это предобученная модель, которую можно адаптировать под любую поставленную задачу обработки текста. XLNet обходит BERT, — state-of-the-art модель, — на 20 задачах обработки естественного языка. Для 18 XLNet…

Разработанный в Disney алгоритм создаёт анимации из сценария

15 апреля 2019
scripts to animation

Разработанный в Disney алгоритм создаёт анимации из сценария

Перевод текста в анимацию сложная задача и существующие модели преобразования текста в анимацию могут работать только с простыми задачами. Исследователи из компании Disney разработали алгоритм, который позволяет преобразовывать текст в анимацию.…

Издательство Springer Nature представило первую сгенерированную книгу

15 апреля 2019
ai generated book

Издательство Springer Nature представило первую сгенерированную книгу

Академическое издательство Springer Nature представило первую книгу, созданную с помощью алгоритмов NLP. Название книги — «Литий-ионные батареи: машинно-сгенерированное краткое изложение текущих исследований». Как и указано в названии, она не является полноценной книгой…

DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

8 апреля 2019
deepmind maths challenge

DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

Исследователи из DeepMind открыли доступ к датасету математических задач и ответов к ним и проверили то, как существующие архитектуры справляются с предсказанием ответа на математическую задачу. В будущем это может…

Google Brain оптимизировали время обучения BERT с 3-х дней до 76 минут

8 апреля 2019
google brain bert ai

Google Brain оптимизировали время обучения BERT с 3-х дней до 76 минут

Команда Google Brain представила оптимайзер LAMB, способный сократить время предобучения языковой модели BERT с 3-х дней до 76 минут (вычисления проводились на TPU). Transfer learning и проблема BERT BERT (Bidirectional…

Работа с NLP-моделями Keras в браузере с TensorFlow.js

8 апреля 2019
nlp javascript

Работа с NLP-моделями Keras в браузере с TensorFlow.js

Этот туториал для тех, кто знаком с основами JavaScript и основами глубокого обучения для задач NLP (RNN, Attention). Если вы плохо разбираетесь в RNN, я рекомендую вам прочитать «Необоснованную эффективность рекуррентных…

Четыре концепции, предопределившие прорыв в NLP

22 февраля 2019
nlp concepts

Четыре концепции, предопределившие прорыв в NLP

14 февраля OpenAI выпустила новую языковую модель GPT-2 — нейросеть, которая способна генерировать логичный текст на целые страницы и выполнять другие задачи NLP. Модель оказалась настолько эффективной в задачах генерации продолжения…

OpenAI разработала NLP модель, решающую сразу несколько задач

15 февраля 2019

OpenAI разработала NLP модель, решающую сразу несколько задач

Компания OpenAI разработала языковую модель, которая способна решать несколько задач NLP. Изначально исследователи лишь пытались обучить GPT-2 генерировать реалистичное продолжение текста. Результаты настолько впечатляющие, что разработчики решили не выкладывать модель в…

Как использовать BERT для мультиклассовой классификации текста

14 февраля 2019

Как использовать BERT для мультиклассовой классификации текста

Возможно, наиболее важное событие прошедшего года в NLP — релиз BERT, мультиязычной модели на основе трансформера, которая показала state-of-the-art результаты в нескольких задачах NLP. BERT — двунаправленная модель с transformer-архитектурой, заменившая…

Искусственный интеллект IBM проиграл человеку в дебатах мирового уровня

12 февраля 2019
дебаты IBM

Искусственный интеллект IBM проиграл человеку в дебатах мирового уровня

В понедельник 11 февраля состоялись дебаты между человеком и искусственным интеллектом IBM Project Debater. Дискуссия касалась субсидирования дошкольных учреждений. IBM Debater выступал «за», а его оппонент «против». В соревновании с…

BioBERT — open source модель обработки биомедицинских текстов

6 февраля 2019
biobert-model-open-source

BioBERT — open source модель обработки биомедицинских текстов

BioBERT — это доработанная модель оригинальной BERT, натренированная для обработки медицинских текстов. Её можно применять для распознавания именованных сущностей (NER), извлечение семантических связей (RE), ответов на вопросы (QA), поиска информации и…

В Microsoft обучают ИИ понимать шутки на примере новостных заголовков

25 января 2019

В Microsoft обучают ИИ понимать шутки на примере новостных заголовков

Роберт Уэст и Эрик Хорвиц сделали компьютерную игру, которая исследует, как возникает юмор. Игра показывает, как обычная фраза становится смешной на примере новостных заголовков. Игра помогла найти лексические и смысловые…

Библиотека моделей обработки языка PyText от Facebook теперь доступна open source

18 декабря 2018

Библиотека моделей обработки языка PyText от Facebook теперь доступна open source

Команда Facebook AI Research открыла исходный код PyText — библиотеки для создания моделей обработки естественного языка. Социальная сеть ежедневно применяет модели, разработанные с помощью фреймворка, для работы с миллиардами прогнозов.…

Европейский союз — лидер по количеству научных публикаций в сфере ИИ, но Китай догоняет

12 декабря 2018

Европейский союз — лидер по количеству научных публикаций в сфере ИИ, но Китай догоняет

“Китай обгонит Европу по количеству публикаций исследовательских работ в сфере искусственного интеллекта в течение следующих четырех лет, если текущие тенденции сохранятся” — говорится в отчете аналитической компании Elsevier, опубликованном в…

Как HMTL помогает улучшить итоговую точность в задачах NLP

5 декабря 2018
многозадачное обучение hmtl

Как HMTL помогает улучшить итоговую точность в задачах NLP

Да, вы правильно прочитали, это правда HMTL — модель Hierarchical Multi-Task Learning, что дословно переводится как Иерархическое многозадачное обучение. Наблюдается нарастающая волна как в NLP, так и в целом в глубоком…