Датасеты

HateXplain — это датасет для обучения моделей распознавания оскорблений в тексте. Датасет собирали исследователи из Indian Institute of Technology и University of Hamburg. Датасет разрабатывали так, что бы учитывать метрики…

MeDAL — это датасет для расшифровки медицинских аббревиатур. Датасет собирали для предобучения моделей обработки естественного языка для медицинского домена. Данные опубликовали на воркшопе ClinicalNLP на конференции EMNLP. По результатам экспериментов,…

RECCON — это датасет для распознавания причины эмоций в тексте. Создатели предлагают две задачи, которые можно решать с помощью датасета: извлечение каузальных диапазонов в тексте и извлечения каузального следствия эмоции.…

Polars — это открытая библиотека для обработки массивов данных на Python. По скорости работы библиотека обходит самый популярный инструмент для работы с данными, — Pandas. Кроме того, библиотека более эффективно…

Hypersim — это датасет с фотореалистичными синтетическими изображениями интерьеров. Для каждого изображения доступны попиксельная разметка объектов и геометрия сцены. Датасет состоит из 77.4 тысяч изображений 461 сцены.  Проблема Для многих…

MoGaze — это датасет с передвижениями тела и движениями взгляда. Датасет собирали для обучения моделей предсказания действия людей. Такие модели можно использовать в роботизированных системах, тесно взаимодействующих с людьми. Ограничения…

State-of-the-art архитектуры для задач компьютерного зрения, как правило, требуют значительного количества обучающих данных. Часто сбор данных и разметка являются ресурсоемким процессом, поэтому существуют методы для пополнения данных (аугментации) синтетическими примерами…

NYU Depth V2 — это датасет для сегментации объектов на изображениях интерьера. Датасет состоит из видеопоследовательностей из разных сцен интерьера, которые были записаны в RGB и с помощью камер глубины…

Room-Across-Room (RxR) — это датасет для навигации в пространстве с помощью текстовых команд. Текстовые команды в RxR представлены на трех языках: английском, хинди и телугу. Кроме того, пути в датасете…

KILT (Knowledge Intensive Language Tasks) — это унифицированный бенчмарк для обучения моделей, которые используют знания о мире для предсказаний. KILT объединяет в себе 11 публичных датасетов, которые охватывают 5 типов…

Dynabench — это платформа для динамического сбора данных и тестирования моделей. Для сбора данных платформа задействует ресурсы ручной и автоматической разметки одновременно. Dynabench разрабатывали в FAIR. В Dynabench для оценки…

OTDD — это подход для оценки близости или расстояния между датасетами для задач классификации. OTDD основывается на транспортной задаче (optimal transport), геометрическом методе для сравнения вероятностных распределений. Подход позволяет оценить…

LaSOT — масштабный датасет для обучения и оценки моделей трекинга объектов. Датасет содержит 1.5 тысяч видеоклипов с объектами 85 разных классов. Всего в датасете более 3.87 миллионов кадров. Каждый клип…

Products-10K — это широкомасштабный датасет для распознавания продуктов. Датасет состоит из изображений потребительских товаров. Данные собирали, чтобы улучшить качество моделей для распознавания товаров на складских полках. Проблемы прошлых датасетов Распознавание…

Исследователи из Google AI опубликовали первый датасет для тестирования устойчивости моделей к шумным данным. Кроме датасета, исследователи опубликовали модель классификации для шумных данных. MentorMix обходит state-of-the-art подходы для шумных данных…

WebDataset — это открытая библиотека для PyTorch, которая упрощает работу с крупными датасетами для машинного обучения. В WebDataset датасет представляется в формате POSIX tar архивов. Библиотека напрямую использует эти архивы…

Задача open domain вопросно-ответных систем предполагает, что модель умеет отвечать на новые вопросы с помощью знаний, выученных во время обучения. Кроме того, модель должна уметь генерализовать имеющиеся знания для ответа…

CelebA-Spoof — это датасет для антиспуфинга, который состоит из 625,537 изображений 10,177 людей. Антиспуфинг лица — это методы борьбы с обманом систем по распознаванию лиц. Датасет включает в себя 43…

COCO-WholeBody — это первый датасет для оценки позы всего тела. COCO-WholeBody является расширением датасета COCO 2017 с теми же разбивками на тренировочную и валидационную выборки, как в COCO. Для каждого…

WordCraft — это среда для тестирования общих знаний о мире у RL-агентов. Среда основывается на видеоигре Little Alchemy 2. Особенности WordCraft заключаются в ее легковесности и в том, что она…

REVISE — инструмент для оценки смещений в датасетах с изображениями. REVISE позволяет пользователю учесть неравномерность данных и оценить, насколько уместно использовать тот или иной датасет в рамках целевой задачи. Инструмент…