Know Your Data — инструмент Google для изучения и анализа датасетов. Приложение нацелено на поиск некорректных аннотаций и несбалансированных классов данных.
Know Your Data — приложение с графическим интерфейсом, позволяющее наглядно изучить и проверить датасет. На данный момент инструмент работает только с изображениями. С помощью Know Your Data можно получить ответы на следующие вопросы:
- Повреждены ли данные? (Как изображения, так и аннотации)
- Содержится ли в данных нежелательный контент? (Например, есть ли на изображениях лица конкретных людей, запрещенный контент и т. д.)
- Содержатся ли в данных пробелы?
- Сбалансирован ли набор данных по различным атрибутам?
Одной из ключевых особенностей Know Your Data является то, что она позволяет пользователям изучать датасет по информации, которая изначально отсутствовала в нем. KYD аннотирует существующие данные дополнительной информацией. Для этого используются модели машинного обучения, такие как Cloud Vision labels, Cloud Vision face detection и общие показатели качества изображения (например, резкость и яркость). Помимо этого, Know Your Data обладает набором функций для составления интерактивных дашбордов со статистикой и фильтрами в реальном времени.
В данный момент Know Your Data находится в стадии бета-тестирования. Для получения доступа необходимо записаться в лист ожидания.
