FiftyOne является наиболее удобным способом работы с изображениями из Open Images – крупнейшего датасета от Google, широко используемого в технологиях компьютерного зрения. Функционал инструмента включает выбор изображений определенного типа для загрузки, выявление закономерностей в данных и визуализацию их векторных представлений.
Open Images – огромный датасет с более чем 9 миллионами изображений, 80 миллионами меток и 600 классами, и поэтому его прямое использование является затруднительным. Существует множество инструментов для облегчения процесса загрузки определенных изображений датасета, но каждый из них имеет серьезные недостатки, такие как отсутствие поддержки сегментации, отсутствие возможностей визуализации и невозможность указать формат файлов. FiftyOne дает возможность прецизионно настроить параметры изображений для загрузки, экспортировать их в десятки различных форматов, визуализировать их и даже оценивать эффективность моделей машинного обучения.
Интеграция Open Images с FiftyOne позволяет выбрать, сколько и каких изображений нужно загрузить, с помощью большого количества фильтров, позволяющих указать их конкретные классы и атрибуты. Это позволяет составить отдельный датасет для каждой модели без необходимости загружать все изображения Open Images или анализировать необработанные метки файлов.
Некоторые из них:
- label_types: тип меток загружаемых изображений. Возможные значения: «detections», «classifications», «relationships», и «segmentations»;
- classes: классы загружаемых изображений (например, «man», «dog», «cat»);
- max_samples: максимальное количество изображений для импорта;
- shuffle: случайным образом меняет порядок скачивания изображений.
В FiftyOne есть возможность экспорта датасетов в десятки различных форматов (такие, как COCO, Pascal VOC, CVAT, YOLO и TFRecords), что позволяет легко интегрировать их в существующие рабочие процессы. Также в FiftyOne присутствует визуализация данных и набор алгоритмов для оценки эффективности моделей. В частности, можно построить распределение изображений в низкоразмерном пространстве, что позволит быстро выявлять закономерности, кластеры и аномалии в данных (см. рис). Такой способ анализа особенно полезен для датасетов типа Open Images, содержащих автоматически размеченные данные: визуализация и интерактивный анализ в векторном пространстве позволяет быстро определить, какие метки проставлены неправильно и требуют перепроверки.
