Google представила StylEx — инструмент для выделения атрибутов модели, влияющих на классификаторы изображений. StylEx позволяет объяснить процесс принятия решения классификатором и находить ошибки в моделях.
Определение того, какие признаки на изображении заставляют модель определять, что объект относится к одному классу, а не к другому, является одной из ключевых проблем в области нейронных сетей. Объяснение процесса принятия решений является важным в задачах анализа медицинских изображений и беспилотного вождения, а также для выявления ошибок в моделях.
Существующие подходы к решению данной проблемы такие, такие как карты внимания (Grad-CAM), показывают, какие области изображения влияют на классификацию, но они не объясняют, какие атрибуты в этих областях определяют результат классификации, например, их цвет или форма. Другое семейство методов обеспечивает объяснение путем плавного преобразования изображения между различными классами (например, GANalyze). Однако эти методы, как правило, изменяют все атрибуты одновременно, что затрудняет выделение отдельных атрибутов.
StylEx автоматически обнаруживает и визуализирует атрибуты, влияющие на классификатор. Это позволяет исследовать влияние отдельных атрибутов, манипулируя этими атрибутами по отдельности. StylEx применим к широкому спектру областей, включая классификацию животных, растений и лиц людей. StylEx находит атрибуты, которые согласуются с семантическими атрибутами и хорошо интерпретируются для конкретных моделей.
Например, чтобы понять принципы работы классификатора собак и кошек, Stylex может визуализировать, как манипулирование каждым атрибутом влияет на выходной результат классификатора. Так, из рисунка выше можно сделать следующие выводы: «у собак рот открыт чаще, чем у кошек” (атрибут 4), “глаза кошек более узкие” (атрибут 5), “уши кошек торчат чаще, чем у собак” (атрибут 1) и так далее.
