Разработчики TensorFlow опубликовали Lucid, коллекцию инструментов для исследования интерпретируемости нейросетевых моделей. Все доступные методы интерпретации представлены в формате Jupyter ноутбуков. В текущей версии Lucid не поддерживает TensorFlow 2.0. К каждому ноутбуку идет обзорная статья, которая описывает отдельные методы интерпретации нейросетей.
Тьюториалы в готовых ноутбуках
Формат ноутбуков позволяет визуализировать работу нейросети без дополнительной установки библиотек. Исследователи использовали инструмент от Google для публикации тьюториалов, — Colaboratory. Все вычисления в Colaboratory проходят в облаке. Использование инструмента не требует никакой дополнительной установки. Помимо этого, ноутбуки можно тестировать на локальной машине. Чтобы сделать это, достаточно клонировать оригинальный репозиторий Lucid. Тьюториалы расположены в отдельной папке.
С чего начать
В Lucid есть два вводных тьюториала: введение в функционал Lucid и в функционал Modelzoo. Modelzoo — это агрегатор открытых имплементаций моделей. Его API упрощает тестирование различных архитектур.
Визуализация признаков
Для визуализации признаков доступны такие методы, как:
- Негативные нейроны: для проверки того, как устроено пространство скрытых представлений, которые выучивает нейросеть;
- Визуализация разнообразия: чтобы понять, каково разнообразие признаков, которые активируют нейроны;
- Взаимодействия нейронов: для исследования, как нейроны объединяются и взаимодействуют;
- Регуляризация визуализации признаков
Визуализация работы нейросети
Чтобы визуализировать работу нейросети, можно воспользоваться следующими методами:
- Семантические словари: активации нейронов комбинируются с визуализацией признаков, чтобы понять, какие нейроны отвечают за какие признаки;
- Сетки активации (activation grids), чтобы исследовать, как нейросеть интерпретировала каждую из позиций в пространстве входных данных;
- Группы нейронов: как нейроны группируются, чтобы представить представить объекты на изображении
Дифференцируемая параметризация изображения
Lucid позволяет делать перенос стиля для 2D и 3D объектов внутри ноутбуков.
Исследование функций активации
Чтобы исследовать, как работают активации, в Lucid есть функционал для отрисовки атласов активации, атласов активации отдельных классов, сбора активаций и проведения высокоуровневых состязательных атак.
