fbpx
  • Lucid: как интерпретировать результаты нейросети

    Разработчики TensorFlow опубликовали Lucid, коллекцию инструментов для исследования интерпретируемости нейросетевых моделей. Все доступные методы интерпретации представлены в формате Jupyter ноутбуков. В текущей версии Lucid не поддерживает TensorFlow 2.0. К каждому ноутбуку идет обзорная статья, которая описывает отдельные методы интерпретации нейросетей.

    Тьюториалы в готовых ноутбуках

    Формат ноутбуков позволяет визуализировать работу нейросети без дополнительной установки библиотек. Исследователи использовали инструмент от Google для публикации тьюториалов, — Colaboratory. Все вычисления в Colaboratory проходят в облаке. Использование инструмента не требует никакой дополнительной установки. Помимо этого, ноутбуки можно тестировать на локальной машине. Чтобы сделать это, достаточно клонировать оригинальный репозиторий Lucid. Тьюториалы расположены в отдельной папке.

    С чего начать 

    В Lucid есть два вводных тьюториала: введение в функционал Lucid и в функционал Modelzoo. Modelzoo — это агрегатор открытых имплементаций моделей. Его API упрощает тестирование различных архитектур.

    Визуализация признаков

    Для визуализации признаков доступны такие методы, как:

    • Негативные нейроны: для проверки того, как устроено пространство скрытых представлений, которые выучивает нейросеть;
    • Визуализация разнообразия: чтобы понять, каково разнообразие признаков, которые активируют нейроны;
    • Взаимодействия нейронов: для исследования, как нейроны объединяются и взаимодействуют;
    • Регуляризация визуализации признаков 

    Визуализация работы нейросети

    Чтобы визуализировать работу нейросети, можно воспользоваться следующими методами:

    • Семантические словари: активации нейронов комбинируются с визуализацией признаков, чтобы понять, какие нейроны отвечают за какие признаки;
    • Сетки активации (activation grids), чтобы исследовать, как нейросеть интерпретировала каждую из позиций в пространстве входных данных;
    • Группы нейронов: как нейроны группируются, чтобы представить представить объекты на изображении

    Дифференцируемая параметризация изображения

    Lucid позволяет делать перенос стиля для 2D и 3D объектов внутри ноутбуков.

    Исследование функций активации

    Чтобы исследовать, как работают активации, в Lucid есть функционал для отрисовки атласов активации, атласов активации отдельных классов, сбора активаций и проведения высокоуровневых состязательных атак.