fbpx
  • TensorFlow Lattice: библиотека для интерпретации ML-алгоритмов

    TF Lattice — это библиотека для обучения и интерпретации ML-моделей. Библиотека позволяет включать в модель доменные знания о данных.

    ML исследователи сталкиваются с ситуацией, когда тестовые данные значительно отличаются от тренировочных данных. В результате комплексные ML-модели или нейросети выдают неожиданные предсказания для данных, которые не похожи на те, на которых они обучались. Регуляризаторы в модели частично помогают с проблемой неожиданных предсказаний. Однако они не гарантируют стабильность модели на всем множестве входных тестовых данных. Переход на более простые модели, в свою очередь, влечет за собой потерю в точности. TF Lattice позволяет использовать комплексные модели и дает возможность внедрять в модель знания о предметной области данных. Знания внедряют в модель во время процесса обучения с помощью семантически значимые или определенные через политики ограничения. 

    Одним из примеров является ограничение, что выход модели должен монотонно возрастать относительно входным данным. Дополнительные детали о том, как должны быть распределены выходные данные модели, помогают модели выучивать связи, выходящие за рамки тех, что есть в обучающей выборке.

    Что внутри библиотеки

    TensorFlow Lattice помогает обучать модели с вручную заданными ограничениями и затем их интерпретировать. Lattice — это таблица, которая аппроксимирует любые взаимосвязи между входными и выходными данными.

    В библиотеке есть несколько типов ограничений, которые можно включить в модель во время обучения:

    • Монотонность: можно уточнить, должны ли выходные данные модели монотонно возрастать или убывать относительно входных данных;
    • Выпуклость и вогнутость функции;
    • Унимодальность функции;
    • Парное доверие: один входной признак семантически отражает уверенность в другом признаке. Например, большее количество отзывов у ресторана делает его рейтинг более приближенным к реальному;

    Парная доминация: модель должна интерпретировать один признак как более важный, чем другой признак