TensorFlow Lattice: библиотека для интерпретации ML-алгоритмов

TF Lattice — это библиотека для обучения и интерпретации ML-моделей. Библиотека позволяет включать в модель доменные знания о данных.

ML исследователи сталкиваются с ситуацией, когда тестовые данные значительно отличаются от тренировочных данных. В результате комплексные ML-модели или нейросети выдают неожиданные предсказания для данных, которые не похожи на те, на которых они обучались. Регуляризаторы в модели частично помогают с проблемой неожиданных предсказаний. Однако они не гарантируют стабильность модели на всем множестве входных тестовых данных. Переход на более простые модели, в свою очередь, влечет за собой потерю в точности. TF Lattice позволяет использовать комплексные модели и дает возможность внедрять в модель знания о предметной области данных. Знания внедряют в модель во время процесса обучения с помощью семантически значимые или определенные через политики ограничения. 

Одним из примеров является ограничение, что выход модели должен монотонно возрастать относительно входным данным. Дополнительные детали о том, как должны быть распределены выходные данные модели, помогают модели выучивать связи, выходящие за рамки тех, что есть в обучающей выборке.

Что внутри библиотеки

TensorFlow Lattice помогает обучать модели с вручную заданными ограничениями и затем их интерпретировать. Lattice — это таблица, которая аппроксимирует любые взаимосвязи между входными и выходными данными.

В библиотеке есть несколько типов ограничений, которые можно включить в модель во время обучения:

  • Монотонность: можно уточнить, должны ли выходные данные модели монотонно возрастать или убывать относительно входных данных;
  • Выпуклость и вогнутость функции;
  • Унимодальность функции;
  • Парное доверие: один входной признак семантически отражает уверенность в другом признаке. Например, большее количество отзывов у ресторана делает его рейтинг более приближенным к реальному;

Парная доминация: модель должна интерпретировать один признак как более важный, чем другой признак

Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt