TF Lattice — это библиотека для обучения и интерпретации ML-моделей. Библиотека позволяет включать в модель доменные знания о данных.
ML исследователи сталкиваются с ситуацией, когда тестовые данные значительно отличаются от тренировочных данных. В результате комплексные ML-модели или нейросети выдают неожиданные предсказания для данных, которые не похожи на те, на которых они обучались. Регуляризаторы в модели частично помогают с проблемой неожиданных предсказаний. Однако они не гарантируют стабильность модели на всем множестве входных тестовых данных. Переход на более простые модели, в свою очередь, влечет за собой потерю в точности. TF Lattice позволяет использовать комплексные модели и дает возможность внедрять в модель знания о предметной области данных. Знания внедряют в модель во время процесса обучения с помощью семантически значимые или определенные через политики ограничения.
Одним из примеров является ограничение, что выход модели должен монотонно возрастать относительно входным данным. Дополнительные детали о том, как должны быть распределены выходные данные модели, помогают модели выучивать связи, выходящие за рамки тех, что есть в обучающей выборке.
Что внутри библиотеки
TensorFlow Lattice помогает обучать модели с вручную заданными ограничениями и затем их интерпретировать. Lattice — это таблица, которая аппроксимирует любые взаимосвязи между входными и выходными данными.
В библиотеке есть несколько типов ограничений, которые можно включить в модель во время обучения:
- Монотонность: можно уточнить, должны ли выходные данные модели монотонно возрастать или убывать относительно входных данных;
- Выпуклость и вогнутость функции;
- Унимодальность функции;
- Парное доверие: один входной признак семантически отражает уверенность в другом признаке. Например, большее количество отзывов у ресторана делает его рейтинг более приближенным к реальному;
Парная доминация: модель должна интерпретировать один признак как более важный, чем другой признак
