DoWhy — это библиотека для поиска причинно-следственных связей от Microsoft.
Сложности поиска причинно-следственных связей
Текущие методы поиска связей в данных представляют упрощенную версию каузального объяснения. Большинство моделей, которые пытаются искать причины в данных, опираются на эмпирический анализ. Чистый причинный вывод (causal inference) опирается на контрфактуальный анализ, который более близок к тому, как люди принимают решения.
Причинный вывод зависит от предсказания объектов, которые модель ранее не наблюдала. Это провоцирует фундаментальную проблему, которая заключается в том, что нельзя объективно оценить алгоритмы причинного вывода с помощью тестовой выборки. Проблема накладывает ограничения на процесс генерации данных. Традиционные методы машинного обучения закрывают глаза на фундаментальную проблему, что приводит к ограниченной обобщающей способности таких моделей.
Подробнее про библиотеку
Целевая задача моделируется как каузальный граф так, что бы все допущения были явно заданы. DoWhy предоставляет унифицированный интерфейс для популярных методах причинного вывода. Библиотека комбинирует два крупных фреймворка: графовые модели и потенциальные результаты (potential outcomes). DoWhy позволяет тестировать валидность допущений, если это возможно, и оценивает устойчивость предсказаний.
В DoWhy распознавание каузального эффекта и его оценка разделяются на две отдельные части. DoWhy моделирует проблему причинного вывода в воркфлоу, который состоит из четырех шагов: моделирование, распознавание, оценка и опровержение.
Подробнее про различие каждого из шагов можно прочитать в оригинальной статье.
