Google AI представила бенчмарк для графовых нейросетей GraphWorld. Бенчмарк использует несколько миллионов синтетических датасетов, воспроизводящих широкий класс графов, и генерирует обобщенную оценку нейросети на основе ее тестирования на всех датасетах.
Графовые нейронные сети (GNN) – мощные модели машинного обучения для графов, которые используют присущие им связи для включения контекста в прогнозы относительно элементов внутри графа или графа в целом. Они эффективно используются для поиска новых лекарств, доказательства теорем, обнаружения дезинформации и многих других задач.
Всплеск интереса к GNN в течение последнего десятилетия привел к появлению тысяч вариантов GNN. Однако методам и датасетам для оценки GNN уделяется гораздо меньше внимания. Во многих статьях о GNN повторно используются одни и те же 5-10 эталонных датасетов, большинство из которых построены из легко маркируемых академических сетей цитирования и датасетов молекул. Это означает, что производительность новых вариантов GNN может быть проверена только для ограниченного класса графов.
В то время как эталонные наборы данных GNN, представленные в литературе, представляют собой всего лишь отдельные типы графов, GraphWorld напрямую генерирует все их многообразие, используя вероятностные модели, тестирует модели GNN на каждом из типов и извлекает из результатов обобщенные результаты.
Для запуска GraphWorld пользователь конфигурирует параметризованный генератор датасетов и загружает файлы моделей, которые хочет протестировать. GraphWorld инициализирует процессы, каждый из которых моделирует новый граф с различными свойствами и тестирует на нем все предоставленные модели. Затем метрики от каждого процесса агрегируются и предоставляются пользователю.
