Разработчики FractalGPT запустили QA-агента FractalGPT для работы с документами, который позволяет использовать в диалогах загруженные пользователями PDF, TXT и DOCX файлы.
Ключевые особенности FractalGPT QA:
- Обработка документов любой длины, без типичного ограничения контекста большинства LLM;
- В продукте применяется собственный алгоритм Fractal Answer Synthesis, который создает сложную внутреннюю структуру документа на своем языке, что значительно снижает процент галлюцинаций и повышает точность ответов (результаты ниже);
- Собственный векторный поиск: работает с юридическими, научные статьми, туториалами, товарными позициями, понимая термины, определения и жаргон.
Система впервые построена на базе мультиагентной архитектуры (именно поэтому продукт называется “агентом”) — разработчики ушли от традиционных классификаторов, ранжировщиков и подхода с оркестраторами. Вместо них система включает в себя агентов, которые “договариваются” между собой, обеспечивая автоматическое извлечение знаний для полных и точных ответов и автоматически перенаправляя вопрос пользователя в нужный документ, даже если в базе знаний хранится несколько похожих его версий.
Разработчикам удалось преодолеть важные негативные аспекты RAG (Retrieval-Augmented Generation) за счет ухода от типичного разбиения документов на сниппеты (абзацы текста) и использования собственного векторного поиска — в результате надежность ответов возросла на 70%.
Результаты
Метод RAG на базе построения структуры документа с Fractal answer synthesis уменьшает прирост галлюцинаниций на 18 процентных пунктов на сложных текстах — регламентах, инструкциях, нормативно-правовых актах, конструкторской документации:
Внутренние тесты показали, что качество ответов по сложным тематикам, таким как лекции, конструкторская документация, научные публикации, законы и нормативно-правовые акты в среднем в 30% случаев (по данным внутренних тестов) превосходит в том числе и решение от OpenAi, которое американская компания запустила на DevDay 6го ноября. При этом система стабильно отказывается от ответа тогда, когда данных для него в исходном тексте документа недостаточно, или когда вопрос, задаваемый пользователем неполный или некорректный. В частности, в демонстрации система правильно понимала уточнения вопроса в случае, когда в тексте было несколько разделов с возможным правильным ответом.
Несмотря на существенный прогресс в качестве ответов у FractalGPT QA агента по-прежнему есть ограничения — не гарантируется правильная работа с табличными данными, формулами и вопросами по ним.
Этот текст — пресс-релиз компании FractalGPT.
