Работа с AI-агентами начинается с критериев качества для документов

НПФ «Будущее» получает больше 330 тысяч входящих документов в год. Около 42% из них, примерно 142 тысячи, сотрудники регистрировали вручную.

Поток собран из разных вещей: структурированные формы, обращения клиентов, запросы госорганов, судебные документы, часть из них рукописные. Даже внутри одного типа формы различались настолько, что стандартного распознавания не хватало. Поэтому архитектуру сразу строили как сочетание распознавания, правил и языковой модели. Оставался вопрос, который задаёт любой, кто запускает такую связку: какому результату агент вправе доверять сам.

Порог качества 90%: граница между автоматикой и проверкой

Фонд сначала описал процесс регистрации, затем разделил его на этапы: импорт, подготовка, распознавание, классификация, извлечение атрибутов, экспорт в систему электронного документооборота. Вводили по очереди. На отдельном тестовом стенде на каждом этапе проверяли свой набор видов документов. После теста первого этапа определили минимальный состав сотрудников, которые переходят на новый процесс. Дальше шёл непрерывный мониторинг и расширение круга регистраторов. Проект занял около года и завершён в сентябре 2025.

Граница между агентом и человеком проходит внутри этого процесса. По описанию проекта, если качество распознавания выше 90%, документ регистрируется автоматически. Ниже порога включается ручная верификация: сотрудник проверяет и исправляет атрибуты документа. Это правило конкретной системы фонда, норматива рынка за ним нет.

По данным фонда, после запуска 62% ручных операций регистрации заменила автоматическая обработка, регистрация ускорилась на 20%, а ошибки и опечатки стали реже на 80%. Восемьдесят процентов относятся к числу ошибок. Точность распознавания фонд такой цифрой не описывает.

Режим обработки: цена ошибки и уверенность системы

Фонд задал не один порог на все документы. В тендере требовали качество распознавания 90% для печатного текста и 60% для рукописного. По некоторым видам документов рукописными бывают до 70% потока. Порог привязан к тому, что приходит на вход.

Для своих документов режим можно выбрать по двум признакам: сколько стоит ошибка и насколько уверена система.

К этой логике близка рекомендация OWASP об избыточных полномочиях агента. Агенту, которому нужно читать документы, не нужны права на их изменение и удаление, а действия с высоким воздействием должны независимо проверяться и подтверждаться человеком.

Работа с AI-агентами после запуска: что считать

Фонд контролирует результат специальными отчётами по числу исправлений, которые вносит верификатор. Каждая правка сотрудника показывает, где агент ошибся, и даёт материал для анализа ошибок. По этим данным фонд планирует дообучение.

На своём потоке до запуска замерьте время регистрации и число ошибок, а после запуска считайте:

• долю документов, прошедших без правки, отдельно по каждому типу;
• число исправлений верификатора по каждому типу документа и полю;
• время регистрации и число ошибок в сравнении с замером до запуска.

Тип документа, по которому исправлений стало больше, верните на ручную проверку, пока не найдёте причину.

1. Разделите поток по типам документов Печатные и рукописные документы получают разные пороги: фонд требовал 90% для печатного текста и 60% для рукописного.
2. Задайте порог, ниже которого документ идёт сотруднику Выше порога документ проходит сам, ниже его проверяет человек.
3. Ограничьте права агента Агенту, которому нужно читать документы, не давайте права на изменение и удаление.
4. Вводите по этапам Для каждого этапа возьмите отдельный набор видов документов и проверьте его на тестовом стенде.
5. Считайте правки сотрудника по типам документов Рост числа исправлений по одному типу показывает, где порог пора пересмотреть.
6. Проверьте, не дешевле ли ручная обработка редких документов Когда документов мало, ручная регистрация может обойтись дешевле автоматизации.