Почему AI выдаёт юристу судебные решения, которых нет

Спор был скучный: одна компания требовала оплату бухгалтерских услуг, вторая, «ЦСС», пыталась оспорить взыскание. У ответчика был довод, за который стоило держаться: акт, подписанный с ценой, отличной от договора, сам по себе не доказывает, что стороны согласовали новую цену. Довод надо было подкрепить практикой, и юрист подкрепил: в кассационной жалобе появились реквизиты судебных актов и прямые цитаты из них.

Жалобу подписал представитель и подал в Арбитражный суд Западно-Сибирского округа. На этом шаге документ перестал быть черновиком.

Что суд нашёл в ссылках на практику

Потом суд открыл дела по этим ссылкам.

Несоответствий оказалось четыре вида, и каждое ловится отдельной проверкой.

В заседании представитель компании подтвердил, что приведённой практики не существует. Новый представитель просил ошибочные ссылки во внимание не принимать. Это не помогло: суд назначил отдельное рассмотрение и оштрафовал компанию на 50 000 рублей за неуважение к суду. Штраф получило юридическое лицо, участвующее в деле, хотя подписывал жалобу человек.

Главная строка определения звучит так: подготовка документа с помощью ИИ не оправдывает недостоверность его содержания. Ответственность осталась там, где была до всякой автоматизации.

Как юристу проверить судебные ссылки AI

Порядок ниже собран из того, на чём именно сломалась жалоба. Это предложение читателю. Своего исправленного процесса компания после штрафа не описывала.

1. Найдите сам документ. По совокупности реквизитов: суд, номер дела, дата, инстанция. Совпадения одного номера мало, номера повторяются между судами и годами.
2. Сверьте реквизиты между собой. В жалобе номер вёл в другое дело и в другой год, и этого хватило бы, чтобы остановиться.
3. Прочитайте обстоятельства дела целиком. Решение по делу А75-8937/2020 существует, только спор там о страховом возмещении.
4. Сопоставьте прямую цитату с полным текстом. Самая дорогая проверка: акт настоящий, реквизиты верные, а приписанного суждения в нём нет.

Соблазнительно отдать эту сверку второй модели. В Принстонском университете собрали агента, который именно это и делает: выделяет реквизиты, цитаты и тезисы, ищет каждый документ, читает и ставит статус «проверено», «ошибка» или «не установлено». На тестовой части из 390 фрагментов он находил 82,8% подброшенных ошибок, но точность его находок была 47,6%: почти половина сигналов оказывалась ложной тревогой.

Интереснее другая строка того же исследования. Существование дела агент проверяет хорошо, а вот неверную страницу внутри реально существующего решения он поймал только в 18,2% случаев. Самую дорогую проверку из списка выше автомат пока не закрывает.

Коротко

1. Разделите черновик и правовую оценку Модель вытаскивает текст и собирает каркас, вывод делает юрист.
2. Каждую ссылку открывайте в первоисточнике Суд, номер дела, дата и инстанция сверяются вместе, не по одному номеру.
3. Читайте обстоятельства дела целиком Акт может существовать и относиться к другому спору.
4. Сопоставляйте цитату с полным текстом акта Это проверка, которую автомат пока закрывает хуже всего.
5. Не объявляйте ссылку выдуманной сразу Сначала поищите документ в другой базе и в картотеке суда.
6. Держите приёмку на себе В деле отвечает участник, а не инструмент, которым готовили документ.

Возьмите последний документ, который ваш отдел готовил с помощью AI, и проверьте в нём каждую ссылку по четырём пунктам выше. Если хотя бы одна не прошла проверку, дело не в модели: у вас нет шага приёмки. Собрать такой шаг можно самостоятельно, а можно записаться на консультацию.