IDP в ритейле: как автоматизировать обработку документов и снизить затраты

Интеллектуальная обработка документов (IDP, Intelligent Document Processing) позволяет автоматизировать этот контур. В отличие от классического OCR, который распознает текст, IDP классифицирует документы, извлекает необходимые атрибуты, анализирует содержание и передает структурированные данные в бизнес-процессы.

Для ритейла это особенно актуально из-за большого документарного потока, разнообразия поставщиков и постоянного появления документов, которые не укладываются в заранее заданный шаблон.

Что такое IDP и чем он отличается от OCR

OCR (Optical Character Recognition) — технология оптического распознавания символов. Ее задача — преобразовать изображение или скан документа в текст.

OCR отвечает на вопрос: «Что написано в документе?»

IDP решает более широкую задачу: «Что это за документ, какая информация в нем важна и что с ней нужно сделать?»

Типовой контур интеллектуальной обработки документов включает несколько этапов:

1. получение документа из ЭДО, электронной почты, сканера, папки или информационной системы;
2. OCR-распознавание текста;
3. классификация документа;
4. извлечение реквизитов и других атрибутов;
5. анализ содержания и контекста;
6. проверка полученных данных;
7. передача структурированной информации в ERP, 1С или другую систему;
8. запуск следующего этапа бизнес-процесса.

Таким образом, OCR является одним из компонентов IDP, а не полной системой автоматизации обработки документов.

Почему ЭДО не устраняет ручную обработку документов

Электронный документооборот решает задачу доставки документа между участниками процесса, но не обязательно автоматизирует работу с его содержанием.

Например, после получения электронного документа сотруднику может потребоваться:

• определить его тип;
• проверить реквизиты;
• перенести данные в учетную систему;
• проверить табличную часть;
• сопоставить документ с другими документами;
• найти существенные условия договора;
• принять решение по спорным данным.

Поэтому переход на ЭДО не означает автоматического перехода к полностью цифровому процессу. Между поступлением документа и его использованием в бизнес-процессе остается слой интеллектуальной обработки.

Какие документы можно автоматизировать в ритейле

Наиболее распространенные направления автоматизации связаны с финансовыми, бухгалтерскими, кадровыми, закупочными и логистическими документами.

Бухгалтерские документы

К ним относятся:

• УПД;
• счета-фактуры;
• товарные накладные;
• другие документы первичного учета.

Такие документы часто имеют относительно стабильную структуру, поэтому их удобно использовать для первых проектов автоматизации.

Договоры и документы свободной формы

Более сложная задача — обработка договоров, справок, писем и других неструктурированных документов.

Здесь может потребоваться не только извлечение реквизитов, но и поиск конкретных условий. Например, для договора могут иметь значение параметры, необходимые финансовому контролю или юридической функции.

Кадровые документы

В крупных розничных компаниях значительный поток связан с кадровыми операциями: заявлениями, справками, документами, удостоверяющими личность, и другими формами.

Автоматизация позволяет извлекать данные из таких документов и передавать их дальше по кадровому процессу.

Документы закупок и логистики

Еще одна группа — документы поставщиков, тендерная документация, уставные документы, транспортные и логистические документы.

Таким образом, применение IDP не ограничивается бухгалтерией: технология может использоваться в разных подразделениях, если работа с документами является массовой и повторяющейся.

Почему классический OCR плохо работает со сложными документами

Классическое распознавание хорошо подходит для документов, в которых заранее известны структура и набор реквизитов.

Проблемы начинаются, когда документ:

• имеет свободную форму;
• отличается от других документов того же типа;
• содержит сложные таблицы;
• включает большое количество условий;
• содержит информацию, которую невозможно определить только по расположению текста.

В таком случае недостаточно найти отдельные реквизиты. Нужно понять контекст.

Например, в договоре важными могут быть не только номер, дата и реквизиты сторон, но и конкретные существенные условия. В практическом проекте крупной розничной компании именно обработка контекста позволила расширить автоматизацию на договоры и другие неструктурированные документы.

Как LLM помогает обрабатывать неструктурированные документы

Большие языковые модели (LLM) позволяют анализировать распознанный текст с учетом контекста.

Это особенно полезно, когда заранее невозможно описать все варианты расположения нужной информации.

При обработке документа LLM может использоваться для:

• извлечения заданных атрибутов;
• поиска условий в тексте;
• анализа содержания;
• структурирования информации;
• формирования краткого содержания документа;
• работы с неструктурированными документами.

Важное преимущество такого подхода — возможность быстрее запускать обработку новых типов документов, для которых еще нет большого массива размеченных данных.

При этом LLM не обязательно должна полностью заменять ML-модели. Для стабильных и массовых типов документов специализированные модели машинного обучения могут оставаться эффективным инструментом.

ML или LLM: какой подход использовать

Универсального ответа нет. Выбор зависит от типа документов, объема данных и требований к процессу.

ML-модели подходят, когда:

• документы достаточно типовые;
• накоплен большой датасет;
• требуется стабильная обработка;
• процесс уже хорошо изучен.

LLM может быть полезна, когда:

• документы неструктурированы;
• формы сильно различаются;
• требуется учитывать контекст;
• необходимо быстро запустить новый сценарий.

На практике возможен гибридный подход: сначала использовать LLM для быстрого запуска процесса, а затем, по мере накопления данных, обучать специализированные модели для отдельных типов документов. Такой сценарий был описан и в практическом опыте, представленном на вебинаре.

Зачем нужен человек в процессе автоматической обработки документов

Автоматизация документов не обязательно означает полное исключение человека.

В ряде процессов стоимость ошибки может быть высокой. Кроме того, встречаются документы плохого качества, нестандартные подписи и другие ситуации, в которых автоматическая обработка не дает достаточной уверенности.

Поэтому используется подход Human-in-the-Loop — человек подключается только там, где автоматической системе требуется подтверждение.

Например, можно установить порог уверенности:

• высокая уверенность — документ проходит автоматически;
• низкая уверенность — спорный реквизит отправляется сотруднику;
• сотрудник подтверждает или исправляет данные;
• после проверки процесс продолжается автоматически.

Такой подход позволяет одновременно снижать ручную нагрузку и сохранять контроль над критичными операциями. В описанном практическом кейсе порог уверенности можно было менять в зависимости от процесса и суммы операции.

Как оценить эффект от автоматизации обработки документов

Чтобы понять экономический эффект IDP, недостаточно измерять только точность распознавания.

До запуска проекта стоит зафиксировать базовые показатели:

• количество документов;
• время обработки одного документа;
• количество ручных операций;
• численность сотрудников, занятых обработкой;
• долю документов, отправляемых на повторную проверку;
• количество ошибок;
• стоимость обработки документа.

Затем выбирается ограниченный процесс и запускается пилот. После этого показатели сравниваются с исходными.

Особенно подходящими для автоматизации считаются процессы, в которых одновременно присутствуют большой объем документов, повторяемые операции и высокая доля ручного труда. Такой алгоритм выбора процесса и измерения KPI был описан участниками практического кейса.

Кейс автоматизации документов в крупной розничной компании

Крупная российская розничная компания начала автоматизацию с бухгалтерской первички. До проекта используемая система могла извлекать ограниченное количество реквизитов, поэтому сотрудникам по-прежнему приходилось визуально проверять документы и переносить часть данных вручную.

На первом этапе в автоматизацию попали стандартизированные документы — УПД и счета-фактуры. Целью было сократить объем рутинных операций и передать максимальную часть транзакционной работы автоматизированным системам.

На старте обрабатывалось около 60 документов в месяц. После внедрения было зафиксировано снижение затрат на процессы до 40%. Полученный опыт позволил определить оптимальную долю автоматической обработки и человеческой верификации, а затем перейти к масштабированию.

Следующим этапом стали документы свободной формы и договоры. Для них классического извлечения реквизитов было недостаточно: требовалось анализировать содержание и существенные условия.

На выборке из 3500 договоров была получена заявленная точность распознавания 97%. Извлеченные данные передавались в структурированном виде в дальнейший процесс, где автоматизированные системы выполняли необходимые действия в учетных системах.

Этот пример показывает типичную логику масштабирования IDP: сначала автоматизируется хорошо структурированный и массовый процесс, затем в контур включаются более сложные документы.

Как масштабировать IDP в ритейле

После успешного пилота автоматизацию можно расширять по нескольким направлениям:

1. Новые типы документов.
От первичной бухгалтерской документации — к договорам, кадровым, закупочным и логистическим документам.

2. Новые атрибуты.
Сначала система извлекает базовые реквизиты, затем набор данных расширяется под конкретные бизнес-задачи.

3. Новые бизнес-правила.
Извлеченные данные начинают использоваться не только для заполнения учетной системы, но и для принятия решений.

4. Новые интеграции.
Обработка связывается с ERP, 1С, роботами и другими корпоративными системами.

5. Новые подразделения.
После успешного проекта в одном процессе технологический подход можно распространять на другие функции компании.

Такой поэтапный подход снижает риски масштабного внедрения и позволяет подтверждать экономический эффект на каждом этапе.

Что дает интеллектуальная обработка документов бизнесу

Главный результат IDP — не само распознавание текста. Экономический эффект возникает тогда, когда извлеченная информация используется дальше без повторного ручного ввода.

В результате компания может:

• сократить объем ручной обработки;
• ускорить прохождение документов;
• уменьшить количество операций по переносу данных;
• автоматизировать работу с неструктурированными документами;
• подключать сотрудников только к исключениям;
• передавать данные непосредственно в корпоративные системы;
• масштабировать автоматизацию на новые процессы.

Поэтому интеллектуальную обработку документов правильнее рассматривать не как замену OCR, а как следующий уровень автоматизации документарных процессов.

FAQ: интеллектуальная обработка документов

Что такое IDP?

IDP (Intelligent Document Processing) — интеллектуальная обработка документов, которая объединяет распознавание текста, классификацию документов, извлечение данных, анализ содержания и передачу результатов в бизнес-процессы.

Чем IDP отличается от OCR?

OCR распознает текст на изображении или в документе. IDP дополнительно определяет тип документа, извлекает необходимые атрибуты, анализирует содержание и использует полученные данные в бизнес-процессе.

Можно ли использовать IDP для договоров?

Да. Договоры относятся к более сложным и часто неструктурированным документам. Для их обработки может потребоваться анализ контекста и извлечение не только реквизитов, но и существенных условий.

Нужен ли человек при автоматической обработке документов?

Не всегда. В зависимости от уровня уверенности системы документ или отдельный реквизит может обрабатываться автоматически либо направляться сотруднику на проверку. Такой подход позволяет сохранить контроль над критичными операциями.

Что лучше для обработки документов: ML или LLM?

Это зависит от задачи. ML хорошо подходит для стабильных типов документов с накопленным датасетом, а LLM — для неструктурированных документов и сценариев, где важен контекст. На практике эти подходы могут использоваться совместно.

С чего начать автоматизацию документов в ритейле?

Оптимально выбрать массовый и повторяющийся процесс с высокой долей ручного труда, зафиксировать исходные KPI, провести небольшой пилот и сравнить показатели до и после автоматизации.

Вывод

Для ритейла автоматизация обработки документов постепенно переходит от задачи распознавания отдельных реквизитов к работе с содержанием документа и его контекстом.

OCR остается базовым технологическим уровнем, ML помогает автоматизировать стабильные типы документов, а LLM расширяет возможности обработки неструктурированной информации. При этом человек сохраняет контроль над исключениями и операциями с высокой ценой ошибки.

Наиболее эффективная стратегия — не пытаться автоматизировать весь документарный поток сразу. Практичнее начать с одного массового процесса, измерить эффект, определить оптимальное соотношение автоматической обработки и человеческой верификации и затем последовательно масштабировать решение на новые типы документов и подразделения.