Нейросеть обучается распределять документы в госучреждениях Якутии

В сентябре 2021 года в госорганах Якутии тестово заработала система классификации документов в Единой системе электронного документооборота (ЕСЭД) на основе нейронных сетей.

Проект курируют Министерство инноваций, цифрового развития и инфокоммуникационных технологий РС (Я) совместно с Республиканским центром инфокоммуникационных технологий (РЦИТ).

Итоги первого месяца обучения нейросети были представлены в Москве на Всероссийской конференции «Осенний документооборот – 2021».

— Выбирая бизнес-процесс для внедрения нейросетей, мы остановились на распределении входящих документов по исполнителям. С одной стороны, обработка входящей корреспонденции – это рутинная, однообразная работа, но в то же время определение сути вопроса в документе, и кто его решает, требует определённых знаний от специалиста и времени на изучение документа.

Кроме того, входящие документы – это неструктурированная информация, тексты в документах совершенно различного содержания, поэтому стандартные алгоритмы либо бессильны, либо должны быть чрезмерно сложны в решении задачи распределения документов. Распределение документов по отделам – с точки зрения нейронной сети – задача классификации.

В нашем случае нейронная сеть должна классифицировать входящие документы по отделам, ускоряя их прохождение до конечного исполнителя, — прокомментировал Петр Николаев, заместитель министра инноваций, цифрового развития и инфокоммуникационных технологий РС (Я).

Для обучения моделей нейросети разработчики использовали входящие документы Министерства инноваций РС(Я) и документы РЦИТ с января 2019 года. В общем получилось почти 20 000 документов с PDF-файлами, сообщает пресс-служба ведомства.

После обучения для оценки работы нейросети в РЦИТ было собрано 550 проектов поручений за сентябрь и начало октября для сравнения исполнителей, выбранных нейросетью и человеком.

В 71% случаев нейросеть смогла дать ответ, к какому отделу относится документ. Из них 58% ответов полностью совпадали с выбором человека, и еще 22% частично совпадали. 20% процентов ответов не совпадали.

Средняя точность ответов составила 76%, а полнота – 68%. Это, как полагают разработчики, связано с неравномерным распределением объема документов по отделам.

В Министерстве инноваций проанализировали результаты по 219 проектам поручений за период с 11 по 20 октября. Нейросеть выбрала исполнителей в 84% случаев.

58% ответов полностью совпадали с выбором человека, и еще 28% частично совпадали. 14% процентов ответов не совпадали. Средняя точность и полнота для министерства не рассчитана.

— Внедрение нейросети – процесс не быстрый, но уже мы видим неплохие результаты. Работа будет продолжаться в нескольких направлениях, в том числе на увеличение точности и полноты классификации, учёт реорганизаций в обучении нейросети, — говорит Николаев.