Современная электроника №6/2022

ИНЖЕНЕРНЫЕ РЕШЕНИЯ 31 WWW.SOEL.RU СОВРЕМЕННАЯ ЭЛЕКТРОНИКА ◆ № 6 2022 Рис. 2. Структура нейронной сети ческую структуру разделов паспорта и отраслевые визуализаторы. Цель работы: найти методы разреше- ния проблематикирегистрации дублей скан-копий документов, обучить ипроте- стировать свёрточнуюнейроннуюсеть. Поставленные задачи: ● найти способы обхода недостат- ков применения метода сравне- ния скан-копий документов по контрольной сумме и текстовому содержимому; ● провести анализ библиотек на язы- ке Python для найденных способов. Предпосылки работы При регистрации документов в элек- тронном архиве разные пользователи зачастую регистрируют одни и те же документы под разными именами и в разных ветках иерархии документов. Это приводит: ● к увеличению расходов на системы хранения документов; ● рассинхронизации разных копий до- кументов при обновлении их версии; ● снижению уровня доверия к элек- тронному хранилищу документов. Ещё большей проблемой является регистрация разных скан-копий одно- го и того же документа, так как с точ- ки зрения файловой системы это будут совершенно разные файлы. Основная идея Основная задача электронного архи- ва «ЭЛЬДОКа» – каталогизация и класси- фикация документов заказчика в при- вязке к модели предметной области. При этом каждый документ должен реги- стрироваться только один раз. Если воз- никает необходимость привязки того же документа к другой «ветви» или «листу» модели предметной области, то в требу- емых местах должна размещаться ссыл- ка на уже загруженный документ. Требования к регистрации скан- копий документов аналогичны требова- ниям к размещению документов в офис- ных форматах. При этом определение дублей скан-копий документов допусти- мо выполнять в асинхронном режиме, выводя пользователюрезультат поиска дублей, предоставляя право пользова- телюподтвердить схожесть скан-копий документов и самому определить место размещения первичной скан-копии. Методика работы Существует несколько вариантов решения проблемы поиска дублей скан-копий документов в архиве. 1. Поиск дублей документов посред- ством сравнения по контрольной сумме файлов. Контрольная сумма файлов — это последовательность цифр и букв, кото- рая используется для проверки дан- ных на наличие ошибок. Если заранее известна контрольная сумма исходного файла, можно использовать служебную программу контрольной суммы, чтобы подтвердить, что сравниваемый файл идентичен исходному. Чтобы получить контрольную сум- му, необходимо запустить программу, которая обработает файл с помощью алгоритма. Типичные алгоритмы, кото- рые используются для этого, включают MD5, SHA-1, SHA-256 и SHA-512. Алгоритм использует криптографи- ческую хеш-функцию, которая прини- мает входные данные и создаёт стро- ку (последовательность цифр и букв) фиксированной длины. Внутри электронного архива реа- лизован алгоритм хеширования MD5. MD5 – в настоящее время является одним из самых распространённых способов защитить информацию в сфе- ре прикладных исследований, а также в области разработки веб-приложений. Утилита md5sum, предназначенная для хеширования данных заданного файла по алгоритму MD5, возвращает строку. Она состоит из 32 цифр в шест- надцатеричной системе счисления. То есть хеш, полученный от функции, рабо- та которой основана на этом алгорит- ме, выдает строку в 16 байт (128 бит) . И эта строка включает в себя 16 шест- надцатеричных чисел. При этом изме- нение хотя бы одного её символа при- ведёт к последующему бесповоротному изменению значений всех остальных битов строки. 2. Поиск дублей скан-копий докумен- тов по схожести содержимого с по- мощью нейронных сетей. Для решения задач классификации изображений (распознавания образов) повсеместно используются свёрточ- ные нейронные сети, которые являют- ся разновидностью моделей глубоко- го обучения. Свёрточные нейронные сети обеспечивают частичную устой- чивость к изменениям масштаба, сме- щениям, поворотам, смене ракурса и прочим искажениям. В основе свёр- точной нейросети лежит Deep Learning- алгоритм, который может принимать входное изображение, присваивать важность (усваиваемые веса и смеще- ния) различным областям/объектам в изображении и может отличать одно от другого. Для достижения цели распознава- ния скан-копий и вывода ссылки на уже существующую скан-копию необходи- мо обучить нейронную сеть. Обучение свёрточной нейронной сети для классификации изображений Когда работа будет вестись с участи- ем нейронной сети, то возникает необ- ходимость сбора данных для обучения. Обучающий набор данных представ- ляет собой набор наблюдений, для которых указаны значения входных и выходных переменных. В данном случае используются наборы данных, основанных на скан-копиях проектной документации и документов заказчика. Архитектура свёрточной нейронной сети Нейронная сеть состоит из пар сло- ёв – слоёв подвыборки и слоёв свёрт- ки, каждый из которых, в свою очередь, состоит из карт признаков. Нетрудно убедиться в том, что каждая карта при- знаков в идеале фильтрует изображе- ние, находя какой-то один определён- ный, специфичный для данной карты, признак (рис. 2). Исходное изображение подаётся на входной слой. В первом слое подвыбор- ки каждая карта признаков осуществля- ет поиск определённого, закреплённо-