Метод анализа текстов при тарифной классификации товаров в таможенном деле (Text Analysis Method for Tariff Classification Goods in Customs)

Russian Abstract: Применение искусственного интеллекта в таможенном деле является важнейшей практической сферой цифровой трансформации социально-экономических систем. В статье рассмотрена одна из частных задач данной сферы: выбор кода товара по тарифной классификации на основе деклараций, представленных на русском языке. Объектом исследования выступал стабилизатор напряжения. Анализ таможенных деклараций, выполненный человеком по ключевым словам в описании товара, показал необходимость применения методов машинного обучения.Для этого были рассмотрены 1005 таможенных деклараций, поданных по трем товарным позициям, которые расценивались как три класса в задаче классификации. Использование платформы Orange Anaconda Navigator позволило применить методы визуального проектирования для построения workflow-диаграммы решения задачи. Диаграмма включает этап предпроцессинга, на котором были построены облака слов и мешок слов, а также сформирован набор данных, столбцами которого являются леммы, а строками - отдельные декларации. С целью сокращения размерности задачи применены методы фильтрации, удаления n-грамм и стоп-слов. Полученный набор данных позволяет выбрать лучший классификатор по показателям точности, специфичности, чувствительности, а также с помощью матрицы ошибок и AUC-кривой. Использованы обучающая и тестовая выборки, а также кросс-валидация. Лучшим по комплексу анализируемых показателей оказался классификатор, основанный на логистической регрессии, уравнение которой позволило определить наиболее важные леммы для решения задачи классификации.Поскольку сложность решения задачи зависит от числа идентифицируемых классов, целесообразно использовать частные классификации для небольшого числа классов, включая их в состав информационно-аналитических систем вместе с учетными системами, базами таможенных деклараций, системами «запрос - ответ» и другими