Об авторе: Максим Зацепин, директор департамента систем управления данными «БФТ-Холдинга», участник АРПП «Отечественный софт»
Большинство руководителей по опыту знают, к каким последствиям могут привести некачественные данные, накопившиеся в корпоративных системах. Например, перегрузка склада одинаковыми комплектующими – из-за того, что в ERP-системе есть несколько сущностей с незначительно отличающимися описаниями. Или потери клиентов – из-за того, что сведения о клиентах и взаимоотношениях с ними хранятся в разных системах и зачастую содержат неактуальную информацию. Недавний опрос показал, что более 70% топ-менеджеров крупных российских компаний сталкивались с финансовыми потерями по причине некачественных данных.
Минимизировать подобные риски можно за счёт внедрения методологии Data Governance (управление данными) – единых и чётких «правил игры», гарантирующих слаженное взаимодействие людей, технологий и процессов. Это комплексный стратегический подход, который закладывает в организации основы управления данными и формирует культуру осознанного использования информации.
Основные инструменты Data Governance:
- политика управления данными (документ, который определяет общие правила работы с информацией);
- стандарты качества данных (документ, который устанавливает требования к точности, полноте и актуальности данных);
- ролевая модель доступа (определяет права и обязанности сотрудников);
- единый бизнес-глоссарий (словарь терминов, общий для всех подразделений);
- каталог данных (база метаданных).
Важно понимать, что Data Governance – это не просто набор инструкций, а, скорее, философия, которая меняет подход компании к данным и затрагивает каждого сотрудника.
Для централизованного сбора, обработки, описания данных и создания единой базы знаний для бизнес-пользователей создаётся команда Data Office (Офис управления данными). В ней владелец данных (Data Owner) отвечает за реализацию политики управления данными, управляющий данных (Data Steward) – за качество данных; также есть ряд технических специалистов (Data Custodian, Data Architect, Data Engineer) со своими конкретными функциями.
При этом данные становятся рабочим инструментом для сотрудников всех уровней – от линейных специалистов до руководителей, принимающих стратегические решения.
MDM-система – надёжный технологический фундамент
Если Data Governance отвечает за то, как управлять данными, то MDM-система (Master Data Management – управление мастер-данными / основными данными) определяет, с помощью каких технологий это делать. Современная MDM-система выступает единым центром управления мастер-данными и нормативно-справочной информацией (НСИ).
Она собирает все справочные данные компании в одном месте, в автоматическом режиме следит за их качеством, актуальностью и целостностью, стандартизирует форматы, синхронизирует информацию между разными системами и обогащает её. В результате все отделы – от маркетинга и сервис-деска до закупок и логистики – работают с одними и теми же классификаторами товаров, реестрами контрагентов и справочниками услуг. Никаких разночтений и устаревших сведений: сотрудники используют качественные и актуальные данные из единого источника.
Такое решение особенно актуально для крупных организаций с распределённой филиальной структурой и разнообразным стеком тесно взаимосвязанных информационных систем: CRM, ERP, HRM, CDP и других.
Современные MDM-системы уже давно перестали быть просто справочниками. Они становятся фундаментом для построения корпоративной архитектуры данных и дальнейшего внедрения аналитических и интеллектуальных сервисов. Сегодня при выборе MDM-платформы компании обращают внимание на ряд ключевых характеристик:
- кросс-доменность – способность одинаково эффективно работать с разными доменами данных (клиенты, номенклатура, поставщики, активы);
- гибкость архитектуры, возможность кастомизации и создания новых моделей данных, справочников и бизнес-процессов без сложного кодирования с помощью low-code;
- наличие инструментов для повышения качества данных – очистка и сопоставление, валидация и дедупликация;
- применение технологии искусственного интеллекта (ИИ) – например, для автоматической нормализации входящих данных (исправления орфографических ошибок, извлечения характеристик из ненормализованных описаний, заполнения атрибутов в карточках, классификации), аналитики и прогнозирования;
- обеспечение безопасности, контролируемости и прозрачности данных – в частности, ролевая модель, четкая процедура согласования при изменении мастер-данных, аудит, контроль версионности;
- масштабируемость – способность расти вместе с бизнесом без потери производительности, поддержка распределенных инфраструктур;
- широкие интеграционные возможности – настраиваемое взаимодействие с существующим внутри организации IT-ландшафтом и внешними источниками данных;
- импортонезависимость, включение в реестр отечественного ПО – это нужно не только для соответствия системы требованиям регулятора, но и для гарантии её надёжного функционирования и поддержки на долгие годы вперёд.
Искусственный интеллект берёт на себя рутину
Data Governance задает правила, MDM-система создаёт инфраструктуру, но финальные операции контролируют конкретные специалисты – сотрудники команды Data Office.
В частности, эксперт, отвечающий за ведение справочника материально-технических ресурсов (МТР). Классическая задача эксперта – нормализация записей. В рамках нормализации эксперт приводит их к единому стандартизированному формату, проверяет на полноту, отсутствие ошибок, недостоверной информации и дубликатов. С этой целью последовательно выполняет ряд процедур:
- добавление ненормализованной записи (заполнение карточки в MDM-системе или выгрузка информации из внешнего источника);
- устранение орфографических, синтаксических, логических и других ошибок в описании;
- категоризация записи МТР по внутреннему категорийному справочнику организации, по общероссийским классификаторам, а также на основе собственного опыта;
- уточнение технических характеристик МТР в соответствии с выбранной категорией;
- обогащение информации при необходимости (поиск в каталогах производителей и других источниках);
- формирование перечня стандартизованных наименований, добавление кода по ОКПД 2 и другим классификаторам.
Процесс нормализации – один из самых трудоёмких для команды Data Office. По нашей статистике, на обработку 100 тысяч записей сотрудники тратят до 15 месяцев. А поскольку новые объекты в справочнике МТР появляются постоянно – процесс превращается для сотрудников в ежедневную рутину.
Инструмент на основе технологий искусственного интеллекта делает эту работу проще, быстрее и точнее. Например, ИИ-сервис может забирать на себя практически все задачи, которые до этого выполнял сотрудник:
- категоризацию НСИ;
- автоматизированное формирование дерева категорий и атрибутивного ряда;
- исправление ошибок;
- поиск аналогов и устранение дублей;
- извлечение значений атрибутов, обогащение атрибутов данными из внешних источников.
В результате тот же объём данных может быть обработан не за 15 месяцев, а примерно за 30 дней. При этом участие экспертов требуется только в сложных и нестандартных случаях – в частности, чтобы отслеживать параметры работы инструмента и вручную проверять небольшой объём записей, по которым система не смогла принять решение самостоятельно.
Это только один из примеров того, как ИИ помогает автоматизировать рутинные процессы, позволяя сотрудникам сосредоточиться на решении нестандартных вопросов и задач, требующих профессиональной экспертизы.
Синергия трёх уровней управления
Эффективное управление данными в крупной организации любой отрасли определяется слаженной работой всех трёх уровней:
- методология Data Governance задает правила и цели;
- MDM-решение формирует единую информационную среду и автоматизирует процессы;
- прикладные инструменты автоматизации, в том числе на основе ИИ, помогают проводить все операции с данными гораздо быстрее и с меньшим количеством ошибок по сравнению с тем, если бы это делалось бы вручную.
Проектный опыт показывает, что практически сразу после внедрения базовых принципов Data Governance и управления мастер-данными компания получает значимый измеримый результат:
- кардинальный рост качества данных;
- сокращение временны́х и финансовых затрат на обработку данных;
- увеличение скорости принятия решений;
- повышение качества отчётности, что позволяет успешнее проходить аудиты и соответствовать требованиям регуляторов.
Комплексный подход к управлению данными – не просто тренд, а обязательный элемент цифровой трансформации. Компании, которые выстраивают Data Governance, внедряют MDM-платформы и используют ИИ для автоматизации работы с данными, получают не только качественную информацию, но и реальный экономический эффект. Именно поэтому данные превращаются из ресурса, требующего затрат на хранение и поддержку, в полноценный корпоративный актив, который напрямую влияет на эффективность и конкурентоспособность бизнеса.
