Архитектура

Модуль представляет собой тонкий клиент (thin client) с веб-интерфейсом.
В основу серверной части (Backend) Модуля заложена микросервисная архитектура.

На рисунке приведена целевая функциональная архитектура Модуля.

Функциональная архитектура Модуля

Основными компонентами архитектуры являются:

• Интерфейс пользователя (Frontend/Backend). Выделяются следующие подкомпоненты пользовательского интерфейса:
  • Исследование данных (Data Discovery) — пользовательский интерфейс для выбора исследуемых данных и их последующего интерактивного анализа. В текущей версии Модуля обеспечивается поддержка следующих операций:
    • выбор источника данных и формирования выборки;
    • визуализация выборки или ее части;
    • профилирование данных и оценка выборки по основным статистическим критериям;
    • отбор и преобразование признаков;
    • тестирование статистических гипотез о виде распределения непрерывных и дискретных наблюдений.
  • Построение моделей машинного обучения (Model Designer) — пользовательский интерфейс, позволяющий пользователю в графическом режиме в виде последовательности шагов (pipeline) построить модели машинного обучения, провести оценки точности моделей и сохранить модели в репозитории для дальнейшего использования. В текущей версии Модуля обеспечивается поддержка следующих функций:
    • отбор и преобразование признаков;
    • разделение выборки на обучающую, валидационную и проверочную;
    • построение моделей машинного обучения различными методами;
    • автоподбор гиперпараметров модели;
    • кросс-валидация;
    • тестирование моделей;
    • интерпретация моделей;
    • скоринг и оценка качества моделей — расчет, табличная и графическая визуализация различных характеристик модели;
    • выбор лучшей модели по заданному критерию;
    • возможность переобучения моделей при появлении новых данных;
    • сохранение и регистрация моделей в репозитории.
  • Управление жизненным циклом моделей (Model Manager) — интерфейс пользователя для управления репозиторием моделей. Позволяет публиковать модели для применения в пакетном режиме или режиме сервиса, а также настраивать процессы согласования моделей. В текущей версии Модуля обеспечивается поддержка следующих операций:
    • ведение единого репозитория и версионности моделей;
    • публикация моделей для применения в пакетном режиме — формирование скрипта для применения модели на данных в БД;
    • публикация моделей в качестве сервиса;
    • публикация моделей из репозитория в среду Polymatica;
    • сравнение моделей и выбор лучшей;
    • снятие моделей с публикации;
  • Управление решениями (Decision Manager) – интерфейс пользователя для создания цепочек решений. В текущей версии Модуля обеспечивается поддержка следующих функций:
    • Построение цепочек решений в графическом интерфейсе с возможностью комбинирования моделей ИИ и экспертных правил;
    • Создание экспертных правил в графическом режиме;
    • Тестирование цепочек решений.
• Сервис управления метаданными (Metadata Rep. Svc.) — компонент отвечает за хранение и управление внутренними метаданными модуля, такими как параметры подключения к источникам данных, проекты по построению моделей, параметры для публикации моделей и т.д. Остальные компоненты решения используют сервис управления метаданными для сохранения, чтения, изменения внутренних метаданных.
• Сервис управления безопасностью (Security Svc.) — компонент отвечает за управление правами доступа, интеграцию с каталогами пользователей (Open LDAP, MS ActiveDirectory), аутентификацию и авторизацию пользователей.
• Сервис по доступу к источникам данных (Data Access Svc.) — данный компонент отвечает за доступ к различным источникам и получение из них данных.
• Сервис по генерации и запуску вычислений (Code Generation and Execution Svc.) — данный компонент предназначен для перевода команд в выполняемый код на языке Python. В решении предполагается механизм регистрации различных библиотек Python (scikit-learn и др.), содержащих алгоритмы машинного обучения. При работе с данными в компоненте Data Discovery, а также при создании проекта и построении моделей в компоненте Model Designer — выполняется генерация кода Python в соответствии с заданными настройками.
• Сервис по управлению и публикации моделей (Model Repository Svc.) — компонент содержит процедуры, необходимые для управления жизненным циклом моделей — ведение реестра моделей, процессы согласования, процессы публикации.
• Сервис(ы) исполнения моделей (Model Execution Svc.) — это сервис(ы) исполнения моделей, т.е. каждая опубликованная модель — это исполняемый сервис.