Для оценки качества модели необходимо:

  1. Выбрать наименование интересующей Версии модели в Репозитории.

  2. Во вкладке Настройки публикации нажать на кнопку Добавить и в выпадающем списке выбрать пункт Оценка характеристик. 

    Создание публикации типа Оценка
  3. В открывшемся окне Создание экземпляра во вкладке Параметры задать следующие настройки:
    • Наименование.
    • Подключение — указать подключение, в котором находится необходимый для скоринга набор данных.
    • input_table_name — название входного набора данных.
    • Подключение — указать подключение, в которое необходимо положить результаты скоринга.
    • output_table_name — название выходного набора данных.
    • Уровень логирования — какие события добавлять в лог (All, Debug, Info, Warn, Error, Fatal, Off).
    • Максимальное количество ядер.
    • Максимальное количество оперативной памяти (в Мб).
    • Pre score — функция предобработки (при необходимости).
    • Post score — функция постобработки (при необходимости).

    • Целевая переменная — переменная в исходном наборе данных, относительно которой будет рассчитываться оценка.

      Задание параметра Целевая переменная зависит от решаемой задачи.

      Для задачи регрессии: Для единственной выходной переменной необходимо выбрать Тип метрики = interval.

      Пример задания Целевой переменной для задачи регрессии

      Для задачи бинарной классификации: Для двух переменных с префиксом P_ необходимо выбрать Тип метрики = binary_prob (т.к. они отражают вероятность принадлежности наблюдения к классу), для переменной с префиксом C_ необходимо выбрать Тип метрики = nominal_class (т.к. она отражает принадлежность к одному из классов).

      Пример задания Целевой переменной для задачи бинарной классификации

      Для задачи многоклассовой классификации: Для всех переменных (количество совпадает с количеством классов) с префиксом P_ необходимо выбрать Тип метрики = nominal_prob (т.к. они отражают вероятность принадлежности наблюдения к классу), для переменной с префиксом C_ необходимо выбрать Тип метрики = nominal_class (т.к. она отражает принадлежность к одному из классов).

      Пример задания Целевой переменной для задачи многоклассовой классификации

      Окно Создание экзепляра

  4. Задать имена переменным во вкладке Мэппинг.

    Значения столбца Имя переменной мэппинга для входных переменных должно совпадать с наименованием соответствующего столбца в таблице. Для выходных переменных можно оставить определенное системой имя.

    Задание мэппинга переменных
  5. Сохранить изменения.
  6. После успешной сборки модели (иконка в столбце Статус) выбрать меню и в выпадающем списке выбрать пункт Запустить оценку метрик.

  7. Публикация появится в разделе Публикации боковой панели компонента Управление моделями и решениями (MM). После завершения оценки публикация пропадет из раздела Публикации. С результатами расчетов Пользователь может ознакомиться в во вкладке Характеристики модели.

Результаты расчета оценки модели

Запуск оценки характеристик модели можно поставить на расписание. Для этого необходимо:

  • Рядом с интересующей публикацией в меню выбрать пункт Настроить расписание.
  • Выбрать Добавить Правило.
  • В открывшемся окне Настройка расписания задать:
    • Название, которое далее будет отображаться в системе.
    • Выбрать дату и время первого запуска.
    • Настроить повторение (период — ежедневно, еженедельно, ежемесячно и время повторного запуска).
    • Окончание расписания (Всегда запускать/Число выполнений (указать число запусков)/Дата окончания (указать последнюю дату запуска)).
    • Сохранить настройки.
  • Нет меток