Для оценки качества модели необходимо:
- Выбрать наименование интересующей Версии модели в Репозитории.
Во вкладке Настройки публикации нажать на кнопку Добавить и в выпадающем списке выбрать пункт
СервисОценка характеристик.
Scroll Title title-alignment center title Создание публикации типа Оценка - В открывшемся окне Создание экземпляра во вкладке Параметры задать следующие настройки:
- Наименование.
- Подключение — указать подключение, в котором находится необходимый для скоринга набор данных.
- input_table_name — название входного набора данных.
- Подключение — указать подключение, в которое необходимо положить результаты скоринга.
- output_table_name — название выходного набора данных.
- Уровень логирования — какие события добавлять в лог (All, Debug, Info, Warn, Error, Fatal, Off).
- Количество реплик. Название эндпоинта (заглавными латинскими буквами без пробелов)
- Максимальное количество ядер.
- Максимальное количество оперативной памяти (в Мб).
- Pre score — функция предобработки (при необходимости).
- Post score — функция постобработки (при необходимости).
Целевая переменная — переменная в исходном наборе данных, относительно которой будет рассчитываться оценка.
Информация Задание параметра Целевая переменная зависит от решаемой задачи.
Для задачи регрессии: Для единственной выходной переменной необходимо выбрать Тип метрики = interval.
Scroll Title title-alignment center title Пример задания Целевой переменной для задачи регрессии Для задачи бинарной классификации: Для двух переменных с префиксом P_ необходимо выбрать Тип метрики = binary_prob (т.к. они отражают вероятность принадлежности наблюдения к классу), для переменной с префиксом C_ необходимо выбрать Тип метрики = nominal_class (т.к. она отражает принадлежность к одному из классов).
Scroll Title title-alignment center title Пример задания Целевой переменной для задачи бинарной классификации Для задачи многоклассовой классификации: Для всех переменных (количество совпадает с количеством классов) с префиксом P_ необходимо выбрать Тип метрики = nominal_prob (т.к. они отражают вероятность принадлежности наблюдения к классу), для переменной с префиксом C_ необходимо выбрать Тип метрики = nominal_class (т.
- При необходимости поправить Имя переменной мэппинга во вкладке Мэппинг.
к. она отражает принадлежность к одному из классов).
Scroll Title title-alignment center title Пример задания Целевой переменной для задачи многоклассовой классификации Scroll Title title-alignment center title Окно Создание экзепляра
Задать имена переменным во вкладке Мэппинг.
Информация Значения столбца Имя переменной мэппинга для входных переменных должно совпадать с наименованием соответствующего столбца в таблице. Для выходных переменных можно оставить определенное системой имя.
Scroll Title title-alignment center title Задание мэппинга переменных - Сохранить изменения.
- После успешной сборки модели (иконка в в столбце Статус) выбрать меню и в выпадающем списке выбрать пункт Запустить сервисоценку метрик.
- Опубликованный сервис
Публикация появится в разделе Публикации боковой панели компонента Управление моделями и решениями (MM).
После изменения статуса публикации на Работает (иконка) выбрать меню и в выпадающем списке выбрать пункт Перейти к сервисуПосле завершения оценки публикация пропадет из раздела Публикации. С результатами расчетов Пользователь может ознакомиться в во вкладке Характеристики модели.
Scroll Title | ||||
---|---|---|---|---|
| ||||
Запуск оценки характеристик модели можно поставить на расписание. Для этого необходимо:
- Рядом с интересующей публикацией в меню выбрать пункт Настроить расписание.
- Выбрать Добавить Правило.
- В открывшемся окне Настройка расписания задать:
- Название, которое далее будет отображаться в системе.
- Выбрать дату и время первого запуска.
- Настроить повторение (период — ежедневно, еженедельно, ежемесячно и время повторного запуска).
- Окончание расписания (Всегда запускать/Число выполнений (указать число запусков)/Дата окончания (указать последнюю дату запуска)).
- Сохранить настройки.