Параметр
Возможные значения и ограничения
Описание
Группа параметров Название
Ручной ввод Ограничений на значение нет
Название узла, которое будет отображаться в интерфейсе
Общие параметры
Описание
Ручной ввод Ограничений на значение нет
Описание узла
Общие параметры
Конфигурация слоев нейросети
Кнопка При выборе данной кнопки откроется окно Конфигурация слоев нейросети , где можно задавать слои, количество нейронов в слоях и функции активации для каждого узла. Для этого необходимо выбрать кнопку Добавить и в появившемся списке выбрать необходимую функцию активации и настроить параметры. Предусмотрены:
Функция активации ReLU (Rectified Linear Unit) – Функция активации CELU – LaTeX Unitbody f(x)=max(0,x)+min(0,\alpha*(exp(x/\alpha)-1))
Дополнительно необходимо задать
Функция активации ELU – LaTeX Unitbody --uriencoded--f(x) = \left \%7B \begin%7Barray%7D%7Brcl%7D \alpha*(exp(x) -1) & \mbox%7Bfor%7D & x \le 0\\ x & \mbox%7Bfor%7D & x > 0\end%7Barray%7D \right.
Дополнительно необходимо задать
Функция активации Sigmoid – LaTeX Unitbody --uriencoded--\sigma(x) = \frac%7B1%7D %7B1 + e%5e%7B-x%7D%7D
Функция активации Softmax – LaTeX Unitbody --uriencoded--\sigma(x_i) = \frac%7Be%5e%7Bx_%7Bi%7D%7D%7D%7B\sum_%7Bj=1%7D%5eK e%5e%7Bx_%7Bj%7D%7D%7D \ \ \ for\ i=1,2,\dots,K
Линейный слой – линейная функция, результат пропорционален переданному аргументу Дополнительно необходимо задать Количество выходных переменных и при необходимости выбрать чекбокс Добавить константу
Функция активации Logsigmoid – LaTeX Unitbody --uriencoded--LogSigmoid(x) = log(\frac%7B1%7D %7B1 + e%5e%7B-x%7D%7D)
Исключение (Dropout) – Во время обучения случайным образом обнуляет некоторые элементы входного тензора с вероятностью , используя выборки из распределения Бернулли.Дополнительно необходимо задать Вероятность исключения
Tanh – функция гиперболического тангенса LaTeX Unitbody --uriencoded--f(x) = tanh(x) = \frac%7Be%5ex - e%5e%7B-x%7D%7D%7Be%5ex + e%5e%7B-x%7D%7D = \frac%7B1 - e%5e%7B-2x%7D%7D%7B1 + e%5e%7B-2x%7D%7D
После настройки необходимой конфигурации слоев нейросети выбрать кнопку Сохранить .
Общие параметры Функция потерь
Раскрывающийся список со следующими значениями:
MAE MSE Poisson loss Negative log likelihood Cross entropy Данный параметр задает функцию потерь. Предусмотрены:
MAE (средняя абсолютная ошибка)MSE (среднеквадратическая ошибка)Poisson loss Negative log likelihood (отрицательное логарифмическое правдоподобие)Cross entropy (перекрестная энтропия)Общие параметры
Алгоритм оптимизации
Раскрывающийся список со следующими значениями:
SGD Adam (по умолчанию) Adadelta Adamax LBFGS AdamW ASGD NAdam RAdam Rprop RMSprop Данный параметр задает метод оптимизации, который будет использоваться для обновления весов нейронов скрытых слоев нейронной сети. Предусмотрены следующие методы:
SGD – стохастический градиентный спускAdam (adaptive momentum) – адаптивный импульсAdadelta (adaptive learning rate) – метод адаптивной скорости обученияAdamax – вариант Adam,основанный на бесконечной нормеLBFGS (limited-memory BFGS) AdamW ASGD – усредненный стохастический градиентный спускNadam (Nesterov-accelerated adaptive momentum) RAdam Rprop – устойчивый алгоритм обратного распространенияRMSPROP (running mean square) Общие параметры
Скорость обучения
Ручной ввод
По умолчанию - 0,001
Данный параметр задает скорость обучения, которая управляет размером шага при обновлении весов.
Общие параметры
Количество эпох
Ручной ввод
По умолчанию - 10
Данный параметр задает сколько раз алгоритм обучения будет обрабатывать весь набор обучающих данных.
Общие параметры
Размер пакета
Ручной ввод
По умолчанию - 128
Данный параметр определяет количество выборок, которые необходимо обработать перед обновлением параметров модели.
Общие параметры
Seed
Ручной ввод
По умолчанию - 42
Начальное числовое значение для генератора случайных чисел.
Используется для воспроизведения результатов при повторном запуске узла.
Общие параметры
L2 регуляризация Ручной ввод
По умолчанию - 0,1
Данный параметр задает значение L2-регуляризации
Общие параметры
Доля валидационной выборки
Ручной ввод
По умолчанию - 0,1
Данный параметр задает долю валидационной выборки, которая будет отобрана из исходной тестовой Общие параметрыTORCH_EARLY_STOPPING_ROUNDS
Количество итераций без существенного улучшения
Ручной ввод
По умолчанию - 5
Данный параметр задает задает количество эпох без существенного улучшения, после которых скорость обучения будет снижена.
Пример: если значение параметра = 2, то первые 2 эпохи будут проигнорированы, и только после 3-й эпохи скорость обучения уменьшится.
Общие параметры
TORCH_EARLY_STOPPING_THERSHOLD_MODE
Раскрывающийся список со следующими значениями:
Данный параметр...
Предусмотрены:
rel - dynamic_threshold = best * ( 1 - threshold ) abs - dynamic_threshold = best - threshold Общие параметры
TORCH_EARLY_STOPPING_THERSHOLD Порог погрешности
Ручной ввод
По умолчанию - 0,0001
Данный параметр задает порог расчета нового оптимума
Общие параметры
Стандартизация
Раскрывающийся список со следующими значениями:
no std (по умолчанию) range Данные параметр отвечает за выбор метода стандартизации числовых переменных.
Стандартизация – преобразование числовых наблюдений с целью приведения их к некоторой общей шкале. Необходимость стандартизации вызвана тем, что разные признаки из обучающего набора могут быть представлены в разных масштабах и изменяться в разных диапазонах, что влияет на выявление некорректных зависимостей моделью.Предусмотрены следующие методы:
Предусмотрены следующие методы:
no — стандартизация не нужнаstd — стандартное отклонение - преобразует наблюдения таким образом, чтобы их среднее значение равнялось нулю, а стандартное отклонение равнялось 1.range — диапазон - линейно преобразует значения переменных в диапазон [0, 1]. Общие параметры
Beta1
Ручной ввод числа с плавающей точкой
По умолчанию - 0,9
Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата
Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam
Beta2
Ручной ввод числа с плавающей точкой
По умолчанию - 0,999
Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата
Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam
Epsilon
Ручной ввод числа с плавающей точкой
По умолчанию - 1e-8
Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности
Minimal decay applied to lr. If the difference between new and old lr is smaller than eps, the update is ignored. Default: 1e-8.
Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam
Использовать алгоритм AMSGrad
Чекбокс
Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма из статьи «Конвергенция Адама и не только»
Параметры алгоритма оптимизации Adam , AdamW
Momentum Ручной ввод числа с плавающей точкой
По умолчанию - 0
Данный параметр задает коэффициент импульса
Параметры алгоритма оптимизации SGD, RMSProp
Dampening
Ручной ввод числа с плавающей точкой
По умолчанию - 0
Данный параметр задает демпфирование импульса Параметры алгоритма оптимизации SGD
Момент Нестерова Чекбокс Выбор данного чекбокса включает импульс Нестерова Параметры алгоритма оптимизации SGD
Rho
Ручной ввод
По умолчанию - 0,9
Данный параметр задает
коэффициент, используемый для вычисления скользящего среднего квадратов градиентов
Параметры алгоритма оптимизации Adadelta
Epsilon
По умолчанию - 1e-8
Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности
Параметры алгоритма оптимизации Adadelta, RMSProp
Максимум итераций за шаг оптимизации
Ручной ввод целочисленного значения
По умолчанию - 20
Данный параметр задает максимальное число итераций за шаг оптимизации
Параметры алгоритма оптимизации LBFGS
Максимум вычислений за шаг оптимизации
Ручной ввод целочисленного значения
По умолчанию - 1
Данный параметр задает максимальное число вычислений функции за шаг оптимизации
Параметры алгоритма оптимизации LBFGS
Tolerance grad
Ручной ввод числа с плавающей точкой
По умолчанию - 0,00001
Данный параметр задает допуск завершения при оптимальности первого порядка
Параметры алгоритма оптимизации LBFGS
Tolerance change
Ручной ввод числа с плавающей точкой
По умолчанию - 1e-9
Данный параметр задает допуск завершения при изменении значения/параметра функции
Параметры алгоритма оптимизации LBFGS
Количество запоминаемых шагов оптимизации
Ручной ввод целочисленного значения
По умолчанию - 100
Данный параметр задает количество запоминаемых шагов оптимизации
Параметры алгоритма оптимизации LBFGS
Line search
Список:
no (по умолчанию) strong wolfe Данный параметр задает метод линейного поиска
Параметры алгоритма оптимизации LBFGS
Lambda
Ручной ввод числа с плавающей точкой
По умолчанию - 0,0001
Данный параметр задает затухание
Параметры алгоритма оптимизации ASGD
Alpha
Ручной ввод числа с плавающей точкой
По умолчанию - 0,75
Данный параметр задает мощность для обновления ETA
Параметры алгоритма оптимизации
ASGD
t0
Ручной ввод числа с плавающей точкой
По умолчанию - 100000
Данный параметр задает точку, с которой начинается усреднение
Параметры алгоритма оптимизации ASGD
TORCH_OPTIMIZER_MOMENTUM_DECAY
Ручной ввод
По умолчанию - 0,004
momentum decay
Параметры алгоритма оптимизации Nadam
eta minus
Ручной ввод
По умолчанию - 0,5
Данный параметр задает мультипликативный коэффициент уменьшения Параметры алгоритма оптимизации Rprop
eta plus
Ручной ввод
По умолчанию - 1,2
Данный параметр задает мультипликативный коэффициент увеличения
Параметры алгоритма оптимизации Rprop
Минимальный размер шага
Ручной ввод
По умолчанию - 0,000001
Данный параметр задает минимальный размер шага Параметры алгоритма оптимизации Rprop
Максимальный размер шага
Ручной ввод
По умолчанию - 50
Данный параметр задает максимальный размер шага
Параметры алгоритма оптимизации Rprop
Alpha
Ручной ввод
По умолчанию - 0,99
Данный параметр задает константу сглаживания
Параметры алгоритма оптимизации RMSProp
Центрировать
Чекбокс
Выбор данного чекбокса указывает, что необходимо вычислить центрированный RMSProp, градиент которого нормализуется по оценке его дисперсии
Параметры алгоритма оптимизации RMSProp