Алгоритмы оптимизации:
- SGD - стохастический градиентный спуск
- Adam (adaptive momentum) - адаптивный импульс
- Adadelta (adaptive learning rate)
- Adamax - вариант Adam,основанный на бесконечной норме
- LBFGS
- AdamW
- ASGD - усредненный стохастический градиентный спуск
- Nadam (Nesterov-accelerated adaptive momentum)
- RAdam
- Rprop
- RMSPROP (running mean square) - метод импульсов с поправкой Нестерова
Список параметров узла представлен в таблице ниже.
Параметр | Возможные значения и ограничения | Описание | Группа параметров |
|---|---|---|---|
Название | Ручной ввод | Название узла, которое будет отображаться в интерфейсе | Общие параметры |
Описание | Ручной ввод | Описание узла | Общие параметры |
Конфигурация слоев нейросети | Кнопка | Функция активации ReLU Функция активации CELU Функция активации Sigmoid Функция активации Softmax Линейный слой Функция активации Logsigmoid Исключение Tanh | Общие параметры |
Функция потерь | Раскрывающийся список со следующими значениями:
| Общие параметры | |
Алгоритм оптимизации | Раскрывающийся список со следующими значениями:
| Общие параметры | |
Скорость обучения | По умолчанию - 0,001 | Общие параметры | |
Количество эпох | По умолчанию - 10 | Общие параметры | |
Размер batch | По умолчанию - 128 | Общие параметры | |
Seed | По умолчанию - 42 | Общие параметры | |
| L2 регуляризация | По умолчанию - 0,1 | Общие параметры | |
Доля валидационной выборки | По умолчанию - 0,1 | Общие параметры | |
По умолчанию - 5 | Общие параметры | ||
Раскрывающийся список со следующими значениями:
| Общие параметры | ||
По умолчанию - 0,0001 | Общие параметры | ||
Beta1 | Ручной ввод числа с плавающей точкой По умолчанию - 0,9 | Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата | Параметры алгоритма оптимизации Adam, Adamax, AdamW Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam, RAdam. |
Beta2 | Ручной ввод числа с плавающей точкой По умолчанию - 0,999 | Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата | Параметры алгоритма оптимизации Adam, Adamax, AdamW Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam, RAdam. |
Epsilon | Ручной ввод числа с плавающей точкой По умолчанию - 1e-8 | Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности | Параметры алгоритма оптимизации Adam, Adamax, AdamW Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam, RAdam. |
Использовать алгоритм AMSGrad | Чекбокс | Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма из статьи «Конвергенция Адама и не только» | Параметры алгоритма оптимизации AdamW |
| Momentum | Ручной ввод числа с плавающей точкой По умолчанию - 0 | Данный параметр задает коэффициент импульса | Параметры алгоритма оптимизации SGD Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации SGD, RMSPROP. |
Dampening | Ручной ввод числа с плавающей точкой По умолчанию - 0 | Данный параметр задает демпфирование импульса | Параметры алгоритма оптимизации SGD |
| Момент Нестерова | Чекбокс | Выбор данного чекбокса включает импульс Нестерова | Параметры алгоритма оптимизации SGD |
Rho | По умолчанию - 0,9 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adadelta. | |
Epsilon | По умоланию - 1e-8 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adadelta, RMSPROP. | |
Максимум итераций за шаг оптимизации | По умолчанию - 20 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. | |
Максимум вычислений за шаг оптимизации | По умолчанию - 1 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. | |
Tolerance grad | По умолчанию - 0,00001 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. | |
Tolerance change | По умолчанию - 1e-9 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. | |
Количество запоминаемых шагов оптимизации | По умолчанию - 100 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. | |
Line search | Список:
| Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. | |
Lambda | Ручной ввод числа с плавающей точкой По умолчанию - 0,0001 | Данный параметр задает затухание | Параметры алгоритма оптимизации ASGD |
Alpha | Ручной ввод числа с плавающей точкой По умолчанию - 0,75 | Данный параметр задает мощность для обновления ETA | Параметры алгоритма оптимизации ASGD |
t0 | Ручной ввод числа с плавающей точкой По умолчанию - 100000 | Данный параметр задает точку, с которой начинается усреднение | Параметры алгоритма оптимизации ASGD |
TORCH_OPTIMIZER_MOMENTUM_DECAY | По умолчанию - 0,004 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam. | |
По умолчанию - 0,5 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. | ||
eta plus | По умолчанию - 1,2 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. | |
Минимальный размер шага | По умолчанию - 0,000001 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. | |
Максимальный размер шага | По умолчанию - 50 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. | |
Alpha | По умолчанию - 0,99 | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации RMSPROP. | |
Центрировать | Кнопка | Параметры алгоритма оптимизации Примечание Данный параметр можно задать только в случае выбранного Алгоритма оптимизации RMSPROP. |