Функции активации:
- Функция активации ReLU
- Функция активации CELU
- Функция активации Sigmoid
- Функция активации Softmax
- Линейный слой
- Функция активации Logsigmoid
- Исключение
- Tanh
Алгоритмы оптимизации:
- SGD - стохастический градиентный спуск
- Adam (adaptive momentum) - адаптивный импульс
- Adadelta (adaptive learning rate) - метод адаптивной скорости обучения
- Adamax - вариант Adam,основанный на бесконечной норме
- LBFGS
- AdamW
- ASGD - усредненный стохастический градиентный спуск
- Nadam (Nesterov-accelerated adaptive momentum)
- RAdam
- Rprop - устойчивый алгоритм обратного распространения
- RMSPROP (running mean square) - метод импульсов с поправкой Нестерова
Список параметров узла представлен в таблице ниже.
Параметр | Возможные значения и ограничения | Описание | Группа параметров |
---|---|---|---|
Название | Ручной ввод | Название узла, которое будет отображаться в интерфейсе | Общие параметры |
Описание | Ручной ввод | Описание узла | Общие параметры |
Конфигурация слоев нейросети | Кнопка | Функция активации ReLU Функция активации CELU Функция активации Sigmoid Функция активации Softmax Линейный слой Функция активации Logsigmoid Исключение Tanh | Общие параметры |
Функция потерь | Раскрывающийся список со следующими значениями:
| Общие параметры | |
Алгоритм оптимизации | Раскрывающийся список со следующими значениями:
| Общие параметры | |
Скорость обучения | По умолчанию - 0,001 | Общие параметры | |
Количество эпох | По умолчанию - 10 | Общие параметры | |
Размер batch | По умолчанию - 128 | Общие параметры | |
Seed | По умолчанию - 42 | Общие параметры | |
L2 регуляризация | По умолчанию - 0,1 | Общие параметры | |
Доля валидационной выборки | По умолчанию - 0,1 | Общие параметры | |
По умолчанию - 5 | Общие параметры | ||
Раскрывающийся список со следующими значениями:
| Общие параметры | ||
По умолчанию - 0,0001 | Общие параметры | ||
Beta1 | Ручной ввод числа с плавающей точкой По умолчанию - 0,9 | Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата | Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam |
Beta2 | Ручной ввод числа с плавающей точкой По умолчанию - 0,999 | Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата | Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam |
Epsilon | Ручной ввод числа с плавающей точкой По умолчанию - 1e-8 | Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности | Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam |
Использовать алгоритм AMSGrad | Чекбокс | Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма из статьи «Конвергенция Адама и не только» | Параметры алгоритма оптимизации AdamW |
Momentum | Ручной ввод числа с плавающей точкой По умолчанию - 0 | Данный параметр задает коэффициент импульса | Параметры алгоритма оптимизации SGD, RMSProp |
Dampening | Ручной ввод числа с плавающей точкой По умолчанию - 0 | Данный параметр задает демпфирование импульса | Параметры алгоритма оптимизации SGD |
Момент Нестерова | Чекбокс | Выбор данного чекбокса включает импульс Нестерова | Параметры алгоритма оптимизации SGD |
Rho | По умолчанию - 0,9 | Данный параметр задает коэффициент, используемый для вычисления скользящего среднего квадратов градиентов | Параметры алгоритма оптимизации Adadelta |
Epsilon | По умолчанию - 1e-8 | Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности | Параметры алгоритма оптимизации Adadelta, RMSProp |
Максимум итераций за шаг оптимизации | Ручной ввод целочисленного значения По умолчанию - 20 | Данный параметр задает максимальное число итераций за шаг оптимизации | Параметры алгоритма оптимизации LBFGS |
Максимум вычислений за шаг оптимизации | Ручной ввод целочисленного значения По умолчанию - 1 | Данный параметр задает максимальное число вычислений функции за шаг оптимизации | Параметры алгоритма оптимизации LBFGS |
Tolerance grad | Ручной ввод числа с плавающей точкой По умолчанию - 0,00001 | Данный параметр задает допуск завершения при оптимальности первого порядка | Параметры алгоритма оптимизации LBFGS |
Tolerance change | Ручной ввод числа с плавающей точкой По умолчанию - 1e-9 | Данный параметр задает допуск завершения при изменении значения/параметра функции | Параметры алгоритма оптимизации LBFGS |
Количество запоминаемых шагов оптимизации | Ручной ввод целочисленного значения По умолчанию - 100 | Данный параметр задает количество запоминаемых шагов оптимизации | Параметры алгоритма оптимизации LBFGS |
Line search | Список:
| Данный параметр задает метод линейного поиска | Параметры алгоритма оптимизации LBFGS |
Lambda | Ручной ввод числа с плавающей точкой По умолчанию - 0,0001 | Данный параметр задает затухание | Параметры алгоритма оптимизации ASGD |
Alpha | Ручной ввод числа с плавающей точкой По умолчанию - 0,75 | Данный параметр задает мощность для обновления ETA | Параметры алгоритма оптимизации ASGD |
t0 | Ручной ввод числа с плавающей точкой По умолчанию - 100000 | Данный параметр задает точку, с которой начинается усреднение | Параметры алгоритма оптимизации ASGD |
TORCH_OPTIMIZER_MOMENTUM_DECAY | По умолчанию - 0,004 | momentum decay | Параметры алгоритма оптимизации Nadam |
eta minus | По умолчанию - 0,5 | Данный параметр задает мультипликативный коэффициент уменьшения | Параметры алгоритма оптимизации Rprop |
eta plus | По умолчанию - 1,2 | Данный параметр задает мультипликативный коэффициент увеличения | Параметры алгоритма оптимизации Rprop |
Минимальный размер шага | По умолчанию - 0,000001 | Данный параметр задает минимальный размер шага | Параметры алгоритма оптимизации Rprop |
Максимальный размер шага | По умолчанию - 50 | Данный параметр задает максимальный размер шага | Параметры алгоритма оптимизации Rprop |
Alpha | По умолчанию - 0,99 | Данный параметр задает константу сглаживания | Параметры алгоритма оптимизации RMSProp |
Центрировать | Чекбокс | Выбор данного чекбокса указывает, что необходимо вычислить центрированный RMSProp, градиент которого нормализуется по оценке его дисперсии | Параметры алгоритма оптимизации RMSProp |