Алгоритмы оптимизации:
- SGD - стохастический градиентный спуск
- Adam (adaptive momentum) - адаптивный импульс
- Adadelta (adaptive learning rate)
- Adamax - вариант Adam,основанный на бесконечной норме
- LBFGS
- AdamW
- ASGD - усредненный стохастический градиентный спуск
- Nadam (Nesterov-accelerated adaptive momentum)
- RAdam
- Rprop
- RMSPROP (running mean square) - метод импульсов с поправкой Нестерова
Список параметров узла представлен в таблице ниже.
| Scroll Title |
|---|
| title-position | top |
|---|
| title-alignment | right |
|---|
| title | Параметры узла «Нейронная сеть (PyTorch)» |
|---|
|
Параметр | Возможные значения и ограничения | Описание | Группа параметров |
|---|
Название | Ручной ввод
Ограничений на значение нет | Название узла, которое будет отображаться в интерфейсе | Общие параметры | Описание | Ручной ввод
Ограничений на значение нет | Описание узла | Общие параметры | Конфигурация слоев нейросети
| Кнопка | Функция активации ReLU Функция активации CELU Функция активации Sigmoid Функция активации Softmax Линейный слой Функция активации Logsigmoid Исключение Tanh | Общие параметры | Функция потерь
| Раскрывающийся список со следующими значениями: - MAE
- MSE
- Poisson loss
- Negative log likelihood
- Cross entropy
|
| Общие параметры | Алгоритм оптимизации
| Раскрывающийся список со следующими значениями: - SGD
- Adam (по умолчанию)
- Adadelta
- Adamax
- LBFGS
- AdamW
- ASGD
- Nadam
- RAdam
- Rprop
- RMSPROP
|
| Общие параметры | Скорость обучения
| По умолчанию - 0,001 |
| Общие параметры | Количество эпох
| По умолчанию - 10 |
| Общие параметры | Размер batch
| По умолчанию - 128 |
| Общие параметры | Seed
| По умолчанию - 42 |
| Общие параметры | L2 регуляризация
| По умолчанию - 0,1 |
| Общие параметры | Доля валидационной выборки
| По умолчанию - 0,1 |
| Общие параметры |
| По умолчанию - 5 |
| Общие параметры |
| Раскрывающийся список со следующими значениями: |
| Общие параметры |
| По умолчанию - 0,0001 |
| Общие параметры | Beta1
| Ручной ввод числа с плавающей точкой По умолчанию - 0,9 | Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата | Параметры алгоритма оптимизации Adam, Adamax, AdamW | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adam, Adamax, AdamW, Nadam, RAdam. |
| Beta2 | Ручной ввод числа с плавающей точкой По умолчанию - 0,999 | Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата | Параметры алгоритма оптимизации Adam, Adamax, AdamW
| Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adam, Adamax, AdamW, Nadam, RAdam. |
| Epsilon
| Ручной ввод числа с плавающей точкой По умолчанию - 1e-8 | Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности | Параметры алгоритма оптимизации Adam, Adamax, AdamW
| Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adam, Adamax, AdamW, Nadam, RAdam. |
| Использовать алгоритм AMSGrad
| Чекбокс | Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма из статьи «Конвергенция Адама и не только» | Параметры алгоритма оптимизации AdamW| Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adam. |
| | MomentumMomentum | Ручной ввод числа с плавающей точкой По умолчанию - 0 | Данный параметр задает коэффициент импульса | Параметры алгоритма оптимизации SGD
| Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации SGD, RMSPROP. |
| Dampening
| Ручной ввод числа с плавающей точкой По умолчанию - 0 | Параметры алгоритма оптимизации| Информация |
|---|
| | Данный параметр можно задать только в случае выбранного Алгоритма оптимизации SGD.Данный параметр задает демпфирование импульсаПараметры алгоритма оптимизации SGD | | Момент Нестерова | Чекбокс | Выбор данного чекбокса включает импульс Нестерова | Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизацииSGD. | Rho
| По умолчанию - 0,9 | | Параметры алгоритма оптимизации
| Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adadelta. |
| Epsilon
| По умоланию - 1e-8 | | Параметры алгоритма оптимизации
| Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adadelta, RMSPROP. |
| Максимум итераций за шаг оптимизации
| По умолчанию - 20 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. |
| Максимум вычислений за шаг оптимизации
| По умолчанию - 1 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. |
| Tolerance grad
| По умолчанию - 0,00001 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. |
| Tolerance change
| По умолчанию - 1e-9 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. |
| Количество запоминаемых шагов оптимизации
| По умолчанию - 100 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. |
| Line search
| Список: - no (по умолчанию)
- strong wolfe
|
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS. |
| Lambda
| Ручной ввод числа с плавающей точкой По умолчанию - 0,0001 | Данный параметр задает затухание | Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации ASGD .
| Alpha
| Ручной ввод числа с плавающей точкой По умолчанию - 0,75 | Данный параметр задает мощность для обновления ETA | Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации ASGD.
| t0
| Ручной ввод числа с плавающей точкой По умолчанию - 100000 | Данный параметр задает точку, с которой начинается усреднение | Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Параметры алгоритма оптимизации | Информация |
|---|
| ASGD . | TORCH_OPTIMIZER_MOMENTUM_DECAY
| По умолчанию - 0,004 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam. |
|
| По умолчанию - 0,5 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. |
| eta plus
| По умолчанию - 1,2 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. |
| Минимальный размер шага
| По умолчанию - 0,000001 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. |
| Максимальный размер шага
| По умолчанию - 50 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop. |
| Alpha
| По умолчанию - 0,99 |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации RMSPROP. |
| Центрировать
| Кнопка |
| Параметры алгоритма оптимизации | Информация |
|---|
| Данный параметр можно задать только в случае выбранного Алгоритма оптимизации RMSPROP. |
|
|
...