Сравнение версий

Ключ

  • Эта строка добавлена.
  • Эта строка удалена.
  • Изменено форматирование.

...

  • SGD - стохастический градиентный спуск
  • Adam (adaptive momentum) - адаптивный импульс
  • Adadelta (adaptive learning rate)
  • Adamax - вариант Adam,основанный на бесконечной норме
  • LBFGS
  • AdamW
  • ASGD - усредненный стохастический градиентный спуск
  • Nadam (Nesterov-accelerated adaptive momentum)
  • RAdam
  • Rprop
  • RMSPROP (running mean square) - метод импульсов с поправкой Нестерова

...

Scroll Title
title-positiontop
title-alignmentright
titleПараметры узла «Нейронная сеть (PyTorch)»
Данный параметр можно задать только в случае выбранного Алгоритма оптимизацииAdadelta.Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS.

Данный параметр задает максимальное число итераций за шаг оптимизации

Данный параметр можно задать только в случае выбранного Алгоритма

оптимизации LBFGS

.



LBFGS

.


LBFGS

.



Данный параметр можно задать только в случае выбранного Алгоритма

оптимизации LBFGS

.



Данный параметр можно задать только в случае выбранного Алгоритма оптимизации LBFGS.

Данный параметр задает метод линейного поиска

Параметр

Возможные значения и ограничения

Описание

Группа параметров

Название

Ручной ввод
Ограничений на значение нет

Название узла, которое будет отображаться в интерфейсе

Общие параметры

Описание

Ручной ввод
Ограничений на значение нет

Описание узла

Общие параметры

Конфигурация слоев нейросети

Кнопка

Функция активации ReLU

Функция активации CELU

Функция активации Sigmoid

Функция активации Softmax

Линейный слой

Функция активации Logsigmoid

Исключение

Tanh

Общие параметры

Функция потерь

Раскрывающийся список со следующими значениями:

  • MAE
  • MSE
  • Poisson loss
  • Negative log likelihood
  • Cross entropy


Общие параметры

Алгоритм оптимизации

Раскрывающийся список со следующими значениями:

  • SGD
  • Adam (по умолчанию)
  • Adadelta
  • Adamax
  • LBFGS
  • AdamW
  • ASGD
  • Nadam
  • RAdam
  • Rprop
  • RMSPROP


Общие параметры

Скорость обучения

По умолчанию - 0,001


Общие параметры

Количество эпох

По умолчанию - 10


Общие параметры

Размер batch

По умолчанию - 128


Общие параметры

Seed

По умолчанию - 42


Общие параметры

L2 регуляризация

По умолчанию - 0,1


Общие параметры

Доля валидационной выборки

По умолчанию - 0,1


Общие параметры

По умолчанию - 5


Общие параметры


Раскрывающийся список со следующими значениями:

  • rel
  • abs


Общие параметры

По умолчанию - 0,0001


Общие параметры

Beta1

Ручной ввод числа с плавающей точкой

По умолчанию - 0,9

Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата

Параметры алгоритма оптимизации Adam, Adamax, AdamW

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam, RAdam.

Beta2

Ручной ввод числа с плавающей точкой

По умолчанию - 0,999

Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата

Параметры алгоритма оптимизации Adam, Adamax, AdamW


Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизацииNadam, RAdam.

Epsilon

Ручной ввод числа с плавающей точкой

По умолчанию - 1e-8

Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности
Параметры алгоритма оптимизации Adam, Adamax, AdamW


Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam, RAdam.

Использовать алгоритм AMSGrad

Чекбокс

Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма из статьи «Конвергенция Адама и не только»

Параметры алгоритма оптимизации AdamW
Momentum

Ручной ввод числа с плавающей точкой

По умолчанию - 0

Данный параметр задает коэффициент импульса
Параметры алгоритма оптимизации SGD


Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации SGD, RMSPROP.

Dampening

Ручной ввод числа с плавающей точкой

По умолчанию - 0

Данный параметр задает демпфирование импульса
Параметры алгоритма оптимизации SGD
Момент НестероваЧекбоксВыбор данного чекбокса включает импульс Нестерова
Параметры алгоритма оптимизации SGD

Rho

По умолчанию - 0,9

Данный параметр задает коэффициент, используемый для вычисления скользящего среднего квадратов градиентов


Параметры алгоритма оптимизации
Информация
titleПримечание

Epsilon

По умоланию умолчанию - 1e-8

Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности

Параметры алгоритма оптимизации Adadelta


Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Adadelta, RMSPROP.

Максимум итераций за шаг оптимизации

Ручной ввод целочисленного значения

По умолчанию - 20

Параметры алгоритма оптимизации

Информация
titleПримечание

Параметры алгоритма оптимизации LBFGS



Максимум вычислений за шаг оптимизации

Ручной ввод целочисленного значения

По умолчанию - 1

Данный параметр задает максимальное число вычислений функции за шаг оптимизации

Параметры алгоритма оптимизации

Информация
titleПримечание

Tolerance grad

Ручной ввод числа с плавающей точкой

По умолчанию - 0,00001

Данный параметр задает допуск завершения при оптимальности первого порядка

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации

Параметры алгоритма оптимизации

Информация
titleПримечание

Tolerance change

Ручной ввод числа с плавающей точкой

По умолчанию - 1e-9

Данный параметр задает допуск завершения при изменении значения/параметра функции

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации

Параметры алгоритма оптимизации

Информация
titleПримечание

Количество запоминаемых шагов оптимизации

Ручной ввод целочисленного значения

По умолчанию - 100

Данный параметр задает количество запоминаемых шагов оптимизации

Параметры алгоритма оптимизации

Информация
titleПримечание

Line search

Список:

  • no (по умолчанию)
  • strong wolfe

Параметры алгоритма оптимизации

Информация
titleПримечание

Параметры алгоритма оптимизации LBFGS


Lambda

Ручной ввод числа с плавающей точкой

По умолчанию - 0,0001

Данный параметр задает затухание

Параметры алгоритма оптимизации ASGD


Alpha

Ручной ввод числа с плавающей точкой

По умолчанию - 0,75

Данный параметр задает мощность для обновления ETA

Параметры алгоритма оптимизации ASGD


t0

Ручной ввод числа с плавающей точкой

По умолчанию - 100000

Данный параметр задает точку, с которой начинается усреднение

Параметры алгоритма оптимизации ASGD

TORCH_OPTIMIZER_MOMENTUM_DECAY



По умолчанию - 0,004


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Nadam.

По умолчанию - 0,5


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop.

eta plus

По умолчанию - 1,2


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop.

Минимальный размер шага

По умолчанию - 0,000001


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop.

Максимальный размер шага

По умолчанию - 50


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации Rprop.

Alpha

По умолчанию - 0,99


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации RMSPROP.

Центрировать

Кнопка


Параметры алгоритма оптимизации

Информация
titleПримечание

Данный параметр можно задать только в случае выбранного Алгоритма оптимизации RMSPROP.

...