Сравнение версий

Ключ

  • Эта строка добавлена.
  • Эта строка удалена.
  • Изменено форматирование.

...

Scroll Title
title-positiontop
title-alignmentright
titleПараметры узла «Нейронная сеть (PyTorch)»

Параметр

Возможные значения и ограничения

Описание

Группа параметров

Название

Ручной ввод
Ограничений на значение нет

Название узла, которое будет отображаться в интерфейсе

Общие параметры

Описание

Ручной ввод
Ограничений на значение нет

Описание узла

Общие параметры

Конфигурация слоев нейросети

Кнопка

При выборе данной кнопки откроется окно Конфигурация слоев нейросети, где можно задавать слои, количество нейронов в слоях и функции активации для каждого узла. Для этого необходимо выбрать кнопку Добавить и в появившемся списке выбрать необходимую функцию активации и настроить параметры. Предусмотрены:

  • Функция активации ReLU (Rectified Linear Unit)  
    LaTeX Unit
    bodyf(x) = max(0, x)
  • Функция активации CELU – 
    LaTeX Unit
    bodyf(x)=max(0,x)+min(0,\alpha*(exp(x/\alpha)-1))

Дополнительно необходимо задать 

LaTeX Unit
body\alpha

  • Функция активации ELU – 
    LaTeX Unit
    body--uriencoded--f(x) = \left \%7B \begin%7Barray%7D%7Brcl%7D \alpha*(exp(x) -1) & \mbox%7Bfor%7D & x \le 0\\ x & \mbox%7Bfor%7D & x > 0\end%7Barray%7D \right.

Дополнительно необходимо задать 

LaTeX Unit
body\alpha

  • Функция активации Sigmoid
    LaTeX Unit
    body--uriencoded--\sigma(x) = \frac%7B1%7D %7B1 + e%5e%7B-x%7D%7D
  • Функция активации Softmax 
    LaTeX Unit
    body--uriencoded--\sigma(x_i) = \frac%7Be%5e%7Bx_%7Bi%7D%7D%7D%7B\sum_%7Bj=1%7D%5eK e%5e%7Bx_%7Bj%7D%7D%7D \ \ \ for\ i=1,2,\dots,K
  • Линейный слой линейная функция, результат пропорционален переданному аргументу
    LaTeX Unit
    bodyf(x) = x

Дополнительно необходимо задать Количество выходных переменных и при необходимости выбрать чекбокс Добавить константу

  • Функция активации Logsigmoid – 
    LaTeX Unit
    body--uriencoded--LogSigmoid(x) = log(\frac%7B1%7D %7B1 + e%5e%7B-x%7D%7D)
  • Исключение (Dropout) Во время обучения случайным образом обнуляет некоторые элементы входного тензора с вероятностью
    LaTeX Unit
    bodyp
    , используя выборки из распределения Бернулли.

Дополнительно необходимо задать Вероятность исключения

  • Tanh функция гиперболического тангенса
    LaTeX Unit
    body--uriencoded--f(x) = tanh(x) = \frac%7Be%5ex - e%5e%7B-x%7D%7D%7Be%5ex + e%5e%7B-x%7D%7D = \frac%7B1 - e%5e%7B-2x%7D%7D%7B1 + e%5e%7B-2x%7D%7D

После настройки необходимой конфигурации слоев нейросети выбрать кнопку Сохранить.

Общие параметры

Функция потерь

Раскрывающийся список со следующими значениями:

  • MAE
  • MSE
  • Poisson loss
  • Negative log likelihood
  • Cross entropy

Данный параметр задает функцию потерь. Предусмотрены:

  • MAE (средняя абсолютная ошибка)
  • MSE (среднеквадратическая ошибка)
  • Poisson loss
  • Negative log likelihood (отрицательное логарифмическое правдоподобие)
  • Cross entropy (перекрестная энтропия)

Общие параметры

Алгоритм оптимизации

Раскрывающийся список со следующими значениями:

  • SGD
  • Adam (по умолчанию)
  • Adadelta
  • Adamax
  • LBFGS
  • AdamW
  • ASGD
  • NAdam
  • RAdam
  • Rprop
  • RMSprop

Данный параметр задает метод оптимизации, который будет использоваться для обновления весов нейронов скрытых слоев нейронной сети. Предусмотрены следующие методы:

  • SGD – стохастический градиентный спуск
  • Adam (adaptive momentum) – адаптивный импульс
  • Adadelta (adaptive learning rate) – метод адаптивной скорости обучения
  • Adamax – вариант Adam,основанный на бесконечной норме
  • LBFGS (limited-memory BFGS)
  • AdamW
  • ASGD – усредненный стохастический градиентный спуск
  • Nadam (Nesterov-accelerated adaptive momentum)
  • RAdam
  • Rprop – устойчивый алгоритм обратного распространения
  • RMSPROP (running mean square)

Общие параметры

Скорость обучения

Ручной ввод

По умолчанию - 0,001

Данный параметр задает скорость обучения, которая управляет размером шага при обновлении весов.

Общие параметры

Количество эпох

Ручной ввод

По умолчанию - 10

Данный параметр задает сколько раз алгоритм обучения будет обрабатывать весь набор обучающих данных.

Общие параметры

Размер пакета

Ручной ввод

По умолчанию - 128

Данный параметр определяет количество выборок, которые необходимо обработать перед обновлением параметров модели.

Общие параметры

Seed

Ручной ввод

По умолчанию - 42

Начальное числовое значение для генератора случайных чисел.

Используется для воспроизведения результатов при повторном запуске узла.

Общие параметры

L2 регуляризация

Ручной ввод

По умолчанию - 0,1

Данный параметр задает значение L2-регуляризации

Общие параметры

Доля валидационной выборки

Ручной ввод

По умолчанию - 0,1

Данный параметр задает долю валидационной выборки

Общие параметры

Ручной ввод

По умолчанию - 5


Общие параметры


Раскрывающийся список со следующими значениями:

  • rel
  • abs


Общие параметры

Ручной ввод

По умолчанию - 0,0001


Общие параметры

Стандартизация

Раскрывающийся список со следующими значениями:

  • no
  • std (по умолчанию)
  • range

Данные параметр отвечает за выбор метода стандартизации числовых переменных.

Стандартизация – преобразование числовых наблюдений с целью приведения их к некоторой общей шкале. Необходимость стандартизации вызвана тем, что разные признаки из обучающего набора могут быть представлены в разных масштабах и изменяться в разных диапазонах, что влияет на выявление некорректных зависимостей моделью.
Предусмотрены следующие методы:

Предусмотрены следующие методы:

  • no — стандартизация не нужна
  • std — стандартное отклонение - преобразует наблюдения таким образом, чтобы их среднее значение равнялось нулю, а стандартное отклонение равнялось 1.
  • range — диапазон - линейно преобразует значения переменных в диапазон [0, 1].

Общие параметры

Beta1

Ручной ввод числа с плавающей точкой

По умолчанию - 0,9

Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата

Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam

Beta2

Ручной ввод числа с плавающей точкой

По умолчанию - 0,999

Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата

Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam

Epsilon

Ручной ввод числа с плавающей точкой

По умолчанию - 1e-8

Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности
Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam

Использовать алгоритм AMSGrad

Чекбокс

Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма из статьи «Конвергенция Адама и не только»

Параметры алгоритма оптимизации Adam, AdamW
Momentum

Ручной ввод числа с плавающей точкой

По умолчанию - 0

Данный параметр задает коэффициент импульса
Параметры алгоритма оптимизации SGD, RMSProp

Dampening

Ручной ввод числа с плавающей точкой

По умолчанию - 0

Данный параметр задает демпфирование импульса
Параметры алгоритма оптимизации SGD
Момент НестероваЧекбоксВыбор данного чекбокса включает импульс Нестерова
Параметры алгоритма оптимизации SGD

Rho

Ручной ввод

По умолчанию - 0,9

Данный параметр задает коэффициент, используемый для вычисления скользящего среднего квадратов градиентов


Параметры алгоритма оптимизации Adadelta

Epsilon

По умолчанию - 1e-8

Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности

Параметры алгоритма оптимизации Adadelta, RMSProp

Максимум итераций за шаг оптимизации

Ручной ввод целочисленного значения

По умолчанию - 20

Данный параметр задает максимальное число итераций за шаг оптимизации

Параметры алгоритма оптимизации LBFGS



Максимум вычислений за шаг оптимизации

Ручной ввод целочисленного значения

По умолчанию - 1

Данный параметр задает максимальное число вычислений функции за шаг оптимизации

Параметры алгоритма оптимизации LBFGS



Tolerance grad

Ручной ввод числа с плавающей точкой

По умолчанию - 0,00001

Данный параметр задает допуск завершения при оптимальности первого порядка

Параметры алгоритма оптимизации LBFGS


Tolerance change

Ручной ввод числа с плавающей точкой

По умолчанию - 1e-9

Данный параметр задает допуск завершения при изменении значения/параметра функции

Параметры алгоритма оптимизации LBFGS



Количество запоминаемых шагов оптимизации

Ручной ввод целочисленного значения

По умолчанию - 100

Данный параметр задает количество запоминаемых шагов оптимизации

Параметры алгоритма оптимизации LBFGS



Line search

Список:

  • no (по умолчанию)
  • strong wolfe

Данный параметр задает метод линейного поиска

Параметры алгоритма оптимизации LBFGS


Lambda

Ручной ввод числа с плавающей точкой

По умолчанию - 0,0001

Данный параметр задает затухание

Параметры алгоритма оптимизации ASGD


Alpha

Ручной ввод числа с плавающей точкой

По умолчанию - 0,75

Данный параметр задает мощность для обновления ETA

Параметры алгоритма оптимизации ASGD


t0

Ручной ввод числа с плавающей точкой

По умолчанию - 100000

Данный параметр задает точку, с которой начинается усреднение

Параметры алгоритма оптимизации ASGD

TORCH_OPTIMIZER_MOMENTUM_DECAY



Ручной ввод

По умолчанию - 0,004

momentum decay

Параметры алгоритма оптимизации Nadam

eta minus

Ручной ввод

По умолчанию - 0,5

Данный параметр задает мультипликативный коэффициент уменьшения

Параметры алгоритма оптимизации Rprop

eta plus

Ручной ввод

По умолчанию - 1,2

Данный параметр задает мультипликативный коэффициент увеличения

Параметры алгоритма оптимизации Rprop


Минимальный размер шага

Ручной ввод

По умолчанию - 0,000001

Данный параметр задает минимальный размер шага

Параметры алгоритма оптимизации Rprop


Максимальный размер шага

Ручной ввод

По умолчанию - 50

Данный параметр задает максимальный размер шага

Параметры алгоритма оптимизации Rprop


Alpha

Ручной ввод

По умолчанию - 0,99

Данный параметр задает константу сглаживания

Параметры алгоритма оптимизации RMSProp


Центрировать

Чекбокс

Выбор данного чекбокса указывает, что необходимо вычислить центрированный RMSProp, градиент которого нормализуется по оценке его дисперсии

Параметры алгоритма оптимизации RMSProp


...