Узел "Нейронная сеть (PyTorch)" позволяет строить нейросеть типа MLP (multilayer perceptron, многослойный перцептрон), в которой входной сигнал преобразуется в выходной, проходя последовательно через скрытые слои.
Данный узел отличается от узла "Нейронная сеть" (подробнее Узел «Нейронная сеть») возможностью более глубокой настройки конфигурации слоев нейросети и широким выбором оптимизаторов.
Список параметров узла представлен в таблице ниже.
Scroll Title | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Epsilon
Использовать алгоритм AMSGrad Чекбокс
Momentum |
Dampening
Момент Нестерова |
Rho
Epsilon Информация |
Данный параметр задет режим расчета порога Предусмотрены:
Общие параметры Порог Ручной ввод По умолчанию - 0,0001 Данный параметр задает порог расчета нового оптимума, чтобы сосредоточиться только на значительных изменениях Общие параметры Стандартизация Раскрывающийся список со следующими значениями:
Данный параметр отвечает за выбор метода стандартизации числовых переменных. Стандартизация – преобразование числовых наблюдений с целью приведения их к некоторой общей шкале. Необходимость стандартизации вызвана тем, что разные признаки из обучающего набора могут быть представлены в разных масштабах и изменяться в разных диапазонах, что влияет на выявление некорректных зависимостей моделью. Предусмотрены следующие методы:
Общие параметры Beta1 Ручной ввод числа с плавающей точкой По умолчанию - 0,9 Данный параметр задает коэффициент, используемый для управления скоростью затухания скользящих средних значений градиента (первого момента) Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam Beta2 Ручной ввод числа с плавающей точкой По умолчанию - 0,999 Данный параметр задает коэффициент, используемый для управления скоростью затухания средних значений вторых моментов градиентов (нецентрированной дисперсии) Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam Epsilon Ручной ввод числа с плавающей точкой По умолчанию - 1e-8 Данный параметр задает значение, добавляемое к знаменателю для улучшения числовой стабильности Minimal decay applied to lr. If the difference between new and old lr is smaller than eps, the update is ignored. Default: 1e-8. Параметры алгоритма оптимизации Adam, Adamax, AdamW, RAdam, Nadam Использовать алгоритм AMSGrad Чекбокс Выбор данного чекбокса указывает, что необходимо использовать вариант AMSGrad этого алгоритма. Разница между AMSgrad и Adam заключается в рассчитанном векторе второго момента, который используется для обновления параметров. Параметры алгоритма оптимизации Adam, AdamW Импульс (Momentum) | Ручной ввод числа с плавающей точкой По умолчанию - 0 Данный параметр задает коэффициент импульса (запоминает скорость на предыдущем шаге и добавляет в указанное число раз меньшую величину на следующем шаге) Параметры алгоритма оптимизации SGD, RMSProp Dampening Ручной ввод числа с плавающей точкой По умолчанию - 0 Данный параметр задает демпфирование импульса. Демпфирование гарантирует, что оптимизатор не сделает слишком больших шагов, что может произойти, если использовать только импульс. Чем выше градиент, тем больше демпфирование уменьшает размер шага. Параметры алгоритма оптимизации SGD Момент Нестерова | Чекбокс | Выбор данного чекбокса включает импульс Нестерова (использует производную не в текущей точке, а в следующей, если бы мы продолжали двигаться в этом же направлении без изменений) Параметры алгоритма оптимизации SGD Rho Ручной ввод По умолчанию - 0,9 Данный параметр задает коэффициент, используемый для вычисления скользящего среднего квадратов градиентов Параметры алгоритма оптимизации Adadelta Epsilon По умолчанию - 1e-8 Данный сглаживающий параметр задает значение, предотвращающее деление на 0. Параметры алгоритма оптимизации Adadelta, RMSProp Максимум итераций за шаг оптимизации Ручной ввод целочисленного значения По умолчанию - 20 Данный параметр задает максимальное число итераций за шаг оптимизации Параметры алгоритма оптимизации LBFGS Максимум вычислений за шаг оптимизации Ручной ввод целочисленного значения По умолчанию - 1 Данный параметр задает максимальное число вычислений функции за шаг оптимизации Параметры алгоритма оптимизации LBFGS Tolerance grad Ручной ввод числа с плавающей точкой По умолчанию - 0,00001 Данный параметр задает допуск завершения при оптимальности первого порядка Параметры алгоритма оптимизации LBFGS Tolerance change Ручной ввод числа с плавающей точкой По умолчанию - 1e-9 Данный параметр задает допуск завершения при изменении значения/параметра функции Параметры алгоритма оптимизации LBFGS Количество запоминаемых шагов оптимизации Ручной ввод целочисленного значения По умолчанию - 100 Данный параметр задает количество запоминаемых шагов оптимизации Параметры алгоритма оптимизации LBFGS Line search Список:
Данный параметр задает метод линейного поиска Параметры алгоритма оптимизации LBFGS Lambda Ручной ввод числа с плавающей точкой По умолчанию - 0,0001 Данный параметр задает затухание Параметры алгоритма оптимизации ASGD Alpha Ручной ввод числа с плавающей точкой По умолчанию - 0,75 Данный параметр задает мощность для обновления скорости обучения Параметры алгоритма оптимизации ASGD t0 Ручной ввод По умолчанию - 100000 Данный параметр задает точку, с которой начинается усреднение. Если требуемое количество итераций меньше данного значения, то усреднение не произойдет. Параметры алгоритма оптимизации ASGD Сокращение импульса Ручной ввод По умолчанию - 0,004 Данный параметр задает значение сокращения импульса | Параметры алгоритма оптимизации Nadam Коэффициент уменьшения (eta minus) Ручной ввод Число больше 0 и меньше 1 По умолчанию - 0,5 Данный параметр задает мультипликативный коэффициент уменьшения. Если на текущем шаге частная производная по соответствующему весу поменяла свой знак, значит последнее изменение было большим, и алгоритм проскочил локальный минимум. Следовательно, величину коррекции необходимо уменьшить на значение данного параметра и вернуть предыдущее значение весового коэффициента. Параметры алгоритма оптимизации Rprop Коэффициент увеличения (eta plus) Ручной ввод Число больше 1 По умолчанию - 1,2 Данный параметр задает мультипликативный коэффициент увеличения. Если на текущем шаге частная производная по соответствующему весу не поменяла свой знак, значит нужно увеличить величину коррекции на значение данного параметра для достижения более быстрой сходимости. Параметры алгоритма оптимизации Rprop Минимальный размер шага Ручной ввод По умолчанию - 0,000001 Данный параметр задает минимальный размер шага. Он необходим, чтобы не допустить слишком маленьких значений весов, ограничивает величину коррекции снизу. Параметры алгоритма оптимизации Rprop Максимальный размер шага Ручной ввод По умолчанию - 50 Данный параметр задает максимальный размер шага. Он необходим, чтобы не допустить слишком больших значений весов, ограничивает величину коррекции сверху. Параметры алгоритма оптимизации Rprop Alpha Ручной ввод По умолчанию - 0,99 Данный параметр задает константу сглаживания Параметры алгоритма оптимизации RMSProp Центрировать Чекбокс Выбор данного чекбокса указывает, что необходимо вычислить центрированный RMSProp, градиент которого нормализуется по оценке его дисперсии Параметры алгоритма оптимизации RMSProp |
Результаты выполнения узла
Узел «Нейронная сеть» имеет разные результаты в зависимости от решаемой задачи.
Раскрыть | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||
|
Раскрыть | ||||||
---|---|---|---|---|---|---|
| ||||||
|
Раскрыть | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
|