Узел "Нейронная сеть (PyTorch)" позволяет строить нейросеть типа MLP (multilayerperceptron, многослойный перцептрон), в которой входной сигнал преобразуется в выходной, проходя последовательно через несколько слоев.
Алгоритмы оптимизации:
SGD - стохастический градиентный спуск
Adam (adaptive momentum) - адаптивный импульс
Adadelta (adaptive learning rate) - метод адаптивной скорости обучения
Adamax - вариант Adam,основанный на бесконечной норме
Rprop - устойчивый алгоритм обратного распространения
RMSPROP (running mean square)
Список параметров узла представлен в таблице ниже.
Scroll Title
title-position
top
title-alignment
right
title
Параметры узла «Нейронная сеть (PyTorch)»
Параметр
Возможные значения и ограничения
Описание
Группа параметров
Название
Ручной ввод Ограничений на значение нет
Название узла, которое будет отображаться в интерфейсе
Общие параметры
Описание
Ручной ввод Ограничений на значение нет
Описание узла
Общие параметры
Конфигурация слоев нейросети
Кнопка
При выборе данной кнопки откроется окно Конфигурация слоев нейросети, где можно задавать слои, количество нейронов в слоях и функции активации для каждого узла. Для этого необходимо выбрать кнопку Добавить и в появившемся списке выбрать необходимую функцию активации и настроить параметры. Предусмотрены:
Функция активации ReLU (Rectified Linear Unit) –
LaTeX Unit
body
f(x) = max(0, x)
Функция активации CELU –
LaTeX Unit
body
f(x)=max(0,x)+min(0,\alpha*(exp(x/\alpha)-1))
Дополнительно необходимо задать
LaTeX Unit
body
\alpha
Функция активации ELU –
LaTeX Unit
body
--uriencoded--f(x) = \left \%7B \begin%7Barray%7D%7Brcl%7D \alpha*(exp(x) -1) & \mbox%7Bfor%7D & x \le 0\\ x & \mbox%7Bfor%7D & x > 0\end%7Barray%7D \right.
После настройки необходимой конфигурации слоев нейросети выбрать кнопку Сохранить.
Общие параметры
Функция потерь
Раскрывающийся список со следующими значениями:
MAE
MSE
Poisson loss
Negative log likelihood
Cross entropy
Общие параметры
Алгоритм оптимизации
Раскрывающийся список со следующими значениями:
SGD
Adam (по умолчанию)
Adadelta
Adamax
LBFGS
AdamW
ASGD
NadamNAdam
RAdam
Rprop
RMSPROPRMSprop
Данный параметр задает метод оптимизации, который будет использоваться для обновления весов нейронов скрытых слоев нейронной сети. Предусмотрены следующие методы:
SGD– стохастический градиентный спуск
Adam (adaptive momentum)– адаптивный импульс
Adadelta (adaptive learning rate)– метод адаптивной скорости обучения
Adamax– вариант Adam,основанный на бесконечной норме
Rprop– устойчивый алгоритм обратного распространения
RMSPROP (running mean square)
Общие параметры
Скорость обучения
Ручной ввод
По умолчанию - 0,001
Общие параметры
Количество эпох
Ручной ввод
По умолчанию - 10
Данный параметр задает максимальное количество итераций (эпох). Оптимизатор выполняет итерации до сходимости (определяемой значением параметра Погрешность оптимизации) или до указанного количества итераций.
Общие параметры
Размер batch
Ручной ввод
По умолчанию - 128
Общие параметры
Seed
Ручной ввод
По умолчанию - 42
Начальное числовое значение для генератора случайных чисел.
Используется для воспроизведения результатов при повторном запуске узла.
Данные параметр отвечает за выбор метода стандартизации числовых переменных.
Стандартизация– преобразование числовых наблюдений с целью приведения их к некоторой общей шкале. Необходимость стандартизации вызвана тем, что разные признаки из обучающего набора могут быть представлены в разных масштабах и изменяться в разных диапазонах, что влияет на выявление некорректных зависимостей моделью. Предусмотрены следующие методы:
Предусмотрены следующие методы:
no— стандартизация не нужна
std— стандартное отклонение - преобразует наблюдения таким образом, чтобы их среднее значение равнялось нулю, а стандартное отклонение равнялось 1.
range— диапазон -линейно преобразует значения переменных в диапазон [0, 1].
Общие параметры
Beta1
Ручной ввод числа с плавающей точкой
По умолчанию - 0,9
Данный параметр задает коэффициент, используемый для вычисления скользящих средних значений градиента и его квадрата