Регистрация набора данных, необходимого для большинства задач машинного обучения, осуществляется в разделе "Наборы данных". Раздел представляет собой список зарегистрированных наборов данных в табличном виде.

image-2026-7-30_23-39-0.png

Раздел "Наборы данных"

Для регистрации набора данных необходимо:

  • Перейти в раздел "Наборы данных" боковой панели и в верхней части таблицы со списком существующих наборов данных выбрать Добавить,
  • В всплывающем окне необходимо выбрать вариант источника импорта:
    • Импорт из БД,
    • Импорт из Excel.

Импорт из БД


При выборе опции Импорт из БД откроется окно Регистрация набора данных:

Регистрация набора данных из БД

Необходимо заполнить следующие поля:

  • Название – имя набора данных,
  • Описание – краткое описание набора,
  • Подключение – выбирается из выпадающего списка (кнопка в правой части поля ввода),
  • Тип – выбирается из выпадающего списка при помощи кнопки в правой части поля ввода, после заполнения поля Подключение. В сплывающем списке доступен выбор из двух типов подключений: Таблица или SQL.

Выбор подключения. Таблица


Выбор подключения. SQL
    • Таблица / SQL-запрос – команда, определяющая способ подключения. Если был выбран способ подключения Таблица, то необходимо указать таблицу из БД, к которой было выполнено подключение. Если в поле "Тип" был выбран способ подключения SQL, то откроется дополнительное окно, где необходимо сформировать SQL-запрос к БД.
  • После заполнения всех полей нажать на кнопку «Сохранить». Кнопка «Отменить» позволяет выйти из окна настройки, не внося изменений, аналогично нажатию на стандартный элемент управления в правом верхнем углу окна Регистрация набора данных (элемент ).

Импорт из таблицы Excel

При выборе опции Импорт из таблицы Excel откроется окно Регистрация набора данных:

Регистрация набора данных из Excel

Необходимо заполнить следующие поля:

  • Название – имя набора данных
  • Описание – краткое описание набора
  • Подключение – источник. Для выбора доступны источники, при регистрации которых был отмечен чекбокс Использовать подключение для Excel
  • Таблица – название, с которым таблица импортируется в БД (допускается использование латинских символов, цифр и знака нижнего подчеркивания)

После заполнения полей необходимо нажать кнопку Вперед.

Регистрация набора данных из Excel. Импорт таблицы

В открывшемся окне нужно произвести загрузку набора данных из таблицы Excel.
Для этого:

  • Импортировать таблицу, нажав кнопку импорта из Excel .
  • В появившемся диалоговом окне выбрать файл таблицы. Размер таблицы не должен превышать 10 МБ. Ограничение на загрузку .xlsx файлов размером более 10 МБ связано с тем, что при импорте такие файлы сначала парсятся в оперативной памяти, а затем загружаются в PostgreSQL. Большие Excel-файлы часто содержат тысячи строк, формулы, форматирование, скрытые данные и другие особенности, которые усложняют обработку и могут вызывать значительную нагрузку на память и CPU.
  • При необходимости скорректировать пользовательские имена. Для изменения пользовательского имени атрибута нужно кликнуть по текстовому полю соответствующего пользовательского имени, ввести новое имя и нажать Enter.
  • Убедиться в корректности импорта данных (атрибуты, пользовательские имена, типы данных), а также проверить корректность данных в окне Пример данных. Раскрыть окно пример данных можно, нажав кнопку .
  • Нажать кнопку Завершить.

Просмотр набора данных

После регистрации набора данных можно ознакомиться с ним, а также модифицировать. Для этого нужно выбрать интересующий набор данных из списка. В открывшемся окне Сведения о наборе данных отображаются следующие вкладки:

  • Вкладка Информация содержит сведения о наборе данных – имя таблицы в источнике, пользовательское имя таблицы (в системе) и описание.
  • Вкладка Атрибуты представляет собой список атрибутов набора данных в табличном виде с возможностью добавления, изменения и удаления атрибутов.
  • Вкладка Расчетные атрибуты представляет собой список расчетных атрибутов в табличном виде с возможностью добавления, изменения и удаления атрибутов.
  • Вкладка Фильтр представляет собой текстовое поле для ввода формулы фильтра данных. Отфильтрованные (не соответствующие критериям фильтрации) данные не будут использоваться далее в процессе анализа и моделирования.
  • Вкладка Пример данных позволяет ознакомиться с данными из набора.

Окно сведений о наборе данных

Вкладка "Атрибуты"

На вкладке "Атрибуты" представлены следующие поля:

  • Атрибут – имя атрибута. Заполняется автоматически при регистрации набора данных. 
  • Пользовательское имя – пользовательское наименование столбца набора данных. Заполняется автоматически при регистрации набора данных и может быть изменено пользователем.
  • Тип данных – тип импортируемых данных. Заполняется автоматически при регистрации набора данных.

Для удобной работы с атрибутами доступны функции импорта и экспорта из таблиц с расширением .xls (Формат Excel). Кнопка Экспорт в Excel   позволяет экспортировать текущий набор данных в файл Формата таблицы Excel. Кнопка Импорт из Excel  – позволяет провести удобную модификацию пользовательских имен набора данных. В появившемся окне Результаты импорта будут показаны изменения, вносимые в атрибуты набора данных. Для сохранения изменений необходимо нажать кнопку Импорт, после чего данные в БД будут обновлены.

Вкладка "Расчетные атрибуты"

Вкладка "Расчетные атрибуты" предназначена для создания дополнительных атрибутов, позволяющих расширить набор данных.

Вкладка "Расчетные атрибуты"

На вкладке "Расчетные атрибуты" реализованы следующие функции:

  • Кнопка добавления нового расчетного атрибута  – при нажатии на кнопку в список расчетных атрибутов добавиться новый дополнительный атрибут:

Добавление нового расчетного атрибута
  • Системное имя – уникальное имя расчетного атрибута, используемое во внутренних процессах работы Системы.
  • Пользовательское имя – имя расчетного атрибута, используемое при работе с Системой.
  • Тип данных – тип данных расчетного атрибута. Заполняется автоматически при добавлении Формулы, на основе используемых в формуле переменных.
  • Формула – поле, в котором задается формула расчетного атрибута.

Для удобной работы с атрибутами доступны функции импорта и экспорта из таблиц с расширением .xls (см. Вкладка "Атрибуты").

Создание расчетного атрибута

Для создания нового расчетного атрибута в наборе данных необходимо:

  • Во вкладке Расчетные атрибуты выбрать иконку . Добавится новый расчетный атрибут с уникальным системным именем.
  • Задать следующие параметры:
    • Пользовательское имя,
    • Тип данных (заполняется автоматически при сохранении формулы),
    • Формула.

Создание нового расчетного атрибута

Формула расчетного атрибута задается в окне Формула:

Окно "Формула"


Основными элементами окна Формула являются:


    1. Поле ввода текстового представления условия
    2. Рабочее поле, в котором автоматически строится графическое представление условия
    3. Список, который открывается при нажатии правой кнопкой мыши в строке ввода и включает в себя:
      • Переменные из набора данных
      • Операторы и функции, представленные в таблице ниже.

Для задания формулы необходимо в строку текстового представления ввести условие, используя операторы, функции и переменные набора данных.

  • Название переменной должно быть указано в обратных одинарных кавычках (` `). Пример: `Год` > 1996
  • В качестве десятичного разделителя используется точка.
  • Строка указывается в двойных кавычках.

Пример: `Пол` = "мужской".
Посмотреть список операторов, функций и переменных, а также добавить их в условие можно в панели, которая открывается при щелчке правой кнопкой мыши по строке ввода.

Таблица "Операторы и функции"

Оператор/Функция

Описание

Текстовое представление (формула)

And

Логическая операция «И»

true and true

Вместо true нужно вставить условие

Пример: `Год` > 1996 and `Пол`= "Женский"

Or

Логическая операция «ИЛИ»

true or true

Вместо true нужно вставить условие

Пример: `Год` > 1996 or `Пол`= "Женский"

+

Операция сложения

0 + 0

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: `Цена продукта M`+ ` Цена продукта M`

–

Операция вычитания

0 - 0

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: `Цена продукта M`- 1000

×

Операция умножения

0 * 0

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: `Цена продукта M` * `Скидка`

/

Операция деления

0 / 0

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: `Выручка за первый квартал` / `Выручка за год`

< 

Меньше

"" < ""

Вместо "" нужно вставить переменную/значение

Пример: `Возраст` < 32

≤

Меньше или равно

"" <= ""

Вместо "" нужно вставить переменную/значение

Пример: `Температура` <= 120

> 

Больше

"" > ""

Вместо "" нужно вставить переменную/значение

Пример: `Возраст` > “32”

≥

Больше или равно

"" >= ""

Вместо "" нужно вставить переменную/значение

Пример: `Температура` >= 120

=

Равно

"" = ""

Вместо "" нужно вставить переменную/значение

Пример: `Температура` = 120

≠

Не равно

"" != ""

Вместо "" нужно вставить переменную/значение

Пример: `Температура` != 120

like

Проверяет, удовлетворяет ли символьная строка заданному образцу, который может содержать поисковые символы. Учитывает регистр

"" like ""

Вместо "" нужно вставить переменную/значение

Пример: `Город` like "Москва"

ilike

Проверяет, удовлетворяет ли символьная строка заданному образцу, который может содержать поисковые символы.

"" ilike ""

Вместо "" нужно вставить переменную/значение

Пример: `Город` ilike "Москва"

startswith

Проверяет, есть ли в начале одной текстовой строки другая текстовая строка

"" startswith ""

Вместо "" нужно вставить переменную/значение

Пример: `Город` startswith "Сан"

endswith

Проверяет, есть ли в конце одной текстовой строки другая текстовая строка

"" endswith ""

Вместо "" нужно вставить переменную/значение

Пример: `Город` endswith "бург"

contains

Проверяет, встречается ли указанная строка внутри другой строки

"" contains ""

Вместо "" нужно вставить переменную/значение

Пример: `Название` contains "consulting"

between

Проверяет, входит ли значение в заданный диапазон

0 between(0,0)

Вместо 0 нужно вставить числовую переменную/значение

Пример: `ID` between (1, 100500)

in

Проверяет наличие элемента в последовательности

"" in("")

Вместо "" нужно вставить переменную/значение

Пример: `Регион` in ("Москва", "Московская область")

not in

Проверяет отсутствие элемента в последовательности

"" not_in("")

Вместо "" нужно вставить переменную/значение

Пример: `Регион` not_in ("Москва", "Московская область")

coalesce

Возвращает данные из первого столбца, содержащего значение, отличное от NULL

coalesce("")

Вместо "" нужно вставить переменную/значение

Пример: coalesce(`ProductNumber`, `ProductName`)

not

Задает противоположное условие

not(true)

Вместо true нужно вставить условие

Пример: not(`Год` > 1996)

create_date

Создает переменную даты из последовательно введенных года, месяца и дня

create_date(0,0,0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: create_date(2016,10,25)

current_date

Возвращает текущую дату

current_date()

Вводится без дополнительных параметров

current_timestamp

Возвращает текущие дату и время*

current_timestamp()

Вводится без дополнительных параметров

now

Возвращает текущие дату и время*

now()

Вводится без дополнительных параметров

create_datetime

Создает переменную даты времени из последовательно введенных года, месяца, дня, часа, минут и секунд

create_datetime(0,0,0,0,0,0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: create_datetime(2016,10,25,12,18,0)

char_length

Возвращает длину строки

char_length("")

Вместо "" нужно вставить строку/строковую переменную

Пример: char_length(`Код_продукта`)

random

Возвращает случайное число

random()

Вводится без дополнительных параметров

In

Натуральный логарифм

ln(0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: ln(`Числовая переменная`)

exp

Экспонента

exp(0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: exp (`Числовая переменная`)

power

Возведение в степень

power(0,0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: power(`Числовая переменная`,2)

sqrt

Квадратный корень

sqrt(0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: sqrt (`Числовая переменная`)

abs

Абсолютное значение

abs(0)


Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: abs (`Числовая переменная`)

ceil

Возвращает наименьшее целое число, которое больше или равно текущему значению

ceil(0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: ceil(25.1)

Вернет значение 26

floor

Возвращает наибольшее целое число, которое меньше или равно текущему значению

floor(0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: floor(25.1)

Вернет значение 25

extract_from_datetime

Получает указанную часть (день, месяц, год, час, минута, секунда) из значения даты и времени

extract_from_datetime("","")

Вместо первых кавычек нужно указать необходимую часть для извлечения:

·         SECOND

·         MINUTE

·         HOUR

·         DAY

·         MONTH

·         YEAR

Вместо вторых кавычек нужно указать переменную типа datetime

Пример: extract_from_datetime("DAY",`datetime`)

extract_from_date

Получает указанную часть (день, месяц, год) из значения даты

extract_from_date("","")

В первые кавычки нужно вписать необходимую часть для извлечения:

·         DAY

·         MONTH

·         YEAR

Вместо вторых кавычек нужно указать переменную типа date

Пример: extract_from_date("DAY",`date`)

concat

Объединяет в единую строку указанные значения

concat("")

Вместо "" нужно вставить строки/строковые переменные

Пример:

concat (`Фамилия`, " ", `Имя`)

toint

Переводит вещественную переменную в целочисленную

toint("")

Вместо "" нужно вставить строковые переменные

Пример: toint("25")

Вернет значение 25

tofloat

Переводит целочисленную переменную в вещественную

tofloat(0)

Вместо 0 нужно вставить числовое значение/числовую переменную

Пример: tofloat(25)

Вернет значение 25

case

Позволяет проверить несколько условий и выполнить разные операции на основе этих условий

case when true then "" else "" end

Вместо true нужно вставить условие, вместо "" – значение

Для проверки дополнительных условий необходимо добавить дополнительные «when true then ""»

Пример: case when `Возраст` > 32 then 0 else 1 end

*В зависимости от диалекта SQL используется current_timestamp или now.


После ввода всех данных требуется сохранить изменения, выбрав иконку .

Вкладка "Фильтр"

Вкладка "Фильтр" предназначена для фильтрации данных. Это полезно, когда для анализа необходима, например, лишь определенная часть данных.

Вкладка "Фильтр"

Основным элементом вкладки "Фильтр" является рабочее поле, представляющее собой строку ввода формулы и ее графическое отображение. Подробнее про запись формулы описано в разделе руководства "Создание расчетного атрибута".

  • Нет меток