ETL — Загрузка и обработка данных

В данном разделе доступно управление подсистемой по загрузке и обработке данных.

Для работы с подсистемой у пользователей должна быть активна роль dataengineers - Инженеры данных.

Подсистема предназначена для загрузки о обработки файлов форматов XLSX и CSV, которые соответствуют следующему правилу:

	В загружаемых файлах в качестве первого столбца должен быть прописан столбец с уникальным идентификатором нижним регистром, английскими буквами - "id".

Максимальное количество строк и Максимальный размер файла регулируются с помощью подсистемы Редактор настроек, путём внесения изменений в соответствующем блоке конфигурационного файла appsettings.json.

"transformationFileLimits": {

"TableSettings": [

{

"MaxRows": 100000,

"MaxSizeMb": 50

}

]

Загрузка файла

Для загрузки файла следует нажать кнопку Загрузить файл и заполнить пункты в появившимся диалоговом окне – сверяясь с подсказками.

В поле Название указываем произвольное название таблицы в системе;
В поле Описание указываем произвольное описание для нашей таблицы;
В поле Название таблицы в базе данных указывается название таблицы в базе данных, которое отвечает следующим условиям:
Можно использовать буквы (A-Z, a-z), цифры (0-9) и символ нижнего подчеркивания (_). В названии нельзя использовать пробелы. Название не должно начинаться с цифры. Максимальная длина: 60 символов.

Далее с помощью кнопки Добавить файл следует выбрать файл, который необходимо загрузить. Откроется окно со списком файлов ранее уже загруженных в систему, где с помощью двойного щелчка можно выбрать нужный.

Также в этом окне с помощью кнопки Загрузить файл есть возможность загрузить файл с помощью файловой системы с вашего устройства.

После выбора файла следует сохранить результаты с помощью кнопки Сохранить.

Если с загруженным файлом всё в порядке, то в системе он отобразится со статусом Success:

Если же в файл не отвечает условиям системы, например в нём отсутствует необходимый первый столбец с id, то в таблице он отобразится со статусом Failed:

А также появится сообщение об ошибке:

В случае если в загружаемом файле будет обнаружена ошибка не поддающаяся идентификации, то то в таблице он отобразится со статусом Queued

А также появится сообщение об ошибке:

Действия с таблицей

С загруженными в подсистему таблицами есть возможность осуществлять перечень действий.

Для этого у выбранной таблицы следует нажать на кнопку

, после чего отобразятся доступные действия:

Добавить;
Изменить;
Строка подключения;
Удалить.

Если таблица загружена с ошибкой, то будут доступны лишь действия:

Изменить;
Удалить.

Обновление данных в таблице

В подсистеме реализован функционал по обновлению данных в таблице, путём обновления ранее загруженного файла.
Для этого во всплывающем списке следует выбрать Добавить

После чего появится окно Дополнить таблицу

Далее нажимаем кнопку Добавить файл

В открывшемся окне нажимаем Загрузить файл и с помощью файловой системы с вашего устройства выбираем ранее загруженный файл, в который были внесены изменения данных

Во всплывшем окне браузера, следует подтвердить ваши действия, нажав Да

После чего в окне со списком файлов ранее уже загруженных в систему, с помощью двойного щелчка нужно выбрать обновленный файл

После выбора файла следует сохранить результаты с помощью кнопки Сохранить.

Изменение таблицы

В подсистеме реализован функционал по внесению изменений в таблицы, путём обновления ранее загруженного файла.
Для этого во всплывающем списке следует выбрать Изменить

После откроется окно Редактирование таблицы

В данном окне есть возможность внести изменения в такие поля, как:

Поле Название;
Поле Описание;
Поле Название таблицы в базе данных.

Для сохранения изменений нажимаем кнопку Сохранить.

Строка подключения

Данное действие позволяет скопировать в буфер обмена адрес строки подключения к выбранной таблице.

Пример строки подключения: Server=127.0.0.1;Port=5432;Database=qspro;User Id=analyst_user_1294dfe6_6a51_4b7c_a539_8ad7a8d8534c;Password=8c7b8a69_bae2_4376_97c3_8c89e36ea382;Search Path = analyst_schema_1294dfe6_6a51_4b7c_a539_8ad7a8d8534c;

Это необходимо для дальнейшего её использования, в качестве источника данных при работе с аналитическими отчётами и панелями индикаторов (дашбордами).

Для этого в подсистеме создания аналитических отчетов и панелей индикаторов, в выбранном отчёте необходимо добавить новый источник данных типа PostgreSQL, где в поле Строка соединения вставляем скопированный ранее адрес строки подключения к выбранной таблице и нажимаем ОК.

После выбираем необходимые нам данные и нажимаем ОК

После чего выбранные данные из нашей таблицы отобразятся в Словаре как один из источников данных и они будут доступны в дальнейшей работе по построению отчёта.

Удаление таблицы

В подсистеме реализован функционал по удалению таблицы.
Для этого во всплывающем списке следует выбрать Удалить.

После появится окно Удалить таблицу, где нужно нажать кнопку ОК