ETL — Загрузка и обработка данных

 
В данном разделе доступно управление подсистемой по загрузке и обработке данных.
Для работы с подсистемой у пользователей должна быть активна роль dataengineers - Инженеры данных.
 

 
Подсистема предназначена для загрузки о обработки файлов форматов XLSX и CSV, которые соответствуют следующему правилу:
 
В загружаемых файлах в качестве первого столбца должен быть прописан столбец с уникальным идентификатором нижним регистром, английскими буквами  -  "id".

 
 
Максимальное количество строк и Максимальный размер файла регулируются с помощью подсистемы Редактор настроек, путём внесения изменений в соответствующем блоке конфигурационного файла appsettings.json.
 
"transformationFileLimits": {
    "TableSettings": [
      {
        "MaxRows": 100000,
        "MaxSizeMb": 50
      }
    ]
  },
 
Загрузка файла
 
Для загрузки файла следует нажать кнопку Загрузить файл и заполнить пункты в появившимся диалоговом окне – сверяясь с подсказками.
 
 
  • В поле Название указываем произвольное название таблицы в системе;
  • В поле Описание указываем произвольное описание для нашей таблицы;
  • В поле Название таблицы в базе данных указывается название таблицы в базе данных, которое отвечает следующим условиям:
    Можно использовать буквы (A-Z, a-z), цифры (0-9) и символ нижнего подчеркивания (_). В названии нельзя использовать пробелы. Название не должно начинаться с цифры. Максимальная длина: 60 символов.
 
Далее с помощью кнопки Добавить файл следует выбрать файл, который необходимо загрузить. Откроется окно со списком файлов ранее уже загруженных в систему, где с помощью двойного щелчка можно выбрать нужный.
 
 
 
Также в этом окне с помощью кнопки Загрузить файл есть возможность загрузить файл с помощью файловой системы с вашего устройства.
 
 
После выбора файла следует сохранить результаты с помощью кнопки Сохранить.
 
 
Если с загруженным файлом всё в порядке, то в системе он отобразится со статусом Success:
 
 
Если же в файл не отвечает условиям системы, например в нём отсутствует необходимый первый столбец с id, то в таблице он отобразится со статусом Failed:
 
 
А также появится сообщение об ошибке:
 
 
В случае если в загружаемом файле будет обнаружена ошибка не поддающаяся идентификации, то то в таблице он отобразится со статусом Queued
 
 
А также появится сообщение об ошибке:
 
 
Действия с таблицей
 
С загруженными в подсистему таблицами есть возможность осуществлять перечень действий.
Для этого у выбранной таблицы следует нажать на кнопку , после чего отобразятся доступные действия:
  • Добавить;
  • Изменить;
  • Строка подключения;
  • Удалить. 
 
 
Если таблица загружена с ошибкой, то будут доступны лишь действия:
  • Изменить;
  • Удалить. 
 
Обновление данных в таблице
 
В подсистеме реализован функционал по обновлению данных в таблице, путём обновления ранее загруженного файла.
Для этого во всплывающем списке следует выбрать Добавить
 
 
После чего появится окно Дополнить таблицу
 
 
Далее нажимаем кнопку Добавить файл
 
 
 
В открывшемся окне нажимаем Загрузить файл и с помощью файловой системы с вашего устройства выбираем ранее загруженный файл, в который были внесены изменения данных
 
 
Во всплывшем окне браузера, следует подтвердить ваши действия, нажав Да
 
 
После чего в окне со списком файлов ранее уже загруженных в систему, с помощью двойного щелчка нужно выбрать обновленный файл
 
 
После выбора файла следует сохранить результаты с помощью кнопки Сохранить.
 
 
Изменение таблицы
 
В подсистеме реализован функционал по внесению изменений в таблицы, путём обновления ранее загруженного файла.
Для этого во всплывающем списке следует выбрать Изменить
 
 
 
После откроется окно Редактирование таблицы
 
 
В данном окне есть возможность внести изменения в такие поля, как:
  • Поле Название;
  • Поле Описание;
  • Поле Название таблицы в базе данных.
 
Для сохранения изменений нажимаем кнопку Сохранить.
 
Строка подключения
 
 
Данное действие позволяет скопировать в буфер обмена адрес строки подключения к выбранной таблице.

Пример строки подключения: Server=127.0.0.1;Port=5432;Database=qspro;User Id=analyst_user_1294dfe6_6a51_4b7c_a539_8ad7a8d8534c;Password=8c7b8a69_bae2_4376_97c3_8c89e36ea382;Search Path = analyst_schema_1294dfe6_6a51_4b7c_a539_8ad7a8d8534c;
 
Это необходимо для дальнейшего её использования, в качестве источника данных при работе с аналитическими отчётами и панелями индикаторов (дашбордами).
Для этого в подсистеме создания аналитических отчетов и панелей индикаторов, в выбранном отчёте необходимо добавить новый источник данных типа PostgreSQL, где в поле Строка соединения вставляем скопированный ранее адрес строки подключения к выбранной таблице и нажимаем ОК.
 
 
После выбираем необходимые нам данные и нажимаем ОК
 
 
После чего выбранные данные из нашей таблицы отобразятся в Словаре как один из источников данных и они будут доступны в дальнейшей работе по построению отчёта.
 
 
Удаление таблицы
 
В подсистеме реализован функционал по удалению таблицы.
Для этого во всплывающем списке следует выбрать Удалить.
 
 
После появится окно Удалить таблицу, где нужно нажать кнопку ОК