Настройка правил загрузки данных

Чтобы из ранее созданного подключения к источнику данных загрузить данные в облачное хранилище Modus BI , необходимо создать правило загрузки данных.

Правило загрузки данных — это механизм, в котором пользователь указывает, какие именно данные и из какого подключения к источнику данных необходимо загрузить в облачное хранилище.

На основании одного и того же подключения к источнику пользователь может создать несколько правил загрузки данных. Такая возможность позволяет получать различные разрезы данных из одного источника (например, данные из разных листов Excel-файла, или загружать разные диапазоны строк, или использовать разные запросы к СУБД и 1С).

В правиле загрузки данных пользователь управляет следующими настройками загружаемых данных:

из какого подключения к источнику данных загружать данные;
из какого листа подключения следует загрузить данные (для Excel-файлов);
из каких строк следует загружать данные (для Excel-файлов и Google Sheets);
какой SQL-запрос для получения данных использовать (для СУБД);
какой 1С-запрос для получения данных использовать (для 1C);
с какой периодичностью автоматически загружать данные (для СУБД и 1С);
какие поля данных загружать, а какие нет;
какие имена полей указать при загрузке;
какие типы данных полей указать при загрузке;
какую длину и точность использовать для числовых полей.

Чтобы создать новое правило загрузки данных, на Аналитическом портале перейдите на вкладку «Настройки» и выберите вкладку «Правила загрузки данных».

На основной рабочей области экрана будет список имеющихся правил загрузки данных. Если правил загрузки данных еще нет, то на основной рабочей области экрана отображается надпись: «Ни одного правила загрузки данных не найдено». Чтобы создать новое правило загрузки данных, нажимаем на кнопку «Добавить правило» в правом верхнем углу экрана.

Появится форма выбора подключения к источнику, на основании которого будет создано правило загрузки данных. Чтобы найти нужное подключение воспользуйтесь строкой «Поиск» или сортировкой по столбцам «Наименование» и «Тип». При создании правила загрузки данных можно выбрать только одно подключение к источнику. Нажмите на необходимое наименование подключения.

В результате отобразятся две вкладки:

«Основные настройки»;
«Настройка полей».

Вкладка «Основные настройки»

На вкладке «Основные настройки» в верхней части рабочей области экрана расположены различные поля для настройки. Они отличаются в зависимости от выбранного типа подключения (Excel-файл, Google Sheets, СУБД, 1С).

В нижней части рабочей области экрана отображается часть таблицы.

Excel-файл

На вкладке «Основные настройки» для Excel-файла расположены следующие поля:

«Наименование» — заполните наименование (нельзя сохранить правило загрузки данных без какого-либо наименования);
«Таблица-приёмник» — заполните наименование таблицы приемника;
«Подключение» — не доступно для редактирования;
«Лист» — выберите из выпадающего списка;
«Строка заголовка» — укажите номер строки с заголовком (по умолчанию указана строка 1);
«Импортировать строки с __ по __» — укажите диапазон строк с данными для загрузки (по умолчанию автоматом указывается начало диапазона: строка заголовка +1; конец диапазона: без ограничения).

В нижней части экрана находится часть таблицы, где отображаются первые 10 строк из Excel-файла (в которых есть какие-либо значения).

Отображаются кнопки «Сохранить» и «Отмена». При нажатии на кнопку «Сохранить» введенные данные сохраняться.

Google Sheets

На вкладке «Основные настройки» для Google Sheets расположены следующие поля:

«Наименование» — заполните наименование (нельзя сохранить правило загрузки данных без какого-либо наименования);
«Таблица-приёмник» — заполните наименование таблицы приемника;
«Подключение» — не доступно для редактирования;
«Лист» — выберите из выпадающего списка;
«Строка заголовка» — укажите номер строки с заголовком (по умолчанию указана строка 1);
«Импортировать строки с __ по __» — укажите диапазон строк с данными для загрузки (по умолчанию автоматом указывается начало диапазона: строка заголовка +1; конец диапазона: без ограничения).

В нижней части экрана находится часть таблицы, где отображаются первые 10 строк из Google Sheets (в которых есть какие-либо значения).

Отображаются кнопки «Сохранить» и «Отмена». При нажатии на кнопку «Сохранить» введенные данные сохраняться.

СУБД

На вкладке «Основные настройки» для СУБД (ClickHouse, PostgreSQL, Vertica, MS SQL Server) расположены следующие поля:

«Наименование»;
«Таблица-приёмник»;
«Подключение» (не доступно для редактирования);
«Текст запроса».

Чтобы настроить правило загрузки данных для СУБД (ClickHouse, PostgreSQL, Vertica, MS SQL Server) нужно:

Указать наименование правила загрузки данных (нельзя сохранить правило загрузки данных без какого-либо наименования);
Указать таблицу-приемник;
Указать текст запроса (используется синтаксис SQL-запроса для соответствующей СУБД — ClickHouse, PostgreSQL, Vertica или MS SQL Server).

При нажатии на поле «Текст запроса» открывается всплывающее окно, в котором необходимо указать SQL-запрос для получение данных, а далее нажать на кнопку «Ок».

В нижней части экрана находится часть таблицы, где отображаются первые 10 строк. Таблица отображается после заполнения поля «Текст запроса».

Отображаются кнопки «Создать набор данных» и «Отмена». При нажатии на кнопку «Создать набор данных» введенные данные сохраняться.

1С

На вкладке «Основные настройки» для 1С расположены следующие поля:

«Наименование»;
«Таблица-приёмник»;
«Подключение» (не доступно для редактирования);
«Текст запроса».

Чтобы настроить правило загрузки данных из 1С нужно:

Укажите наименование правила загрузки данных (нельзя сохранить правило загрузки данных без какого-либо наименования);
Укажите таблицу-приемник;
Укажите текст запроса (используется синтаксис запросов 1С).

При нажатии на поле «Текст запроса» открывается всплывающее окно, в котором необходимо указать запрос 1С для получение данных, а далее нажать на кнопку «Ок».

Вкладка «Настройка полей»

На вкладке «Настройка полей» в верхней части рабочей области экрана расположена таблица настройки полей. Она одинакова для всех типов подключения (Excel-файл, Google Sheets, СУБД, 1С). В ней осуществляются необходимые настройки полей. В нижней части рабочей области экрана отображается часть таблицы.

В таблице настройки полей можно настроить следующие параметры:

«Имя» — указанное имя поля будет использоваться в простом наборе данных.
«Тип» — в выпадающем списке выберите один из доступных вариантов: «Число дробное», «Число целое», «Строка».
«Длина» — укажите количество знаков до запятой.
«Точность» — укажите количество знаков после запятой.
Выберите поля, которые не нужно загружать в Облачное хранилище и не нужно использовать в Простом наборе данных, установив переключатель в позицию «Выкл».

При уменьшении точности числового поля, происходит математическое округление дробной части числового значения до выбранного количества знаков после запятой.

Если в таблице настройки полей указать длину числового поля меньше, чем максимальное количество знаков до запятой (максимальная длина целой части) в соответствующем столбце Excel-файла, то при загрузке данных число не поместится в таблицу хранилища и Аналитический портал выдаст ошибку. В таком случае необходимо увеличить длину числового поля и повторно сохранить правило загрузки данных

Сохранение «Правила загрузки данных»

После того, как все необходимые поля на вкладке «Основные настройки» и «Настройки полей» заполнены, нажимаем на кнопку «Сохранить» или «Создать набор данных».

В списке правил загрузки данных появится только что созданная запись. В правом нижнем углу будет всплывающее сообщение: «Правило успешно добавлено. Набор данных успешно создан»:

При сохранении правила загрузки данных автоматически происходит загрузка данных в облачное хранилище, а также создается простой набор данных, на основании которого можно создавать отчеты или составные наборы данных.

Поиск существующего правила загрузки данных

Когда в списке правил загрузки данных имеется много записей, можно воспользоваться поиском. Для этого достаточно в правом верхнем углу в поле «Поиск» указать нужную комбинацию символов (букв или цифр). В результате в списке правил загрузки данных останутся только релевантные записи. Поиск осуществляется одновременно среди следующих столбцов:

«ID»;
«Правило»;
«Подключение»;
«Автор»;
«Дата».

Поиск не чувствителен к регистру (т.е. в строке поиска можно указывать символы в верхнем или нижнем регистре — поиск будет работать в любом случае). В поле поиска отображается иконка крестика, при нажатии на которую поле очистится.

Также для поиска нужного правила загрузки данных можно воспользоваться возможностью сортировки списка правил по столбцам «Правило», «Подключение», «Тип» или «Автор». Для этого следует нажать кнопку «Сортировка» (символы треугольников рядом с соответствующими заголовками). При нажатии на них устанавливаются по очереди значение «По возрастанию» и «По убыванию». Можно устанавливать сортировку одновременно по нескольким полям по порядку выбранного столбца.

Редактирование существующего правила загрузки данных

При необходимости можно открыть ранее созданное правило загрузки данных, нажав на его наименование.

В открывшейся форме «Правила загрузки данных» внесите необходимые изменения и затем нажмите на кнопку «Создать набор данных»:

После нажатия на кнопку «Обновить» происходит обновление данных, загруженных в облачное хранилище, а также обновляется соответствующий простой набор данных.

Удаление существующего правила загрузки данных

При необходимости можно удалить ранее созданное правило загрузки данных, нажав на кнопку «Удалить» в списке правил.

Перед удалением правила загрузки данных следует убедиться, что созданные на его основании другие объекты (простые наборы данных, составные наборы данных) ранее уже были удалены.
После нажатия на кнопку «Удалить» отобразится всплывающее окно для подтверждения выбранного действия: «Вы действительно хотите удалить это правило?». Для подтверждения действия следует нажать на кнопку «Удалить». Если нет необходимости удалять выбранное правило загрузки данных, то следует нажать на кнопку «Отмена».

Настройка правил загрузки данных - Продукт Modus BI