Общая информация

Для работы с данными в Modus ETL необходимо настроить подключение к базам данных. Процесс включает два сценария:

• подключение к базе-источнику (откуда загружаются данные);
• подключение к базе-хранилищу (куда данные сохраняются).

Для описания источников данных используется многоуровневая структура метаданных:

• справочник «Набор источников» — для хранения объектов «Набор источников»;
• справочник «Источники данных» — для хранения объектов «Источник данных»;
• документ «Регистрация набора источников» — для объединения источников в набор.

Подробнее о структуре см. разделы «Источники данных».

Поддерживается выбор значения по показателям:

• для одного набора источников может быть создан один документ «Регистрация набора источников»;
• один источник данных может одновременно входить в несколько наборов данных.

Настройка подключения к базе-источнику

Настройка подключения к источнику состоит из трёх этапов:

1. Установка соединения с базой.
2. Создание элемента справочника «Источник данных».
3. Создание элемента справочника «Набор источников».

Установка соединения с базой

Для настройки баз данных перейдите в раздел «Размещение данных/ Базы и источники/ Базы данных». Либо перейдите в окно баз данных через начальную страницу Modus ETL.

В диалоговом окне «Базы данных» нажмите на кнопку «Создать»,  в открывшемся окне заполните необходимые настройки.

Проверка доступности баз данных

Вы можете проверить подключение к базе данных. Для проверки подключения перейдите в раздел «Размещение данных/ Базы данных».

1. Для проверки подключения к определенной БД выберите базу и нажмите на кнопку «Проверить подключение». Появится информационное окно «Подключение к базе данных установлено». В случае недоступности будет выведено подробное сообщение об ошибке:
   
2. Для проверки подключения к нескольким БД нажмите на кнопку «Все», в открывшемся окне по умолчанию выбраны все базы, при необходимости снимите галочки с баз, по которым проверка не нужна:
   • Нажмите на кнопку «Запустить процесс». Прогресс и время выполнения отображается на шкале.
   • После завершения проверки, если подключение успешно, появится зеленый значок.

Настройка базы 1С

1. Поле «Тип базы данных» — установите значение «1С».
2. «Способ доступа» — выберите «Адаптер для 1С» или «COMConnector».

 

Для подключения через «Адаптер для 1С» заполните поля:

1. «Адрес публикации информационной базы».
2. «Пользователь».
3. «Пароль».

Для типа подключения «COMConnector» заполните поля:

1. «Сервер» — при необходимости укажите имя дублирующего сервера (например, сервера с копией базы-источника).
2. на вкладке «Дополнительно» выберите версию платформы 1С.

Общие настройки для 1С:

1. Включите переключатель «Используется для получения данных».
2. Установите переключатель «Работает в модели сервиса», если информационная база 1С работает по сервисной модели (SaaS) — когда в одной базе могут работать несколько независимых абонентов (организаций), полностью изолированных друг от друга.
3. После заполнения настроек проверьте наличие подключения к базе, нажав на кнопку «Проверить подключение».
4. Нажмите на кнопку «Записать», чтобы сохранить настройки.

Настройка базы СУБД

«Тип базы данных» — из выпадающего списка выберите:

• Oracle;
• MS SQL;
• PostgreSQL;
• ClickHouse;
• Vertica;
• Прочие ODBC.

Заполните поля:

• «Представление» — как БД будет отображаться в объектах системы;
• «База» — имя базы данных;
• «Имя схемы» — схема БД, которая будет использоваться;
• «Сервер» — адрес сервера БД;
• «Порт» — порт подключения;
• «Логин» — пользователь, под которым происходит подключение к БД;
• «Пароль» — пароль пользователя.

Включите переключатель «Используется для получения данных». После заполнения настроек проверьте наличие подключения к базе, нажав на кнопку «Проверить подключение». Нажмите на кнопку «Записать», чтобы сохранить настройки.

При необходимости установите переключатель «Использовать дублирующий сервер» и заполните поля альтернативного сервера, на котором может быть размещена копия основной БД.

Если переключатель не установлен, строка для неиспользуемого элемента отображается неактивной .

Подключение через «Прочие ODBC»

Для баз данных, не указанных в списке, используется тип подключения «Прочие ODBC» (например, MySQL, SQLite).

На сервере, где установлен Агент ETL, установите ODBC-драйвер для нужной СУБД.

В ETL, в разделе «Базы данных», создайте новое подключение:

1. В поле «Тип базы данных» выберите: «Прочие ODBC».
2. Укажите параметры подключения:
   • «Представление» — как БД будет отображаться в объектах системы;
   • «База» — имя базы данных;
   • «Имя схемы» — схема БД, которая будет использоваться;
   • «Сервер» — адрес сервера БД;
   • «Порт» — порт подключения;
   • «Логин» — пользователь, под которым происходит подключение к БД;
   • «Пароль» — пароль пользователя.
3. Добавьте шаблон строки подключения для установленного ODBC-драйвера (согласно документации драйвера).
4. Включите переключатель «Используется для получения данных».
5. Проверьте подключение и сохраните настройки.

Настройка источника «Файл»

В поле «Тип базы данных» выберите: «Файл».

1. Заполните поле «Путь к файлу», выбрав необходимый файл Excel или CSV из локального компьютера.
2. Заполните поле «Шаблон строки подключения», выбрав шаблон из справочника. При необходимости создайте новый шаблон строки подключения.
3. Включите переключатель «Используется для получения данных».
4. После заполнения настроек проверьте наличие подключения к базе, нажав на кнопку «Проверить подключение».
5. Нажмите на кнопку «Записать».

Загрузка конфигурации

Вы можете загрузить конфигурацию в настройках подключения базы данных. Для этого потребуется адаптер ETL. Подробнее см. раздел «Установка адаптера ETL».

Для загрузки конфигурации:

1. Перейдите в раздел «Базы данных» и нажмите на значок инструментов.
2. Нажмите на кнопку «Загрузить конфигурацию».
3. Затем нажмите на кнопку «Показать структуру метаданных» — откроется список таблиц в базе данных.

Создание элемента справочника «Источник данных»

Для создания источника данных на основе настроенной базы данных нажмите на кнопку «Создать на основании/ Источники данных».

В открывшемся окне укажите наименование источника, выберите ранее настроенную базу данных. Сохраните источник данных, нажав на кнопку «Записать».

Подробнее см. раздел «Источники данных».

Создание элемента справочника «Набор источников»

Для создания элемента выберите на главной странице «Регистрация набора источников» или меню сверху «Размещение данных/ Базы и Источники/ Регистрация набора источников» и нажмите на кнопку «Создать».

В открывшемся окне нажмите на стрелку в поле «Наименование источников» и нажмите на кнопку «+» для создания нового набора.

В открывшемся окне укажите:

1. «Наименование» — укажите название набора источников.
2. Заполните таблицу «Источники данных», для этого нажмите на кнопку «Добавить» — добавится новая строка — в столбце «Источники данных» выберите ранее созданный источник данных из справочника.
3. Нажмите на кнопку «Записать и закрыть» в окне «Набор источников (создание)».
4. Нажмите на кнопку «Провести и закрыть» в окне «Регистрация набора источников». При проведении происходит запись в РегистрСведений.Набор_источников.

Настройка подключения к базе-хранилищу

База хранилища должна быть создана администратором баз данных вручную на сервере БД. Рекомендуемое название — DWH, однако можно задать любое другое подходящее имя.

Подключение созданной базы хранилища к Modus ETL происходит при первом входе в систему в ходе работы «Мастера первичной настройки» (см. раздел «Мастер первичной настройки»).

Для ручной настройки хранилища:

1. Подключитесь к установленной СУБД любым доступным менеджером по работе с базами данных.
2. Создайте новую базу данных-хранилище, например «DWH», с помощью команды:

   CREATE DATABASE "DWH"

3. Откройте информационную базу ETL в режиме предприятия.
4. Перейдите в раздел «Базы данных» и нажмите на кнопку «Создать».
5. Введите необходимые параметры для подключения:
   • «Представление» – как БД будет отображаться в объектах системы;
   • «Тип базы данных» – выбор типа СУБД;
   • «База» – имя базы данных;
   • «Имя схемы» – схема БД которая будет использоваться;
   • «Сервер» – адрес сервера БД;
   • «Порт» – порт подключения;
   • «Логин» – пользователь, под которым происходит подключение к БД;
   • «Пароль» – пароль пользователя.
     
6. Нажмите на кнопку «Проверить подключение»:
   • Подключение успешно, если появится соответствующее информационное окно;
   • Если подключение не доступно, необходимо проверить введенную информацию и повторить попытку.
7. После успешной проверки нажмите «Записать и закрыть».

Важные замечания

1. Переключатель «Используется для получения данных» — должен быть включён для всех баз, из которых загружаются данные.
2. Название базы чувствительно к регистру — учитывайте это при заполнении поля «База».
3. Один источник данных может входить в несколько наборов — это позволяет гибко использовать одни и те же подключения в разных сценариях.
4. Обязательно проверяйте подключение перед сохранением настроек, чтобы избежать ошибок при загрузке данных.
5. Для хранилища база данных должна быть предварительно создана администратором СУБД — ETL не создаёт её автоматически.