Мастер интеграции – это универсальный инструмент ETL, который позволяет аналитику без привлечения программиста настраивать интеграцию с различными Сервисами-источниками для получения из них данных.

Мастер позволяет проще и быстрее настраивать получение данных из различных информационных систем и сервисов, минимизируя необходимость вручную настраивать сложные параметры или писать код для обработки и передачи данных. Он обеспечивает удобный интерфейс для выбора источников данных, настройки параметров и создания интеграционных потоков, что делает процесс более доступным для пользователей без глубоких технических знаний.

Интеграция с каждым Сервисом-источником осуществляется при помощи специального драйвера-коннектора. Пользователь при работе с Мастером интеграции выбирает доступный драйвер-коннектор к соответствующему Сервису-источнику и пошагово осуществляет настройку получения данных из этого Сервиса.

Мастер интеграции, на основании созданной пользователем настройки, автоматически генерирует весь стандартный набор Объектов ETL, необходимых для получения данных (Источники, Наборы источников, Правила выгрузки, Составы выгрузки, Пакеты обработки данных и т.д).

Отображение Мастера интеграции

«Мастер интеграции» находится на начальной странице Modus ETL:

Если на начальной странице ETL Мастер интеграции не отображается, его необходимо включить. Для этого пользователю с ролью Администратор необходимо выполнить следующие шаги:

1. Перейдите на начальной странице ETL в раздел «Информация/ Основные настройки».
2. В разделе «Управление хранилищем» проверьте, установлена ли галочка «Использовать управление хранилищем».
3. В разделе «Прочее» установите галочку «Использовать Мастер интеграции». Поскольку Мастер интеграции использует функционал по управлению хранилищем, даже если галочка «Управление хранилищем» не установлена, соответствующий функционал будет автоматически активирован.

Основное меню Мастера интеграции

В конфигураторе мастера интеграции вы можете выбрать существующий мастер интеграции или создать новый. Функционал мастера позволяет объединять группы интеграции для более эффективного управления данными.

Для удобства визуализации и организации данных нажмите на кнопку «ЕЩЕ» и выберите необходимый «Режим просмотра»: «Дерево», «Список» или «Иерархический список».

Мастер интеграции состоит из 6 шагов, представленных в виде вкладок, на каждой из которых производятся различные настройки. Перемещение между этими вкладками осуществляется с помощью кнопок «Назад» и «Далее». Также вы можете перейти к предыдущему шагу, кликнув по названию соответствующей вкладки.

Вкладка «Сервис-источник»

Настройте на вкладке «Сервис-источник» подключение к существующему сервису-источнику или создайте новый. Для выбора существующей настройки подключения сервиса-источника выберите нужный сервис-источник и нажмите на кнопку «Выбрать». После этого название источника будет выделено жирным шрифтом.

При создании нового сервиса-источника система запросит указать и выбрать файл драйвера сервиса в формате *.epf. От загрузки файла возможно отказаться.

В меню введите название конфигурации, затем выберите:

• Вид объекта — Обработка конфигурации или Дополнительная обработка.
• Основная обработка — выберите нужный драйвер-коннектор и нажмите «Сохранить».

После этого в разделе «Параметры» будет предложено ввести параметры подключения (например: webhook, логин и пароль). Параметры могут отличаться в зависимости от выбранного драйвера-коннектора.

Нажмите на кнопку «Проверить подключение», если поддерживается, чтобы убедиться, что подключение успешно установлено.

По завершении настройки нажмите «Записать и закрыть».

Кнопки, описанные ниже, доступны, если действия поддерживается драйвером-коннектором:

• «Инсталлировать» — позволяет выполнить инсталляционные действия и заполнить параметры.
• «Деинсталлировать» — позволяет выполнить деинсталляционные действия.
• «Проверить подключение» — позволяет проверить корректность параметров подключения.

Вкладка «Разделы сервиса»

На вкладке «Разделы сервиса» выберите и настройте разделы сервиса.

Для выбора нужного раздела нажмите на кнопку «Выбрать». Возможно выбрать только один раздел сервиса.

Для обновления списка разделов сервиса нажмите на кнопку «Обновить по данным сервиса».

Вы можете создать раздел сервиса самостоятельно, указав все требуемые параметры, для этого нажмите на кнопку «Создать».

Вкладка «Параметры раздела»

На этой вкладке пользователь вносит параметры раздела сервиса. Специфика и состав этих параметров варьируются в зависимости от выбранного сервиса. Важно отметить, что все параметры являются необязательными к заполнению. Для некоторых Сервисов-источников разделы могут вовсе не содержать параметров. В такой ситуации рекомендуется пропустить этот шаг, нажав на кнопку «Далее».

Вкладка «Объекты-источники»

На данной вкладке отображаются только те объекты-источники, которые принадлежат к выбранному разделу сервиса.

Для выбора объекта-источника нажмите на кнопку «Выбрать». Вы можете выбрать один или несколько объектов-источников для последующей настройки. Для отказа от ранее выбранного объекта нажмите «Отменить выбор».

Если необходимо обновить список объектов в соответствии с актуальными данными драйвера, нажмите на кнопку «Обновить».

Для перехода к запросу примеров данных нажмите на кнопку «Перейти», если драйвер поддерживает данную функциональность.

Создание объекта-источника вручную (если поддерживается): создайте объект-источник, заполнив необходимые параметры. При создании объекта-источника кнопка «Заполнить по правилу разбора данных» (если поддерживается) позволяет автоматически заполнить поля объекта-источника в соответствии с установленными правилами разбора данных.

Вкладка «Таблицы-приемники»

На данной вкладке создайте и настройте Таблицу-приемник для каждого выбранного Объекта-источника. Этот процесс включает в себя выстраивание соответствия между полями Объекта-источника и полями Таблицы-приемника.

Для настройки выполните следующие шаги:

1. Выберите Объект-источник: в левой части интерфейса выберите объект сервиса (1) и поля (2), которые требуется передать в Таблицу-приемник.
2. Настройте таблицу-приемник (3):
   • Выберите базу данных, в которой будет расположена Таблица-приемник.
   • Выберите таблицу модели: вы можете использовать уже существующую таблицу, создать новую или изменить существующую. Для создания новой таблицы нажмите на кнопку «+ Создать» и заполните необходимые данные. После завершения настройки таблица будет создана в базе данных.
   • Выберите режим записи данных: «Добавить», «Очистить и добавить», «Скопировать и добавить».
     
3. Сопоставление полей.

Нажмите на кнопку «Автосопоставление», чтобы автоматически сопоставить поля объекта-источника и поля таблицы-приемника по именам и типам.

Нажмите на кнопку «Очистить сопоставление», чтобы полностью очистить существующее сопоставление полей.

Двойное нажатие на символ «х» в правой части таблицы позволяет очистить сопоставление по конкретному полю.

Важные уточнения:

• Вы можете выбрать как существующую Таблицу-приемник, так и создать новую.
• При необходимости состав полей Таблицы-приемника возможно изменить, что приведет к ее пересозданию. Следует учесть, что при этом все ранее записанные данные будут утеряны, и таблицу нужно будет заполнить заново.
• Переход к следующему шагу возможен только после того, как будут сопоставлены поля для всех выбранных ранее объектов сервиса.

Вкладка «Дополнительно»

На вкладке «Дополнительно» выполните шаги для завершения настройки Мастера интеграции. Здесь возможно создать расписание для «Пакета обработки данных» и добавить в пакет сценарий обработки данных.

Также на этой вкладке вы можете выполнить дополнительные действия:

• Кнопка «Создать объекты/Обновить» объекты позволяет создать или обновить пакет обработки данных и вспомогательные объекты ETL.
• Кнопка «Запустить пакет» позволяет запустить сбор данных по созданному пакету обработки данных.
• Переключатель и гиперссылка «Выполнять по расписанию» позволяет настроить выполнение пакета обработки данных ETL «по расписанию».

Важные уточнения

• После каждого изменения настроек Мастера интеграции необходимо обновить созданные объекты ETL.
• Настройка Мастера интеграции становится недоступной для редактирования во время выполнения пакета ETL. Для внесения изменений дождитесь завершения процесса, либо прервите выполнение пакета.
• Редактирование объектов ETL, созданых при помощи Мастера интеграции, возможно только через изменения параметров соответствующей настройки Мастера интеграции.