Варианты использования Modus ETL

Программный продукт «Модус: Управление корпоративным хранилищем данных (ETL)» (Modus ETL) может быть использован в нескольких вариантах, которые отличаются способами получения, загрузки и обработки данных. Существуют базовый и продвинутый варианты работы с системой.

Базовый вариант

Использует встроенные механизмы Modus ETL:

Сбор данных:
- Данные из источников сначала размещаются во временных массивах и структурах.
- Затем они сохраняются в базу данных хранилища целиком.
Интеграция с 1С-источниками:
- Используется механизм «Внешнее соединение» (COM-коннектор).

Продвинутый вариант

Более производительный и масштабируемый, предполагает использование дополнительных модулей:

«Агент ETL»:
- Разработан на языке Golang для многопоточной обработки данных.
- При работе под ОС Linux использование «Агента ETL» обязательно.
- Возможно использование нескольких агентов, размещенных на разных серверах, что обеспечивает горизонтальную масштабируемость получения и обработки данных.
«Адаптер ETL для 1С»:
- Это HTTP-сервис для получения данных из 1С-приложений.
- Устанавливается в 1С-источники как:
  - Подсистема в конфигурацию базы-источника.
  - Расширение конфигурации.

Сравнение и особенности вариантов, а также названия инструкций по установке и настройке дополнительного ПО представлены в следующей таблице.

Функционал	Базовый вариант	Продвинутый вариант с дополнительным ПО
Сбор и обработка данных	Стандартные механизмы приложения: получаемые из источников данные сохраняются во временных массивах и структурах и, затем записываются в БД хранилища целиком	Агент ETL: Многопоточное получение данных с управлением порциями и очередями. (+) производительность; (+) масштабируемость; (+) работа под ОС Linux. Modus ETL. Руководство по установке Агента
Коннектор для 1С-источников	Внешнее соединение/COM-коннектор: (-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы / СОМ-коннектора	Адаптер ETL для 1С: (-) http-сервис, встраиваемый в 1С-источник; (+) нативные способы получения данных из 1С Установка и настройка Modus ETL Установка Адаптера ETL

Функционал

Базовый вариант

Продвинутый вариант с дополнительным ПО

Сбор и обработка данных

Стандартные механизмы приложения:
получаемые из источников данные сохраняются во временных массивах и структурах и, затем записываются в БД хранилища целиком

Агент ETL:
Многопоточное получение данных с управлением порциями и очередями.
(+) производительность;
(+) масштабируемость;
(+) работа под ОС Linux.

Modus ETL. Руководство по установке Агента

Коннектор для 1С-источников

Внешнее соединение/COM-коннектор:
(-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы / СОМ-коннектора

Адаптер ETL для 1С:
(-) http-сервис, встраиваемый в 1С-источник;
(+) нативные способы получения данных из 1С

Установка и настройка Modus ETL

Установка Адаптера ETL

Схема компонентов аналитической системы с использованием Агента ETL и Адаптера ETL-1С представлена на рисунке ниже:

Подробные об установке, настройке, требованиях к оборудованию, ПО и ограничениях для модулей в разделе «Установка и запуск Modus ETL».