Варианты использования Modus ETL

Программный продукт Modus ETL может быть использован в нескольких вариантах, которые отличаются способами получения, загрузки и обработки данных. Существуют базовый и продвинутый варианты работы с системой.

Базовый вариант

Использует встроенные механизмы Modus ETL:

Сбор данных:
- данные из источников сначала размещаются во временных массивах и структурах;
- затем они сохраняются в базу данных хранилища целиком.
Интеграция с 1С-источниками:
- используется механизм «Внешнее соединение» (COM-коннектор).

Продвинутый вариант

Более производительный и масштабируемый, предполагает использование дополнительных модулей:

Агент ETL:
- разработан на языке Golang для многопоточной обработки данных;
- при работе под ОС Linux использование Агента ETL обязательно;
- возможно использование нескольких Агентов, размещенных на разных серверах, что обеспечивает горизонтальную масштабируемость получения и обработки данных.
Адаптер ETL для 1С:
- это HTTP-сервис для получения данных из 1С-приложений;
- устанавливается в 1С-источники как:
  - подсистема в конфигурацию базы-источника;
  - расширение конфигурации.

Сравнение и особенности вариантов, а также названия инструкций по установке и настройке дополнительного ПО представлены в следующей таблице.

Функционал	Базовый вариант	Продвинутый вариант с дополнительным ПО
Сбор и обработка данных	Стандартные механизмы приложения: получаемые из источников данные сохраняются во временных массивах и структурах и, затем записываются в БД хранилища целиком	Агент ETL: Многопоточное получение данных с управлением порциями и очередями. (+) производительность; (+) масштабируемость; (+) работа под ОС Linux. Modus ETL. Руководство по установке Агента
Коннектор для 1С-источников	Внешнее соединение/COM-коннектор: (-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы/ СОМ-коннектора	Адаптер ETL для 1С: (-) http-сервис, встраиваемый в 1С-источник; (+) нативные способы получения данных из 1С. Установка и настройка Modus ETL Установка Адаптера ETL

Функционал

Базовый вариант

Продвинутый вариант с дополнительным ПО

Сбор и обработка данных

Стандартные механизмы приложения:
получаемые из источников данные сохраняются во временных массивах и структурах и, затем записываются в БД хранилища целиком

Агент ETL:

Многопоточное получение данных с управлением порциями и очередями.

(+) производительность;
(+) масштабируемость;
(+) работа под ОС Linux.

Modus ETL. Руководство по установке Агента

Коннектор для 1С-источников

Внешнее соединение/COM-коннектор:
(-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы/ СОМ-коннектора

Адаптер ETL для 1С:

(-) http-сервис, встраиваемый в 1С-источник;
(+) нативные способы получения данных из 1С.

Установка и настройка Modus ETL

Установка Адаптера ETL

Схема компонентов аналитической системы с использованием Агента ETL и Адаптера ETL-1С представлена на рисунке ниже.

Подробнее о требованиях к оборудованию, ПО и ограничениях для модулей смотрите в разделе «Технические требования».