Установка и запуск Modus ETL - Продукт Modus BI
Программный продукт: «Модус: Управление корпоративным хранилищем данных (ETL)» (Modus ETL)
Дистрибутив Modus ETL содержит:
- «setup.exe» — исполняемый файл для установки шаблона конфигурации для Windows, «setup» — для linux.
- «protected_x_x_x_x.cf» – конфигурация ETL определенной версии.
- «AgentETL» – исполняемый файл для установки АгентаETL.
- «АдаптерETL.cfe» — файл для установки АдаптераETL в базы-источники на платформе 1С в качестве расширения.
Modus ETL может быть использован в нескольких вариантах, которые отличаются способами получения, загрузки и обработки данных. Существуют базовый и продвинутый варианты работы с системой.
Базовый вариант
Использует встроенные механизмы Modus ETL:
- Сбор данных:
- Данные из источников сначала размещаются во временных массивах и структурах.
- Затем они сохраняются в базу данных хранилища целиком.
- Интеграция с 1С-источниками:
- Используется механизм «Внешнее соединение» (COM-коннектор).
Продвинутый вариант
Более производительный и масштабируемый, предполагает использование дополнительных модулей:
- «Агент ETL»:
- Разработан на языке Golang для многопоточной обработки данных.
- При работе под ОС Linux использование «Агента ETL» обязательно.
- Возможно использование нескольких агентов, размещенных на разных серверах, что обеспечивает горизонтальную масштабируемость получения и обработки данных.
- «Адаптер ETL для 1С»:
- Это HTTP-сервис для получения данных из 1С-приложений.
- Устанавливается в 1С-источники как:
- Подсистема в конфигурацию базы-источника.
- Расширение конфигурации.
Сравнение и особенности вариантов, а также названия инструкций по установке и настройке дополнительного ПО представлены в следующей таблице.
| Функционал | Базовый вариант | Продвинутый вариант с дополнительным ПО |
|---|---|---|
| Сбор и обработка данных | Стандартные механизмы приложения: получаемые из источников данные сохраняются во временных массивах и структурах и, затем записываются в БД хранилища целиком |
Агент ETL: |
| Коннектор для 1С-источников | Внешнее соединение/COM-коннектор: (-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы / СОМ-коннектора |
Адаптер ETL для 1С: Установка и настройка Modus ETL
|
Схема компонентов аналитической системы с использованием Агента ETL и Адаптера ETL-1С представлена на рисунке ниже:
Требования к оборудованию и программному обеспечению
Минимальные требования к оборудованию и программному обеспечению
| Сервер | Программное обеспечение | Операционная система | Минимальные требования к серверу (Процессор, ОЗУ, ЖД) |
|---|---|---|---|
| Сервер 1С | Платформа 8.3.18 и выше |
Процессор: желательно использование многопроцессорных или многоядерных машин ОЗУ: от 4 Гб; ЖД: от 20 Гб |
|
| Сервер СУБД | SQL Server 2008 и выше или PostgreeSQL 9.1 и выше |
Технические характеристики и операционная система должны |
Определение какие мощности и программное обеспечение (СУБД для хранилища, Агенты для ETL балансировщики нагрузки и т.д.) необходимы для обеспечения требуемой функциональности, производительности и отказоустойчивости в каждом конкретном случае требует экспертного анализа и сайзинга, а в комплексных случаях проведения нагрузочных тестов.
ModusETL возможно использовать для получения данных из облачных систем 1С:Fresh. Ниже для такого варианта использования представлены:
- схема Аналитической системы:
- рекомендуемые характеристики оборудования и программного обеспечения — см. в двух таблицах ниже:
- «BI для 1C: Fresh» — рекомендуемые характеристики оборудования и программного обеспечения
| Сервер | Компонент | Программное обеспечение | Операционная система | CPU, ОЗУ, ЖД |
|---|---|---|---|---|
| ETL | 1C | Платформа 8.3.18 и выше | Win/Linux | CPU:12 ядер ОЗУ:16 Гб ЖД: 200 Гб |
| Хранилище данных | СУБД | SQL Server 2008 и выше или PostgreeSQL 9.1 и выше |
Win/Linux | CPU:16 ядер ОЗУ: 24 Гб; ЖД: 700 Гб |
- «BI для 1C: Fresh» — пример для интенсивного использования
| Описание | Сервер | Программное обеспечение | CPU, ОЗУ, ЖД |
|---|---|---|---|
|
Источники данных:
|
Сервер 1С | Платформа 8.3.18 | CPU: 16 ядер ОЗУ: 24 Гб ЖД: 200 Гб |
| Сервер СУБД для 1С и хранилища данных |
SQL Server 2012 | CPU: 16 ядер; ОЗУ: 48 Гб; ЖД: 1.5 Тб |
Ограничения для некоторых модулей и функций
При установке и использовании следует учитывать особенности и ограничения для некоторых модулей и функций ModusETL см. в таблице ниже.
Особенности и ограничения для некоторых модулей и функций ModusETL
| Модуль/функция | Версия платформы 1С минимальная |
1С-клиент | Ограничения |
|---|---|---|---|
| Модуль НСИ | 8.3.18 | Толстый: + Тонкий: + WEB: + |
СУБД для хранения НСИ только PostgreSQL |
| Модуль DataMining (библиотеки Python) | 8.3.18 | Толстый: + Тонкий: + WEB: + |
ПО: Python, Flask, IIS |
| Модуль WorkFlow | 8.3.18 | Толстый: + Тонкий: + WEB: + |
ОС клиента — Windows |
| Сбор данных из 1С, используя Схему источника (СКД) | 8.3.18 | Толстый: весь функционал Тонкий: все, кроме настройки схемы WEB: все, кроме настройки схемы |
Modus ETL. Руководство пользователя. Ограничения при использовании СКД (п. 6.6.3) |
Особенности настройки 1C для работы ETL
При установке информационной базы Modus ETL на сервере 1С, где эта база развернута, должен быть добавлен параметр DisableUnsafeActionProtection в файл «conf.cfg»
Пример: DisableUnsafeActionProtection=.*"[eE][tT][lL]".*;
С помощью данного параметра предоставляется возможность отключить защиту от опасных действий для определенных информационных баз. Информационные базы определяются набором шаблонов (регулярных выражений), разделяемых символом «;». Если строка соединения с информационной базой будет удовлетворять какому-либо регулярному выражению, перечисленному в данном параметре, для такой информационной базы защита от опасных действий будет отключена.
При редактировании регулярных выражений следует использовать POSIX Basic Regular Expressions.
Данный параметр используется тем процессом, который фактически выполняет потенциально опасное действие:
- Загрузка внешних обработок, отчетов или расширений конфигураций — только сервер (процесс rphost).
- Загрузка внешних компонент — клиентское приложение или сервер (процесс rphost).
- Запуск внешнего приложения — клиентское приложение или сервер (процесс rphost).
Установка и настройка Modus ETL
Установка и настройка системы Modus ETL — это многоэтапный процесс, который требует внимательного подхода и понимания последовательности действий. Инструкции помогут вам разобраться в каждом этапе, чтобы обеспечить корректную работу системы для управления корпоративным хранилищем данных.
Установка конфигурации Modus ETL
На первом этапе устанавливаются основные компоненты: сервер 1С, клиент 1С и конфигурация ETL. Это основа для дальнейшей работы системы.
Установка СЛК
После установки базовых компонентов необходимо настроить Систему лицензирования и защиты конфигураций (СЛК), которая обеспечивает безопасность и управление лицензиями.
Установка Агента ETL
Для многопоточного и оперативного сбора данных из различных СУБД и записи в базу-хранилище ETL устанавливается и настраивается «Агент ETL». Этот модуль значительно повышает производительность системы.
Взаимодействие Агента ETL и базы ETL
Для настройки взаимодействия между ETL и Агентом предварительно устанавливается веб-сервер (IIS или Apache2).
Установка Адаптера ETL
Адаптер ETL — это HTTP-сервис, который позволяет оперативно загружать данные из 1С-приложений в базу-хранилище ETL. Перед его установкой необходимо опубликовать 1С-приложение на веб-сервере.
Мастер первичной настройки
После установки всех компонентов можно переходить к настройке системы через Мастер первичной настройки.
Мастер поможет вам пошагово выполнить основные настройки:
- Установить связь с сервером СЛК.
- Подключить базу-источник данных.
- Настроить режим записи данных в таблицу-приемник.
- Подключить подсистемы (шаблоны шагов сценария, Агента ETL, пресеты).
- Настроить пользователей и права доступа.
- Установить таймауты фоновых заданий, максимальное количество потоков сбора данных и попыток обработки заданий в очереди.
Мастер доступен в любой момент через главное меню, что позволяет вернуться к настройкам при необходимости.
Подключение баз данных хранилища и источника
После завершения первичной настройки необходимо подключить базы данных хранилища и источников данных.
Технические настройки для подготовки к работе
На этом этапе заполняются настройки, регулирующие доступ к данным и получение данных.
Настройка профилей и групп пользователей
Завершающий этап, на котором настраиваются профили пользователей и группы доступа для обеспечения безопасности и контроля над данными.