null

Функциональная возможность «Правила выгрузки» позволяет:

  • получать данные из источника (базы данных, 1С, файла и т.д.), подробнее см. раздел «Источники данных»;
  • получить данные при помощи SQL запроса, 1С запроса, «Системы компоновки данных» (СКД) или кода на python;
  • сохранить данные в конкретную базу данных или таблицу.

Правила выгрузки для определенного набора данных могут меняться в зависимости от потребностей или в связи с изменением структуры данных в источниках данных, поэтому предусмотрена возможность хранить историю правил выгрузки.

Настройка собственно правил получения данных зависит от вида правила выгрузки.

Объект «Правило выгрузки» хранится в справочнике «Правила выгрузки», а настройки, привязанные к определенному правилу выгрузки, устанавливаются документом «Установка правил выгрузки».

Каждый следующий документ с одним и тем же правилом, отменяет действие предыдущего. В Modus ETL реализован механизм версионирования объектов, который  фиксирует изменения пакетов, сценариев и правил выгрузки, предоставляя доступ к истории правок и сравнению версий объектов, подробнее см. раздел «Версионирование объектов в Modus ETL».

Документ «Установка правил выгрузки» содержит текст запроса и параметры для получения данных из источника, а также правила записи этих данных в таблицу-приемник.

Чтобы создать новый или отредактировать существующий документ перейдите в раздел «Главное/ Настройки/ Установить правила выгрузки» или «Начальная страница/Сбор данных/ Установка правил выгрузки».

В диалоговом окне «Установить правила выгрузки», для формирования нового правила нажмите кнопку «Создать».

В диалоговом окне «Установить правило выгрузки (создание)» заполните:

Вкладка «База данных»:

  1. «БД для выгрузки» — выберите из справочника баз данных базу-приемник.
  2. «Таблица выгрузки» — выберите таблицу-приемник. Эта таблица может уже существовать в базе-приемнике или возможно ввести название еще несуществующей таблицы, а в последствии, когда ее поля будут описаны в представлении полей таблицы (см. рисунок ниже, п.4).
  3. «Настроить таблицу выгрузки» — кнопка открывает окно для создания и настройки целевой таблицы. Здесь вы указываете её имя, сопоставляете поля источника с колонками (кнопка «Заполнить соответствие полей»), задаете типы и слои данных. Подробнее см. настройке смотрите в разделах «Использование существующей таблицы БД в правиле выгрузки» и «Получение данных из зарплатных отчетов (ЗУП)».
    Примечание: для разовых выгрузок (отчет, файл) настройку таблицы можно не выполнять.
    Важно: флаг «Изменять объект в базе» (внутри окна) разрешает или запрещает ETL автоматически менять структуру существующей таблицы при последующих выгрузках.
  4. Структура таблицы выгрузки.

Вкладка «Служебные поля»:

Используется для настройки аудиторских полей. После выбора режима в поле «Режим заполнения служебных полей», при создании таблицы поля будут добавлены в нее вместе с полями на вкладке «База данных». По умолчанию используется режим — «Основной». Подробнее см. раздел «Настройка служебных полей».

Вкладка «Обработчики»:

Используется для настройки постобработки данных в особых случаях. Например, для преобразования/ форматирования полученных значений; заполнения геокоординат по адресу и т.д.

Вкладка «Настройки»:

  • Флаг «Не замещать существующие объекты» — при установленной галочке, система пропустит этап изменения или пересоздания целевой таблицы, если она уже существует в базе данных. Это полезно, когда структура таблицы уже настроена, и вы не хотите, чтобы ETL сбросил её по умолчанию (например, удалил индексы или изменил типы полей).
  • Флаг «Выполнять замену символов» — при установленной галочке доступна настройка замены символов в строковых полях получаемых данных (например, удаление или замена недопустимых символов, не поддерживаемых целевой СУБД). Используется для предотвращения ошибок при загрузке «грязных» данных;
  • «Таблица модели» — выберите объект метаданных, описывающий структуру таблицы в хранилище (DWH). Обычно заполняется автоматически после настройки таблицы выгрузки (кнопка «Настроить таблицу выгрузки»).​​​​​​

Вкладка «Настройка обезличивания» — настройка маскировки персональных данных «на лету» при загрузке в DWH. Позволяет обезличить поля (ФИО, телефон etc) по заданному правилу.

Подробнее см. раздел базы знаний «Технические настройки для подготовки к работе».

  1. «Провести и закрыть» — при проведении происходит запись («Период», «Регистратор», «Правило») в регистр «Правила выгрузки». Этот регистр служит для хранения истории документов-регистраторов для конкретного правила и получения актуального правила и актуального регистратора, что используется, например, в «Обработке выгрузки данных».
  2. «Записать» — записать изменения.
  3. «Провести» — поведение аналогично «Провести и закрыть».
  4. «Настроить параметры» — позволяет задать значения для параметров, используемых в запросе (например, дату начала и окончания периода), подробнее см. раздел «Настройка состава выгрузки данных».
  5. «Консоль запросов» — предназначена для выполнения SQL-запросов к подключённым базам данных, проверки правильности синтаксиса, получения предварительных результатов, отладки запросов, отработки правил выгрузки и анализа структуры данных, подробнее о работе в консоли запросов см. раздел «Консоль запросов».

Примечание — Если вам необходимо использовать существующую таблицу БД в правиле выгрузки, подробнее см. раздел «Использование существующей таблицы БД в правиле выгрузки».

Связи контента