Мастер сбора данных объединяет в себе три раздела ETL: «Базы данных», «Установка правил выгрузки», «Состав выгрузки» — для быстрого и удобного получения данных по заданным правилам из систем 1С и SQL.

Подробнее про «Базы данных» в разделе «Настройка соединения с БД».

Подробнее про «Установку правил выгрузки» в разделе «Настройка правил выгрузки данных».

Подробнее про «Состав выгрузки» в разделе «Настройка состава выгрузки данных».

1 «Источники данных»

На вкладке «Источники данных» выбирается база-источник, из которой необходимо получить данные.

Нажмите на кнопку «Выбрать из существующих» или «Настроить подключение», если база-источник не подключена в ETL.

Если в «Мастере сбора данных» нажать на кнопку «Настроить подключение» откроется окно «Настройки».

Если нажать на кнопку «Выбрать из существующих» откроется окно «Набор источников». 

2 «Правила сбора данных»

2.1 Настройка

На вкладке «Правила сбора данных» пишется запрос, далее выбирается база-приемник, и создается таблица, в которую будут записаны данные. После этого нужно выбрать режим записи.
Действия по аналогии раздела «Настройка правила вида «Запрос»».

Если на втором шаге «Правила сбора данных» нажать на кнопку «Выбрать из существующих», то откроется список «Правил выгрузки», которые были созданы ранее.

Чтобы создать новое правило, нажмите на кнопку «Настроить правила», откроется окно «Настройки».

При настройке нового «Правила сбора данных» есть три вкладки:

• «Настройки запроса»;
• «Настройки приемника»;
• «Дополнительно».

2.1.1 Настройки запроса

Вставьте текст запроса на вкладке «Настройка запроса». Правило сбора данных базируется на тексте запроса (к 1С, PostgresSQL, MS SQL, Oracle, MySQL).

Запросы могут содержать параметры, например «ДатаНачала» и «ДатаОкончания», которые определяют период выгрузки данных. Параметры также устанавливаются и для запросов, написанных на языке SQL.

Вы можете проверить корректно ли отрабатывается запрос, для этого нажмите на кнопку  «Консоль запросов», ограничьте выборку, например, первые 100 записей и нажмите на кнопку «Показать результат». Загрузится таблица со структурой данных.

Нажмите на кнопку «Настроить параметры» на вкладке «Настройка запроса».

Настроить параметры вы можете с помощью раздела «Настройка правила вида «Запрос». 

2.1.2  Настройка приемника

Укажите базу данных-приемник, если её нет — добавьте. Для этого нажмите на кнопку «Создать» рядом с выбором базы.

Ознакомиться с подключением к Базам данных вы можете в разделе «Подключение баз данных хранилища и источника». 

Выберите режим записи данных:

1. «Очистить и добавить» — удаляет старые данные перед заполнением и добавляет новые. При этом очищение происходит до получения данных. Если данные получены неуспешно, таблица останется пустой;
2. «Добавить» — добавляет новые данные к существующим;
3. «Скопировать и добавить» — скопирует исходную таблицу (у таблицы-копии добавится к названию исходной таблицы суффикс, содержащий дату и время обновления данных), после этого очистит таблицу и добавит туда полученные данные.

Нажмите на кнопку «Заполнить соответствие полей», отобразится структура таблицы с полями и типами данных. Колонки, которые система определила в запросе являются структурой для создания таблицы. При необходимости вы можете изменить типы и название полей.
Далее нажмите на кнопку «Создать таблицу в БД». Отобразится сообщение о выполнении запроса. 
После этого нажмите на кнопку «Сохранить».

2.1.3 Дополнительно

На вкладке «Дополнительно» возможно добавить созданный «Состав выгрузки в Группу». 
Подробнее о «Состав выгрузки в Группу» вы можете изучить в разделе «Настройка состава выгрузки данных».

2.2 Состав выгрузки

После создания «Правила (или выбора из существующих)» в окне «Мастер сбора данных» на шаге «2 Правила сбора данных» появится «Состав выгрузки».

В открывшемся окне «Состав выгрузки» поставьте галочку «Делить на потоки по параметрам» —  если требуется разделить получение данных на потоки, зависящие от пакетов (наборов) параметров.

Перейдите на вкладку «Дополнительно», и укажите агента для высокоскоростного получения данных.

Нажмите на кнопку «Записать» и «Направить задание в очередь», чтобы начать загрузку.

3 «Настройка ETL пакета»

На вкладке ETL пакет возможно создать пакет и настроить расписание загрузки данных или добавить созданные «Правило и Состав выгрузки» в уже существующий пакет. Подробнее в разделе Пакеты обработки данных.

Для мониторинга загрузки данных перейдите в «Логи» и выберите «Факт выгрузки». Подробнее процесс работы описан в разделе «Логирование выгрузки данных».