Объект справочника «Составы выгрузок» используется для настройки связей между правилами выгрузки и наборами источников данных, уточнения параметров выгрузки, а также, при необходимости, задания расписания получения данных.

Доступ к объекту осуществляется через меню «Главная/ Настройки/ Составы выгрузок» или непосредственно с начальной страницы интерфейса.

Для создания нового элемента нажмите на кнопку «Создать».

Получение данных можно настроить для запуска по расписанию или выполнить вручную. Чтобы вручную запустить процесс получения данных с заранее настроенным правилом выгрузки и набором данных (составом выгрузки), выберите нужный состав выгрузки и нажмите кнопку «Направить задание в очередь».

Список недавно запущенных составов выгрузок отображается в нижней части формы «Составы выгрузок».

Порядок заполнения

Заполните настройки формы «Составы выгрузок»:

1. «Наименование выгрузки» – заполнится автоматически из названий «Набор источников» и «Правила выгрузки».
2. «Набор источников»
3. «Правило выгрузки»
4. «Проект» 
5. «Таблица выгрузки (из правила)» — поле отображает таблицу, в которую по умолчанию записываются данные, определённые в выбранном правиле выгрузки (см. рисунок выше, 4).
6. «Таблица выгрузки (альтернативная)» —  можно указать другую таблицу из базы данных, в которую необходимо записать данные вместо таблицы по умолчанию.
7. «Режим записи данных»:
   • «Добавить» — добавляет новые данные в исходную таблицу, сохраняя существующие записи.
   • «Очистить и добавить» — удаляет все данные из исходной таблицы и записывает новые.
   • «Скопировать и добавить» — создаёт копию исходной таблицы с суффиксом в названии, включающим дату и время обновления, затем очищает исходную таблицу и записывает в неё новые данные.  
8. «Делить на потоки по параметрам» — установите галочку, если требуется разделить получение данных на потоки, зависящие от пакетов (наборов) параметров. Не используется при получении данных правилом выгрузки вида «Загрузка из файла».
9. «Настроить параметры» — нажмите на ссылку, установите требуемые параметры и пакеты параметров.

Параметры для получения данных

Для настройки параметров в «Составе выгрузки» перейдите по ссылке «Настроить параметры» (см. рисунок выше, 9) в окне создания состава выгрузки. Далее:

• По умолчанию параметры и их значения в «Составе выгрузки» заполняются на основе выбранного «Правила выгрузки», но значения можно изменить вручную.
• Если правило выгрузки требует нескольких параметров, необходимо добавить и заполнить их значения. Добавить строки параметров по кнопке «Добавить» и заполнить поля: «Имя параметра», «Номер пакета / этапа» (если пакет / этап один, то выбрать «=1»), «Значение параметра».
• Заполнить наименования параметров из запроса возможно по кнопке «Заполнить из запроса».
• При необходимости следует запускать запрос более 1 раза с разными значениями параметров. Возможно заполнить значения параметров, объединенных в наборы / пакеты, заполняя для строк параметров объединяющий признак «Номер пакета». Это необходимо в случае, если из-за особенностей запроса его можно запускать, например, только помесячно, но требуется получить данные за несколько (N) месяцев — при этом запрос будет запускаться N раз с периодом 1 месяц. (рисунок 1)
• Параметры можно задавать не только в виде констант (см. Рисунок выше, 2), но и в виде вычисляемых выражений (см. Рисунок выше, 3). Чтобы проверить значение выражения, установите курсор на него — результат отобразится в поле «Значение» (см. Рисунок выше, 6). Также можно вручную ввести выражение в поле «Выражение для вычисления параметра» (см. Рисунок выше, 4) и нажать кнопку «=» для вычисления (см. Рисунок выше, 5).
• Если флаг у выражения не установлен, оно не включается в запрос получения данных, и вместо него используется значение параметра в виде константы.
• Параметры типа даты можно заполнить, используя функции для работы с датами:
  • ТекущаяДата() — текущая (системная) дата;
  • ДобавитьМесяц(<Дата>, <ЧислоМесяцев>) — добавляет (или вычитает) к указанной дате заданное число месяцев. Если <ЧислоМесяцев> принимает отрицательное значение, то число месяцев вычитается;
  • НачалоГода(<Дата>) — определяет дату и время начала года для указанной даты;
  • НачалоКвартала(<Дата>) — определяет дату и время начала квартала для указанной даты;
  • НачалоМесяца(<Дата>) — определяет дату и время начала месяца для указанной даты;
  • НачалоНедели(<Дата>) — определяет дату и время начала недели для указанной даты;
  • НачалоДня(<Дата>) — определяет дату и время начала дня для указанной даты;
  • НачалоЧаса(<Дата>) — определяет дату и время начала часа для указанной даты;
  • НачалоМинуты(<Дата>) — определяет дату и время начала минуты для указанной даты;
  • КонецГода(<Дата>) — определяет дату и время конца года для указанной даты;
  • КонецКвартала(<Дата>) — определяет дату и время конца квартала для указанной даты;
  • КонецМесяца(<Дата>) — определяет дату и время конца месяца для указанной даты;
  • КонецНедели(<Дата>) — определяет дату и время конца недели для указанной даты;
  • КонецДня(<Дата>) — определяет дату и время конца дня для указанной даты;
  • КонецЧаса(<Дата>) — определяет дату и время конца часа для указанной даты;
  • КонецМинуты(<Дата>) — определяет дату и время конца минуты для указанной даты.
• Кнопка «Заполнить набор параметров» позволяет автоматически разбивать большой объем данных на отдельные интервалы для поэтапной обработки. Полезно когда требуется загрузить данные за продолжительный период или необходимо распределить нагрузку на систему, избегая единовременной обработки большого массива. В форме необходимо ввести период дат «с … по», периодичность (день / неделя / месяц / квартал), смещение (время в секундах, которое будет добавлено к параметру даты) и вид периода (начало / конец периода) и нажать кнопку «Заполнить»:
  

После всех настроек параметров запишите и закройте форму.

Обработчики

Когда требуется дополнительно обработать данные или скорректировать параметры выполнения до того как будет получен результат и записан в таблицу хранилища, используются обработчики — специальные скрипты, которые можно внести в поле на вкладке «Обработчики»:

• «Перед постановкой в очередь» — используется в основном для обработки данных с помощью плагинов (вид правила – «Произвольный код»), если требуется дополнительная обработка данных до записи их в таблицу хранилища;
• «После получения параметров» — для переопределения параметров и шаблонов запроса. Может использоваться, например, для инкрементального получения данных с даты последнего обновления — с помощью произвольного кода 1С возможно устанавливать параметр в составе выгрузки в значение, с учетом даты обновления данных, которое сохранено в определенном поле таблицы хранилища. Подробности для разработчика описаны в разделе «Подсказка»:

Например, можно автоматически подставлять дату последней выгрузки из DWH в параметры НачалоПериода и КонецПериода, чтобы загружать только новые данные.

Пример заполнения параметра возможно скачать по ссылке. 

Дополнительные настройки

Необязательные настройки вынесены на вкладку «Дополнительно».

1. Для установки автоматического запуска получения данных используется «Расписание запуска регламентного задания». Как настроить расписание, подробно описывается в разделе «Автоматический (регулярный) сбор данных».
2. Дополнительно можно установить приоритет состава выгрузки. Приоритет учитывается в случае, когда одновременно запущены процессы получения данных через несколько составов выгрузки. Так как каждый процесс получения делится на потоки, и они работают по очереди, первым будет обрабатываться процесс с более высоким приоритетом.
3. «Идентификатор регламентного задания» устанавливается системой автоматически и используется для отслеживания работы процессов.
4. «Агент для получения данных» — выберите, если требуется получение данных с помощью Агента ETL.
5. «Получать данные в фоне (в адаптере 1С)» запускает сбор данных в базах 1с(адаптер ETL) в отдельном фоновом задании;
6. «Использовать потоков не более» — установите значение, ограничение по количеству параллельных потоков по обработке данных для «Состава выгрузки"». Используется совместно с настройками очереди из раздела «Технические настройки для подготовки к работе».
7. «Использовать сжатие адаптером» сжимает получаемые данные из баз источников 1С. Используется сжатие gzip.
8. «Увеличивать номер принятого сообщения» — подробнее про опцию в разделе «Настройка инкрементальной загрузки из 1С».
9. «Отключить создание промежуточных страниц» — если параметр включен, то сбор данных загружает значения сразу в целевую таблицу без создания временных таблиц. При делении на потоки по параметрам, не будет создана промежуточная таблица, а при сборе данных через ClickHouse не будут созданные временные таблицы. Этот параметр уменьшает время загрузки данных, но в случае, если сбор данных будет провален, часть записанных данных останется в целевой таблице.