Настройка состава выгрузки данных

 

Для настройки связи правил выгрузки с набором источников данных, а также для уточнения параметров выгрузки и для возможности настраивать расписание получения данных (не обязательно) служит объект (справочник) «Составы выгрузок».

Размещение: через меню «Главная/ Настройки/ Составы выгрузок» или с начальной страницы:

Для создания нового элемента нажать кнопку «Создать».

Возможна настройка запуска получения данных по расписанию и вручную. Для запуска получения данных с настроенным правилом выгрузки и набором данных (состав выгрузки) вручную, нужно выбрать состав выгрузки и нажать на кнопку «Направить задание в очередь».

Недавно запущенные составы выгрузок можно увидеть в нижней части формы «Составы выгрузок» (рисунок выше, 3).

Порядок заполнения

  • «Наименование выгрузки» – заполнится автоматически из названий «Набор источников» и «Правила выгрузки».
  • «Таблица выгрузки (из правила)» — отобразится таблица, в которую по умолчанию записываются данные. Потягивается из выбранного правила выгрузки (рисунок выше, 4).
  • «Таблица выгрузки (альтернативная)» — в поле можно ввести альтернативную таблицу, в которую требуется получить данные, вместо таблицы по умолчанию. Таблица должна быть в БД.
  • «Режим записи данных»:
    • «Добавить» – дополнить исходную таблицу новыми данными;
    • «Очистить и добавить» – очистить исходную таблицу и добавить туда полученные данные;
    • «Скопировать и добавить» – скопировать исходную таблицу (у таблицы-копии добавится к названию исходной таблицы суффикс, содержащий дату и время обновления данных), после этого очистить таблицу и добавить туда полученные данные;
  • «Делить на потоки по параметрам» — установить флаг, если требуется разделить получение данных на потоки, зависящие от пакетов (наборов) параметров. Не используется при получении данных правилом выгрузки вида «Загрузка из файла».
  • «Настроить параметры» — установить требуемые параметры и пакеты параметров.

Параметры для получения данных

Для настройки параметров в «Составе выгрузки» перейдите по ссылке «Настроить параметры» («Изменить параметры») в окне создания состава выгрузки.

  • по умолчанию набор и значения параметров заполняются из выбранного «Правила выгрузки», значения параметров в «Составе выгрузки» можно изменить;
  • если в правиле выгрузки требуется несколько параметров, то нужно добавить и заполнить их;
  • если необходимо использовать несколько запусков получения данных и соответственно несколько групп параметров (например, несколько раз запускать получение данных за разные месяцы), то каждой группе назначаем номер запуска (вручную, для каждого параметра из группы) (см. рисунок выше, 1);
  • параметры можно задавать не только константой (см. рисунок выше 2) , но и вычисляемым выражением (см. рисунок выше, 3), в этом случае проверить значение выражения можно в специальном поле. Для этого нужно установить курсор на выражение в параметре и его значение отобразиться в поле «Значение» (см. рисунок выше, 6). Также можно вручную написать текст для вычисления выражения в поле «Выражение для вычисления параметра» (см. рисунок выше, 4) и нажать на кнопку «=» (см. рисунок выше, 5);
  • пока не включен флаг у выражения, оно не будет включаться в запрос получения данных, в этом случае будет использовано значение параметра в виде константы.
  • параметры тип дата можно заполнить, используя функции для работы с датами:
  1. ТекущаяДата() — текущая (системная) дата;
  2. ДобавитьМесяц(<Дата>, <ЧислоМесяцев>) — добавляет (или вычитает) к указанной дате заданное число месяцев. Если <ЧислоМесяцев> принимает отрицательное значение, то число месяцев вычитается;
  3. НачалоГода(<Дата>) — определяет дату и время начала года для указанной даты;
  4. НачалоКвартала(<Дата>) — определяет дату и время начала квартала для указанной даты;
  5. НачалоМесяца(<Дата>) — определяет дату и время начала месяца для указанной даты;
  6. НачалоНедели(<Дата>) — определяет дату и время начала недели для указанной даты;
  7. НачалоДня(<Дата>) — определяет дату и время начала дня для указанной даты;
  8. НачалоЧаса(<Дата>) — определяет дату и время начала часа для указанной даты;
  9. НачалоМинуты(<Дата>) — определяет дату и время начала минуты для указанной даты;
  10. КонецГода(<Дата>) — определяет дату и время конца года для указанной даты;
  11. КонецКвартала(<Дата>) — определяет дату и время конца квартала для указанной даты;
  12. КонецМесяца(<Дата>) — определяет дату и время конца месяца для указанной даты;
  13. КонецНедели(<Дата>) — определяет дату и время конца недели для указанной даты;
  14. КонецДня(<Дата>) — определяет дату и время конца дня для указанной даты;
  15. КонецЧаса(<Дата>) — определяет дату и время конца часа для указанной даты;
  16. КонецМинуты(<Дата>) — определяет дату и время конца минуты для указанной даты.

Обработчики

Когда требуется дополнительно обработать данные или скорректировать параметры выполнения (до того как будет получен результат и записан в таблицу хранилища), используются обработчики — специальные скрипты, которые можно внести в поле на вкладке «Обработчики»:

  • «Перед постановкой в очередь» — используется в основном для обработки данных с помощью плагинов (вид правила – «Произвольный код»), если требуется дополнительная обработка данных до записи их в таблицу хранилища;
  • «После получения параметров» — для переопределения параметров и шаблонов запроса. Может использоваться, например, для инкрементального получения данных с даты последнего обновления — с помощью произвольного кода возможно устанавливать параметр в составе выгрузки в значение, с учетом даты обновления данных, которое сохранено в определеном поле таблицы хранилища. Подробности для разработчика описаны в разделе «Подсказка»:

Дополнительные настройки

Необязательные настройки вынесены на закладку «Дополнительно».

Для установки автоматического запуска получения данных используется «Расписание запуска регламентного задания» (см. рисунок выше, 1). Как настроить расписание, подробно описывается в разделе Автоматический (регулярный) сбор данных.

Дополнительно можно установить приоритет состава выгрузки (см. рисунок выше, 2). Приоритет учитывается в случае, когда одновременно запущены процессы получения данных через несколько составов выгрузки. Так как каждый процесс получения делится на потоки, и они работают по очереди, первым будет обрабатываться процесс с более высоким приоритетом.

Идентификатор регламентного задания (см. рисунок выше, 3) устанавливается системой автоматически и используется для отслеживания работы процессов.

Агент для получения данных (см. рисунок выше, 4) выбирается, если требуется получение данных с помощью Агента ETL.