Для регулярного сбора и обработки данных, а также для рационального распределения ресурсов при получении больших массивов данных рекомендуется настроить расписание работы.

Настройка состава выгрузок и расписания запуска сбора данных

Размещение в разделе «Главное/ Настройки/ Составы выгрузок». Интерфейс (справочник) «Составы выгрузок» также предназначен для настройки расписания выгрузок, подробнее в разделе «Настройка состава выгрузки данных».

Настройка расписания запуска сбора данных

Для настройки расписания перейдите в состав выгрузки, нажмите на вкладку «Дополнительно» и установите галочку «Расписание».

Перейдите по ссылке «Расписание не задано» для настройки. Порядок действий описан в таблице ниже. После настройки расписания нажмите «Ок».

Закладка	Настройка	Скриншот
Общий	ДатаНачала; Повторять каждые ___ (дн.)
Дневное	Время начала
Недельное	Дни_недели
Месячное	Месяцы

 

Механизм очередей

Механизм очередей разработан для управления ресурсами при одновременном получении данных разными заданиями, разделения получения данных из большого количества источников на порции и управления ими.

Для настройки работы выполните следующие шаги:

• Заполните основные настройки;
• Создайте «Состав выгрузок» с указанием набора, правил и расписания запуска.

Для интерактивного контроля за работой очереди в форме списка «Составы выгрузок» внизу формы есть сводная информация по очереди «Набор/ Правило/ Количество элементов». Из формы «Составы выгрузок» вы можете направить выбранный состав в очередь вручную, для этого нажмите на кнопку «Направить задание в очередь»:

Разработано три «службы» (регламентных задания) для работы с очередью получения данных. Службы описаны ниже.

Постановщик источников в очередь

Данная служба привязана к «Составам выгрузок». В нем настраивается связь «Набор источников» — «Правило выгрузки». Если «Состав выгрузок» активен и настроено расписание, создается регламентное задание для постановки источников в очередь из выбранного набора.

• При запуске регламентного задания выполняются подготовительные действия в соответствии с «Режимом записи данных» («Добавить», «Очистить и добавить», «Скопировать и добавить»). Если в «Составе выгрузок» режим записи не указан, то берется режим из основных настроек.
• При создании состава выгрузок можно указать приоритет при выгрузке – чем меньше число, тем выше приоритет.
• Также при постановке «набора» по «правилу» в очередь, создается документ «Факт выгрузки». Логи обработки очереди привязаны к этому документу.

Запуск заданий обработки очереди

Служба анализирует сколько уже запущено фоновых заданий по обработке очереди. Анализируются настройки максимального количество возможных заданий и выполняется до-запуск нужного количество фоновых заданий-обработчиков.

Каждое фоновое задание «ОбработкаОчередиРегламентом» анализирует очередь, и выбирает «порцию» согласно основным настройкам. В элементы очереди, которые заняты конкретным фоновым заданием, записывается Id фонового задания.

При записи данных во внешнюю базу происходит удаление элемента из очереди по источнику. Это происходит в одной транзакции, поэтому не должно быть ситуация, когда во внешний источник записали данные, а из очереди не удалили.

Перепостановка элементов очереди

Регламентное задание, которое анализирует текущие фоновые задания «ОбработкаОчередиРегламентом». Если в очереди есть задания с Id, которого нет среди работающих, то Id записи очищается и считается, что данный источник необходимо обработать заново.

В очереди также хранятся дополнительные данные:

• количество попыток — сколько раз пытались обработать этот источник;
• зависшие задания — массив Id заданий, которые «зависли». Заполняется для будущего анализа.

Обработка «Контроль работы»

Форма (см. рисунок выше) состоит из двух списков, которые автоматически обновляются каждые 60 секунд:

• список последних выполняемых пакетов с указанием даты и времени запуска, названием пакета и статусом выполнения;
• список текущей очереди выполняемых выгрузок данных, который содержит набор источников, правило выгрузки, факт выгрузки, количество элементов, количество работающих фоновых заданий.

По двойному клику по наименованию пакета открывается форма выполнения пакета.

Чтобы открыть форму пошагового выполнения пакета, дважды кликните на выбранный пакет в списке подчиненных документов.

Вы также можете открыть правило выгрузки, набор источников или просмотреть факт выгрузки для текущего задания.

Чтобы увидеть очередь оставшихся источников выгрузки данных и количество попыток соединения с ними, перейдите в меню: «Главное/ Сервис/ Очередь обработки данных».