null

Общая информация

Функциональная возможность «Регистрация набора источников» даёт пользователю возможность:

  • объединить несколько источников данных в одну группу;
  • работать с источниками, имеющими одинаковую структуру или конфигурацию;
  • применять единые правила обработки данных для всей группы.

Чтобы начать работу:

  1. Перейдите на «Начальную страницу».
  2. Откройте документ «Регистрация набора источников».

После открытия документа вы сможете приступить к настройке и регистрации источников.

Примечание — в системе реализовано два типа набора данных:

 

Настройка Набора источников

Откроется окно «Набор источников», нажмите на кнопку «Создать».

Настройка. Тип набора данных — Фиксированный

В открывшемся окне «Набор источников» выполните следующие шаги:

  • Заполните поля:
    • Код - поле заполняется автоматически при формировании записи;
    • Проект - выберите название из выпадающего списка или создайте новое;
    • Наименование — укажите наименование набора источников;
    • Тип набора — Фиксированный;
    • Описание — При необходимости добавьте описание.
  • Заполните таблицу «Источники данных»:
    • Нажмите на кнопку «+ Добавить» чтобы добавить источник.
    • Нажмите на кнопку «Подбор» для добавления или удаления сразу нескольких источников данных, удовлетворяющих условиям отбора. Откроется форма «Подбор источников для набора…». Последовательность действий при настройке описана ниже.

  1. Настройте отборы в верхней таблице. Для этого нажмите на кнопку «Добавить новый элемент» — добавится новая строка в таблицу отборов. Настройка отбора осуществляется стандартным для 1С образом.
  2. Таблица «Новые источники» заполнится автоматически с подходящими условиями отбора и еще «не зарегистрированными» элементами для этого набора источников. Возможно установить или снять отметки для конкретной строки таблицы или для всех строк, используя кнопки «Установить активность всем» и «Снять активность всем»
  3. Таблица «Источники для удаления» заполнится автоматически, в ней отображаются уже зарегистрированные в наборе источники, не соответствующие текущим условиям отбора.
  4. Нажмите на кнопку «ОК», чтобы закрыть окно настройки. Отмеченные элементы в таблицах «Новые источники» и «Источники для удаления» будут добавлены или удалены из Набора источников.
  • По умолчанию все источники в наборе помечаются галочкой «Включить», что означает их участие в получении данных. Снятие этого флага позволяет временно исключить источник из обработки без удаления из набора. Для проставления или снятия галочки «Включить» для всех строк используйте кнопки «Установить активность всем» и «Снять активность всем»
  • В наборе источников выведены также информационные панели, отображающие количество источников в наборе — «Всего». И количество источников, для которых установлена галочка «Включено».
  • В поле «Таймаут ожидания» укажите интервал в минутах между попытками подключения при временной недоступности источника, иначе повторные запросы будут отправляться без задержки.

  • Для облачных баз «1С: Fresh» нажмите на кнопку «Загрузить из файла», чтобы загрузить список областей из xlsx-файла, содержащего номера областей «1С: Fresh». Возможно управлять режимом добавления новых строк: при установленной галочке «Отчищать таблицу», предварительно очищается табличная часть документа.

Для сохранения настроек нажмите на кнопку «Записать и закрыть».

Настройка. Тип набора данных — Динамический

Действия по созданию набора источников данных с типом «Динамический» аналогичны настройке типа «Фиксированный», подробнее см. раздел «Настройка. Тип набора данных — Фиксированный».

Пример: Пакетная загрузка файлов по маске. Тип набора данных: Динамический → Вид источника данных: Файл.

В системе реализовано возможность загрузки нескольких файлов одинаковой структуры:

  • *.json;
  • *.xlsx;
  • *.csv.

Принцип работы рассмотрен на примере файла с расширением *.json в примере ниже.

Примечание. При указании маски файла, система в момент выполнения задания находит все соответствующие файлы. Для каждого найденного файла автоматически создаётся служебный источник, что позволяет применить единые правила загрузки ко всей группе.

 

Описание задачи: Файлы находятся на том же сервере, где и Modus ETL. Как настроить загрузку для нескольких файлов одинаковой структуры?

Этап 1. Создание динамического набора источников для файлов по маске для файлов .json.

  1. Создайте «Набор источников».
  2. Укажите «Тип набора» → «Динамический».
  3. Создайте в наборе «Источник данных».
    1. Вид источника: Файл.
    2. Маска файла: Укажите маску (шаблон) для выбора файлов, используя символы подстановки.​​​​​​

Этап 2. Настройка правила выгрузки данных, подробнее см. разделы «Настройка правил выгрузки данных» и «Загрузка JSON файлов».

  1. Создайте Правило загрузки данных.
  2. Выберите тип правила — «Произвольный код».
  3. На вкладке «Данные модуля» — выбрать «Разбор JSON по правилам».
  4. Н​​​​​​а вкладке «Настройка параметров» — выбрать правило разбора JSON.
  5. Выберите «Базу данных» для выгрузки.
  6. Нажать кнопку «Заполнить соответствие полей», создать таблицу в хранилище.

Настройте параметры разбора (схему, кодировку, разделители) в соответствии со структурой ваших файлов, подробнее см. раздел «Конструктор правил разбора JSON».

Этап 3. Запуск выгрузки

Создайте состав выгрузки по правилу сбора и направьте задание в очередь, подробнее см. раздел «Настройка состава выгрузки данных».

Результат: Система обработает все файлы, соответствующие маске, используя заданное правило, и выгрузит результаты в хранилище.

Дополнительные возможности

Аналогичные действия по заполнению и корректировке набора источников возможно выполнить в интерфейсе, который открывается по кнопке «Показать регистрацию».

 

Связи контента