Сценарии обработки данных — это инструмент для подготовки данных, полученных из учетных систем, к использованию в отчетах и аналитике. Они применяются на этапе, когда сырые данные необходимо преобразовать в удобный для анализа формат.

Подготовка данных включает выполнение различных операций на языках SQL, 1C или Python, таких как:

• Очистка данных от ошибок и дубликатов.
• Дополнение данных недостающей информацией.
• Агрегация и объединение данных из разных источников.
• Расчет ключевых показателей.
• Сервисные операции: выгрузка, загрузка, перемещение файлов и удаление архивных копий таблиц.

Для настройки этих операций используется документ «Сценарий обработки данных», где задаются и настраиваются шаги сценария.

Чтобы открыть список сценариев, перейдите в раздел «Сценарии обработки данных»:

• С начальной страницы.
• Или из меню: «Главная/ Настройки/ Сценарии».

В списке сценариев вы можете:

1. Создать новый сценарий.
2. Отредактировать существующий сценарий.
3. Запустить сценарий.

Кнопка позволяет запустить на выполнение шаги сценария (см. рисунок выше, 1).

Кнопка «Только примитивы» включает отбор служебных сценариев (примитивов) (см. рисунок выше, 2). Чтобы отключить отбор, нажмите на эту кнопку еще раз.

Настройка сценария обработки данных

Порядок настройки «Сценария обработки данных» следующий:

1. На вкладке «Основное» заполните поля:
   • «Наименование сценария».
   • «База данных» (выбор из списка БД).
   • «Тип» — заполняется автоматически как «Произвольная последовательность шагов». Другие типы используются для автоматически создаваемых сценариев обработки данных, таких как «Трансформация» или «Верификация данных».
   • «Проект» — при необходимости укажите «Проект»
   • «Комментарий» — текстовое поле при необходимости возможно заполнить дополнительной информацией по обработке данных.
2. Настройте сценарий на вкладке «Шаги сценария». Напишите для каждого шага скрипт на языке SQL/1С или используйте для настройки и авто-генерации скрипта готовые шаблоны.
   • На вкладке «Шаги сценария» по умолчанию включен интерфейс «WorkFlow». 

     Помимо основного процесса трансформации данных он позволяет дополнительно настроить:

     • Сохранение информации для профилирования данных: сэмплы данных, статистику по значениям и качеству данных.
     • Сохранение и просмотр логов работы.

     • Шаги сценария могут выполняться параллельно.

       
       
   • Для изменения старых сценариев интерфейс «WorkFlow» может быть недоступен и система сообщит о несовместимости. В этом случае используйте для редактирования старый интерфейс, без использования «WorkFlow». Подробнее о настройке шагов смотрите в разделе «Шаги сценария (старый интерфейс)».
     
3. На вкладке «Параметры сценария» возможно ввести параметры, которые будут использоваться в настройках / тексте скриптов шагов. Вы можете не заполнять значения параметров, если предполагается запуск сценария только через «Пакеты обработки данных», подробнее смотрите в разделе «Настройка пакетов обработки данных».
   
4. Нажмите на кнопку «Записать и закрыть» на вкладке «Основное», чтобы сохранить сценарий.