Новое в версии - Продукт Modus BI

Показать оглавление

 

 Для решения проблемы рекомендуется перейти на версии платформы 1С в которых ошибка исправлена. Версии платформы с исправленной ошибкой:

• 8.3.24.1738 и выше;
• 8.3.25.1445 и выше;
• 8.3.26.1498 и выше.

Версия 1.6.11

09.03.2025

Получение данных из источников

• Добавлена быстрая загрузка больших файлов XLSX и CSV. Например, 1 000 000 записей XLSX грузится за 53 секунды, 4 000 000 записей CSV грузятся за 32 секунды.
• Загрузка данных из файлов XLSX и CSV теперь выполняется через Агент ETL, что значительно ускорило процесс получения данных.
• Доработан механизм получения структуры метаданных хранилища из баз 1С: ускорено повторное получение списка доступных таблиц и состава их полей (обновление метаданных) из баз данных 1С;
• Повторное получение списка доступных таблиц и состава их полей из баз данных 1С (обновление метаданных) теперь происходит в ~5 раз быстрее.
• Доработан механизм проверки корректности пользовательских настроек, обеспечивающих взаимодействие между Агентом ETL и Modus ETL.
  При нажатии на кнопку «Проверить доступность» в карточке Агента ETL теперь происходит проверка не только доступности Агента ETL, но также и проверка настроек Modus ETL для обеспечения корректного взаимодействия с Агентом ETL.
  Теперь пользователи могут выявить наличие некорректных настроек на раннем этапе, не дожидаясь возникновения ошибок в процессе получения данных. Ранее, при возникновении ошибок получения данных, некорректные настройки можно было выявить только по отсутствию логов в ETL и ошибкам в логах АгентаETL, что требовало гораздо больше времени, усилий и более глубоких компетенций.
• Доработаны Агент ETL и Адаптер ETL для 1С: оптимизировано получение данных из источников 1С. Теперь данные передаются пачками фиксированного размера и сразу помещаются в хранилище, что позволяет обойти ограничения 1С-источников по передаче больших файлов, а также снижает потребление ОЗУ в базе-источнике.
• Доработан Агент ETL: расширен автоматический контроль файла настроек в части заполненности параметров 'Адрес', 'Логин', 'Пароль' и добавлен вывод ошибок, выявленных при проверке, в лог работы.

Трансформация данных

• Доработано использование механизма пресетов в Сценариях обработки данных: при копировании и переносе Сценариев обработки данных настроено воспроизведение схемы (верстки) отображения шагов сценария в модели WorkFlow.
• В Сценариях обработки данных доработан шаблон шага «Разделение строки»: добавлена возможность использования «пробела» в качестве разделителя строк.
• В Сценариях обработки данных доработан шаблона шага «Произвольный код 1С»: добавлена возможность в коде 1С использовать «Параметры сценария».
• В Сценариях обработки данных доработан шаблон шага «Перенос данных»: механизм создания таблицы-приемника оптимизирован и адаптирован под различные (современные) версии ClickHouse.
• В Сценариях обработки данных добавлена возможность при помощи изменения SQL-запроса выполнять тонкую настройку параметров создания Временных таблиц хранилища.
  
  Ранее при использовании Сценариев обработки данных (когда между Шагами Сценария использовался тип связи "Временная таблица") все Временные таблицы создавались в хранилище по единому шаблону без возможности его изменения. Теперь у пользователей появилась возможность изменять SQL-запрос, выполняющий создание Временных таблиц. Это позволяет, при необходимости, подбирать более тонкие и оптимальные настройки Временных таблиц хранилища. Например: настраивать индексы для больших таблиц, чтобы увеличить скорость чтения данных из этих таблиц и т.п.
  
  При использовании сложных Сценариев обработки данных, возможность тонких настроек Временных таблиц способна повысить скорость выполнения обработки данных в несколько раз.
• В Сценариях обработки данных добавлен новые Шаблоны:
  • Шаблон «Очистка таблицы» позволяет выполнять очистку данных в Таблицах хранилища.
  • Шаблон «Обновление таблицы» позволяет обновлять данные в существующих Таблицах хранилища в соответствии с настраиваемыми параметрами.
  • Шаблон «Обновление таблицы из таблицы-источника» позволяет обновить данные одной существующей Таблицы хранилища на основании данных другой Таблицы хранилища или на основании входящего потока со вложенным запросом.
• В Сценариях обработки данных добавлена кнопка «Расширенные настройки» для управления выбранным объектом WorkFlow. Например, позволяет заходить в Свойства шагов сценария и менять типы связей между шагами, выбирая тип «Временная таблица» или «Вложенный запрос».
• Доработан Агент ETL: теперь он может осуществлять обеспечение работы Шаблонов шагов сценария в части Machine Learning без необходимости установки отдельного специального сервиса.
  
  Ранее для обеспечения работы Шаблонов шагов сценария в части Machine Learning, требовалась установка дополнительного специального сервиса, работающего на Python. Теперь установка дополнительного сервиса не требуется, т.к. Агент ETL может выполнять все необходимые функции, обеспечивающие работу Шаблонов Machine Learning. Шаблоны Machine Learning по-прежнему работают на Python, но теперь посредником между Python и Modus ETL выступает Агент ETL.

Управление хранилищем

• Доработана форма создания и редактирования Таблицы хранилища: реализовано интерактивное управление параметрами полей (столбцов) без необходимости проваливания в форму настройки каждого поля.
  Ранее при настройке Таблицы хранилища (например при создании Таблицы-приемника в Правилах выгрузки) для изменения параметров полей приходилось для каждого поля открывать отдельную форму и там выполнять настройки. Это требовало дополнительных действий со стороны пользователя и было не очень удобно. Теперь пользователь может менять параметры полей Таблицы непосредственно в списке отображения этих полей без необходимости проваливания в отдельную форму для каждого поля. Это повышает удобство при работе пользователя и экономит время настройки таблицы приблизительно на ~30%.
• Доработана форма редактирования Таблицы хранилища: добавлена возможность на основании Таблицы хранилища создать и обновить Простой набор данных на Аналитичиеском портале Modus BI без пересоздания Таблицы хранилища.
  Ранее в форме редактирования существующей Таблицы хранилища можно было включить опцию создания Простого набора данных на Аналитическом портале Modus BI. Однако, внесение изменений в существующюю форму приводило к пересозданию Таблицы хранилища (т.е. происходило удаление таблицы из Хранилища вместе со всеми данными, а также создание пустой таблицы заново), что вызывало потерю данных. Теперь в форме редактирования Таблицы хранилища можно в любой момент нажать на кнопку создания или обновления Простого набора данных для Аналитического портала Modus BI без потери самих данных в хранилище.
• Доработана форма создания и редактирования Таблицы хранилища: добавлен столбец 'Алиас', который позволяет для каждого поля таблицы указать псевдоним для описательной документации, а также использовать его при создании Простых наборов данных для Аналитического портала Modus BI.
• Добавлена возможность экспорта описания и структуры Таблиц хранилища в виде файлов с описательной документации:
  • Добавлена возможность экспортировать описание и структуру Таблицы хранилища в формате PDF, XLSX, DOCX, TXT и др.
  • В разделе Управление хранилищем добавлен пункт меню «Таблицы моделей», в котором можно выбрать несколько Таблиц хранилища для экспорта описания и структуры в один общий файл.
  • Добавлена вкладка «Общее описание», в которой пользователи могут указать общую информацию о Таблице для подготовки описательной документации.
  • Оптимизировано отображение поля «Комментарий» для Таблицы хранилища: поле ввода уменьшено до размера одной строки с возможностью раскрытия полноценной многострочной формы ввода в виде всплывающего окна (поле «Комментарий» в Таблице предназначено для служебных комментариев пользователей, в экспортируемый файл с описательной документацией оно не включается).

Указанные доработки позволяют непосредственно в ETL поддерживать актуальность документации по Таблицам хранилища, участвующим в процессе получения и трансорфмации данных при помощи Modus ETL. Механизм экспорта позволяет скачивать упорядоченную информацию по описанию и структуре Таблиц харнилища в виде файлов (PDF, XLSX, DOCX, TXT и др.) для дальнейшего использования в качестве отчетной документации по проектам, для пояснительных записок, инструкций и т.п. Это позволит минимум в два раза сократить трудозатраты при подготовке документации по используемым Таблицам и Наборам данных.

Информационная безопасность

• Скрыт пароль строки подключения к ETL при выводе информации в файл лога.

Экспериментальные возможности

• Использование модулей получения данных на языке Python.
• Использование ML шагов сценариев с Агентом ETL и без отдельного сервиса на языке Python.
• Использования Агентом ETL модулей получения данных, написанных на языке Python.
  Теперь для загрузки данных, имеющих сложную и нестандартную структуру (например, когда требуется «парсить» данные из файлов PDF, DOCX) можно будет подготовить специальный код на Python, встроить этот код в модуль получения данных в Modus ETL и настрить автоматическое получение данных.

Прочие доработки

• Получен в очередной раз сертификат «1С:Совместимо» для Modus ETL: успешно пройдена процедура подтверждения требований компании 1С для получения сертификата соответствия.
• В Modus ETL выполнено обновление «1С:Библиотеки стандартных подсистем» (БСП) до версии 3.1.9.

• В Modus ETL доработан раздел «Основные настройки»: на вкладке «Прочее» в группу «Очистка журналов событий сбора данных» добавлены дополнительные опции управления — 'Очищать журналы событий сбора данных', 'Настройка расписания', 'События очистки'.
• Актуализирована служебная форма для тестирования взаимодействия между Modus ETL и Агентом ETL.
• На главной странице Modus ETL добавлена возможность скачивать (сохранять) дистрибутивы «Агента ETL» и «Адаптера ETL для 1С».
  Теперь получение дистрибутивов Адаптера и Агента упростилось. Раньше нужно было либо скачивать их через сайт, либо искать в каталоге с шаблонами конфигураций 1С.

Исправление ошибок

• В Сценариях обработки данных доработана форма шаблона «Произвольный код SQL»: скрыта не используемая кнопка «Временные таблицы».
• Исправлена ошибка зависания Пакетов обработки данных, возникавшая при наличии пропущенных шагов.
• Доработан инструмент «Загрузка структуры конфигурации»: исправлена ошибка, возникавшая при использовании опции «Частичная загрузка».
• Доработан Мастер интеграции: исправлена ошибка, не позволявшая корректно удалять выбранные поля в форме создания Таблицы-приемника.
• Доработано получение данных из веб-сервиса: исправлена ошибка redirect'а в http запросах, выполняемых с помощью модуля сбора данных из веб-сервиса.
• Исправлена ошибка получения данных из CSV-файлов при использовании Правила выгрузки.
• Исправлена ошибка получения данных из менеджера сервиса 1С Фреш через интерфейс взимодействия Odata.
• Выполнена отладка работы и устранены промежуточные ошибки в работе Мастера «Загрузка файла в БД», возникшие после перехода Мастера на работу через Агента ETL: загрузка данных из различных листов файла XLSX, загрузка данных в существующую Таблицу хранилища.
• Исправлена ошибка в работе Мастера интеграции: восстановлено управление расписанием выполнения Пакета обработки данных при изменении настроек Мастера интеграции.
• Исправлена ошибка получения данных по расписанию, которая возникала при определенной редко встречающейся комбинации настроек, косвенно связанных с коннектором для 1С ComConnector: добавлен контроль устаревшей функциональности «Перерегистрация com-connector'а».
• Исправлена ошибка, возникающая при открытии «Консоли запросов к БД» из карточки подключения к Базе данных PostgreSQL.
• Исправлена ошибка создания Таблицы хранилища при использовании «Мастера сбора данных», возникшая в результате доработки формы создания Таблиц.
• Исправлена ошибка пересоздания Таблицы хранилища в Правиле выгрузки: при использовании кнопки «Дозаполнить поля таблицы».
• Исправлена опечатка в Форме заполнения параметров для Составов выгрузки.
• Исправлена ошибка работы шаблонов «Маппинг 2х таблиц» и «Маппинг 2х таблиц с предварительным удалением».

Версия ETL 1.6.9.11

03.05.2024

Загрузка файлов

• Исправлены ошибки выгрузки из файлов csv.

Версия ETL 1.6.9.9

16.04.2024

Мастер интеграции

• Исправлена ошибка видимости справочника «Пользователи».

Версия ETL 1.6.9.8

03.04.2024

• Рекомендуемая версия сервера СЛК 3.0.34.
• Рекомендуемая версия Агента ETL: 1.33.3.
• Рекомендуемая версия Адаптера ETL: 1.1.11.2.

Мастер интеграции

Мастер интеграций — новый инструмент для создания и настройки сборов данных без программирования. Позволяет создать набор правил, составов выгрузки и пакетов для сбора данных из различных веб сервисов в хранилище данных В текущем релизе выпущена версия загрузки данных из CRM Битрикс24 в части сделок. Решение позволит без программиста загружать информацию о сделках и их статусах, продажах и лидах, товарах и услугах, которые ведутся в Битрикс24.

Общая инструкция по использованию мастера приведена здесь.

Инструкция по настройке Битрикс24 приведена здесь.

Запуск и произвольный код на стороне 1С:Предприятия

Для сложной обработки данных в системе 1С:Предприятие, например, для выполнения сложных расчетов и методов на стороне базы-источника в Адаптере ETL реализована возможность запуска подключаемых внешних обработок через адаптер. В состав поставки включена внешняя обработка, которая позволяет выполнять произвольный код на стороне источника и передавать подготовленную исполняемым кодом структуру данных.

Инструкция по использованию внешних обработок и по запуску кода на стороне приемника приведена здесь.

Прочие улучшения

При проверке подключения к информационной базе 1С через адаптер, проверка выполняется как напрямую ETL - АдаптерETL, так и через используемого Агента ETL.
Добавлены шаблоны «Маппинг 2х таблиц с предварительным удалением» и «Перенос данных». Подробная инструкция на шаги сценария приведена здесь.
Подсистема НСИ. Ускорена загрузка записей в первичный справочник.
Пакеты данных. При запуске пакетов выполняется контроль наличия цикличных ссылок, при выставлении соответствующей настройки.
Доработан механизм заполнения списка полей по настройкам схемы СКД.

Исправление ошибок

• Исправлена ошибка загрузки метаданных в случае, если выполняется подключение к базе данных под пользователем, у которого нет прав на некоторые схемы.
• Доработан механизм заполнения списка полей по настройкам схемы СКД.
• Доработана Консоль запросов в части получения данных из баз 1С: настроено корректное отображение наименований Объектов БД при их переносе из списка «Объекты БД» в область «Текст запроса».
• Исправлены прочие ошибки.

Версия ETL 1.6.8.10

29.12.2023

Сбор данных

• Доработан механизм контроля работающих заданий.
• Доработан механизм приоретизации параметров в пакетах.
• Доработаны механизмы регламентного получения данных из нескольких «JSON»-файлов.
• «Режим выгрузки» в «Составе выгрузки» теперь обязательный параметр.
• Исправлена ошибка в «Выгрузке в отчет» при использовании Агента ETL.
• Исправлена ошибка создания группы составов выгрузки.
• Исправлены ошибки механизма сбора данных с помощью СКД.

WorkFlow

• В сценарии обработки данных ETL добавлен новый шаблон шага «Разделение строки», который позволяет разделить строковое значения по указанному разделителю на несколько строк.
• Исправлена ошибка шага сценария «Произвольный код», которая в некоторых случаях не позволяла посмотреть результат работы шага.

НСИ

• Переработаны места, которые в исключительных случаях приводили к аварийному завершению работы на Linux.

Пресеты

• Актуализированы правила переноса данных.
• Управление хранилищем
• Добавлена возможность создания наборов данных в Modus BI на основании таблиц модели данных Modus ETL.
• Добавлено отключение функциональной опции «Управление хранилищем».
• Исправлен выбор схемы при создании таблицы в «Настройка таблицы выгрузки».

Прочее

• Выполнены доработки пользовательского интерфейса таблиц модели в части улучшения удобства их использования.
• Доработаны механизмы для удаления шагов сценариев.
• Обновлена версия компоненты СЛК.
• При разворачивании новой базы больше не создаются тестовые «Сценарии», «Правила выгрузок».
• Установлен режим совместимости 8.3.18.
• При создании подключения к базе данных автоматически создается пустая конфигурация этой базы данных.
• Исправлена ошибка, не позволяющая редактировать шаги сценария.
• Исправлены мелкие ошибки.

Версиия ETL 1.6.7.6

25.09.2023

Параллельное выполнение пакетов

Добавлена возможность настраивать выполнение пакетов, сценариев и составов выгрузки в виде графа в режиме WorkFlow. Теперь можно настраивать параллельный сбор, обработку и трансформацию данных. Это позволит сократить время обработки информации, например, когда сбор первичных данных может выполняться параллельно, но их обработка должна начаться только тогда, когда все данные соберутся.

Для переключения режима редактирования установите в пакете режим выполнения «Параллельно». При включении параллельного режима появится гиперссылка «Состав пакета», в которой можно настроить порядок выполнения шагов в режиме WorkFlow. Читать подробнее.

Сценарии обработки данных

Перенос данных в другую базу из WorkFlow

Теперь в сценарии обработки можно добавить шаг переноса данных в другую базу данных. Для это добавлен шаг «Перенос данных». Перенос данных позволяет быстро перенести данные в нужную базу без создания правил и составов выгрузок. Мастер может использоваться для переноса данных из DW слоя в слой отчетности. Например, перенести подготовленные данные из ядра хранилища из PostgreSQL в таблицу ClickHouse.

Саму же таблицу ClickHouse тоже можно сконфигурировать в мастере настройки таблицы, установив порядок сортировки и первичные ключи.

Читать подробнее.

Для включения функциональности работы с таблицей в основных настройках необходимо в разделе «Управление хранилищем» установить функциональную опцию «Использовать управление хранилищем».

Теперь сценарий можно скопировать вместе с его шагами.

Реализована поддержка соединения и выбора одинаковых таблиц в шагах мастера.

Конструктор запросов

• В правилах выгрузки и в мастере сбора данных добавлена консоль запросов для тестирования и отладки при написании SQL или 1С запроса.  

Исправление ошибок

• Исправлены найденные ошибки.

Версия 1.6.6.14

27.07.2023

Мастера сбора данных

• Добавлена возможность выбора ClickHouse в мастере сбора данных.
• Доработан мастер получения данных. Появилась возможность указать проект и папку для правил выгрузки, состава выгрузки.
• Исправлена работа мастеров при изменении типов связи между шагами.
• Исправлено определение типов в мастере создании таблицы БД.

WorkFlow

• Доработан шаблон «НСИ.Загрузка в первичный справочник».
• Реализован функционал сохранения обученных моделей ML.
• Исправлены ошибки шаблонов при изменении типа связи между шагами.
• Исправлена работа шаблона шага «Соединение».

Адаптер ETL

• Добавлена поддержка работы со сжатием при сборе данных из информационных баз 1С с использованием АдаптераETL.

НСИ

Для включения функциональности НСИ необходимо перейти в «Информация» / «Основные настройки» / «НСИ» / «Использовать НСИ».

Читать подробнее.

• Добавлена возможность в маппинге справочников отображать дополнительные реквизиты.
• Добавлена возможность автоматического сопоставления первичного справочника с эталонным на этапе маппинга.
• Добавлен мастер загрузки данных из таблиц СУБД в первичный справочник.
• Исправлены ошибки при добавлении реквизитов с одинаковыми наименованиями в первичный справочник.

Получение данных

• В установке правил выгрузки данных добавлена консоль запросов для отладки. (находится: «Еще» / «Консоль запросов»).
• Добавлено автоматическое создание источника и набора данных при установки признака «используется для получения данных».

Управление хранилищем данных

Функционал выпущен в тестовом варианте. Для его включения необходимо перейти в «Информация» / «Основные настройки» /«Использовать трансформацию таблиц».

• Добавлена функциональность тонкой настройки для Сlickhouse. В установке правил выгрузке и в мастере сбора данных появилась возможность указать порядок сортировки таблицы и указать первичные ключи.
• Добавлен функционал проектирования модели данных, позволяющий описать связи в существующих таблиц.
• Добавлено обновление моделей данных при создании и обновлении конфигурации БД.

Прочее

• Добавлена возможность выбирать базу данных ClickHouse в «Отчете по данным в БД».
• Добавлен отчет «Выполнение пакета по дням», позволяющий отслеживать динамику времени выполнения шагов пакета за произвольный период.
• Доработаны механизмы пресетов в части переноса сценариев.
• Добавлена функциональность работы с произвольными дополнительными параметрами, которые могут быть использованы при подключении к базам данных.
• Обновлен БСП до версии 3.1.7.382.
• Добавлен раздел «Информация» на начальной странице ETL.

Исправлены ошибки

• Исправлены ошибки возникающие при работе сервера 1С на Linux.
• Исправлена ошибка загрузки из Excel.
• Исправлена ошибка создания базы данных типа «Файл».
• Переработаны зависимости визуального отображения от включенной функциональности.
• Исправлены мелкие ошибки.

Версия 1.6.5.18

25.04.2023

WorkFlow

• Добавлены новые шаги сценариев для ClickHouse:
  • «Произвольная выборка»;
  • «Объединение»;
  • «Группировка»;
  • «Соединение»;
  • «Отбор»;
  • «Создание таблицы».
• Добавлен универсальный шаг — «Перемещение файлов» с или на FTP сервер.
• Добавлена возможность передачи потока данных результата шага «Произвольный запрос SQL» в другие шаги сценария.
• В шаг произвольной выборки добавлена возможность выбирать различные данные.
• В шаг сценария с произвольной выборкой, группировкой и отбором добавлена возможность добавлять отбор в виде произвольного кода.
• Добавлена возможность копировать шаги сценария.
• Добавлена возможность описать отбор в шаге TOP-N.

Получение данных

• В конструкторе правил разбора «JSON» появилась возможность использовать web-запрос в качестве источника правил выборки. Подробнее о конструкторе: Конструктор правил разбора «JSON».
• Добавлены подсказки использования различных программных обработчиков состава выгрузки.

Адаптер ETL

• Исправлены ошибки работы по получению данных через СКД.

Администрирование

• Добавлен отчет по контролю выполнения всех пакетов обработки данных.
• Актуализирована работа механизма пресетов.
• Аналитику добавлена возможность добавлять и изменять пользовательские типы данных.
• Добавлен http-сервис для интеграции с zabbix’ом и получения различных контрольных метрик.
• Сделана единая форма списка для справочника базы данных.
• Добавлена функциональность остановки / прерывания сбора данных. Добавлен отбор фактов выгрузки по различным состояниям («Выполняется» / «Завершен» / «Остановлен»).

НСИ

Исправлены ошибки, связанные с НСИ. Реализована работа под ОС Linux.
Доработаны алгоритмы создания/изменения элементов НСИ, в части автоматического создания/изменения представлений СУБД связанных с этими объектами.
Доработан профиль Аналитик для возможности использовать подсистему НСИ.
Выделен отдельный профиль «Администратор НСИ». Только пользователи с этим профилем могут создавать новые элементы эталонных справочников.
Добавлена возможность создания элементов Эталонных справочников из значений Первичных справочников.

Исправлены ошибки

• Исправлена ошибка, приводящая к невозможности загрузить данные из файла при слишком длинном имени файла.
• Исправлена динамическая загрузка файлов. В некоторых случаях загрузка выполнялась только из одного файла.
• Исправлена ошибка импорта «.XLSX»-файлов.
• Исправлена ошибка создания таблицы.
• Исправлена ошибка мастеров WF при просмотре данных шагов, если входящий поток имеет тип «Вложенный запрос».
• Исправлена работа шаблонов в установке правил выгрузки.
• Исправлена ошибка заполнения списка полей в установке правила выгрузки.
• Исправлена ошибка загрузки большого файла.
• Исправлены прочие найденные ошибки.

Версия 1.6.4.12

30.01.2023

Получение и обработка данных

• Выполнена доработка Мастера загрузки файла «XLSX» и «CSV», обеспечена совместимость с файлами, сохраненными в LibreOffice и других «альтернативных» приложениях, доработан интерфейс Мастера в части работы с незагружаемыми столбцами (исключен анализ ошибок в заголовках для тех столбцов, загрузка которых не требуется).
• Добавлена возможность работы Мастеров шагов трансформации данных с различными схемами хранилища DWH.
• В сценарии подготовки таблицы «Очистить и добавить» добавлена возможность использования DELETE для очистки, вместо TRUNCATE.
• Добавлено событие для фиксации факта начала и завершения сбора данных из источника.
• Добавлена возможность загрузки списка пользователей в Modus BI.
• Доработан конструктор правил и алгоритм получения данных «JSON», для возможности загрузки отдельных ветвей JSON в колонку таблицы.
• Все режимы подготовки таблиц, которые используются при сборе данных, адаптированы для СУБД Vertica и Clickhouse.
• Добавлен http-сервис, позволяющий запускать «Состав выгрузки», «Сценарий», «Пакет обработки данных».
• Добавлена возможность создания групп(иерархии) в справочниках «Сценарии», «Составы выгрузок», «Пакеты».
• Добавлена возможность ограничивать количество потоков «сборщиков данных» для составов выгрузки. Это позволяет более гибко регулировать нагрузку на системы поставщики данных.

Администрирование

• Добавлен отчет для просмотра списка активных пакетов и ориентировочном времени их исполнения.
• Доработан отчет для контроля доступности баз данных.
• Добавлено версионирование шагов сценария.

Адаптер ETL

• Добавлена функциональность распознавания ссылок для ссылочных метаданных (справочники, документы и т.д.), которые добавлены через расширения.
• Исправлены ошибки
• Исправлена ошибка мастера «Выгрузка таблицы в файл»: в некоторых случаях, при указании произвольного запроса возникала ошибка.
• Исправлена ошибка из-за которой не создавались новые поля в таблице при изменении её структуры из установки правла выгрузки.
• Исправлены найденные ошибки.

Версия 1.6.3.17

24.10.2022

Получение данных

• Добавлен механизм инкрементальной выгрузки для информационных баз на платформе 1С: Предприятие. Функциональность позволяет получать изменения, зарегистрированные на узлах обмена, автоматически очищать загруженные изменения, присваивать составам данных номера сообщений. Инкрементальная выгрузка значительно упрощает получение измененных данных из информационных баз и сокращает время получения данных.
• Ускорен механизм работы сценариев при делении потоков по параметрам.

Поддержка ClickHouse

• Добавлена возможность использовать в качестве хранилища (витрин данных) СУБД ClickHouse. Использование ClickHouse значительно сокращает время получения данных и позволяет строить витрины данных с большой скоростью доступа к ним.

WorkFlow

• Функциональность WorkFlow, в сценариях обработки данных, используется теперь по умолчанию.
• Исправлены ошибки работы некоторых мастеров.

Исправление ошибок

• Исправлены найденные ошибки.