Создание подключения — настройка «Базы данных»

Для настройки подключения и/или проверки подключения к источникам (базы данных, -приложения, файлы) или приемникам (включая хранилища), перейдите в раздел «База данных» одним из способов:

  1. «Начальная страница/ Источники данных/ Базы данных».
  2. «Размещение данных/ Базы и Источники/ Базы данных».

Подробнее см. раздел «Подключение источников данных и баз данных хранилища».

Проверка доступности баз данных

Вы можете проверить подключение к базе данных:

  1. Для проверки подключения к определенной БД выберите базу и нажмите на кнопку «Проверить подключение». Появится информационное окно «Подключение к базе данных установлено». В случае недоступности будет выведено подробное сообщение об ошибке:
  2. Для проверки подключения к нескольким БД нажмите на кнопку «Все», в открывшемся окне по умолчанию выбраны все базы, при необходимости снимите галочки с баз, по которым проверка не нужна.
    1. Нажмите на кнопку «Запустить процесс». Прогресс и время выполнения отображается на шкале.
    2. После завершения проверки, если подключение успешно, появится зеленый значок.

Создание нового источника данных

Чтобы создать новый источник данных, перейдите в «Источники данных» одним из способов:

  1. «Начальная страница/ Источники данных/ Источники данных».
  2. «Размещение данных/ Базы и Источники/ Источники данных».

В диалоговом окне «Источники данных» отображается список источников данных. Создать новый источник:

  1. Нажмите кнопку «Создать».
  2. Нажмите кнопку «Создать новый элемент копированием текущего».
  3. Нажмите кнопку «Создать на основании», подробнее см. раздел «Регистрация набора источников».
  4. Нажмите кнопку «Создать элементы по шаблону».

Дальнейшая настройка зависит от вида источника данных.

Настройка разных видов источников данных

Поле «Вид источника» — представлено выпадающим списком:

  • «База данных» ( или СУБД);
  • «Веб-сервис»;
  • «Файл»;
  • «Очередь сообщений».

Настройка для вида «База данных»

Для источника вида «База данных» выберите базу данных из списка настроенных подключений. Для этого нажмите на кнопку «Показать все», или создайте новое подключение, нажав на кнопку «Добавить»:

Настройка для вида «Веб сервис»

Настройка доступа к веб-сервису происходит при установке правил выгрузки. Откройте настройки источника данных. Перейдите на вкладку «Основная», укажите вид источника «Веб-сервис».

Перейдите на вкладку «Дополнительные настройки». Укажите адрес сервера в соответствующем поле. Задайте дополнительные атрибуты, например, организацию, к которой относятся полученные данные, если это необходимо.

Настройка для вида «Файл»

Вид источника данных «Файл» предполагает регулярную загрузку данных из файлов (xlsx, xls или csv), которые размещаются в определенном каталоге, а после обработки переносятся в другой каталог — «Каталог обработанных файлов».

Примечание — каталоги должны располагаться на одном сервере с : ETL.

Источники описывают шаблон группы файлов. Для источников вида «Файл» указываются следующие параметры:

Вкладка «Основная»:

  • «Вид источника» — файл;
  • «База данных» — выбор из справочника «Базы данных». Заполняется если получение данных происходит через ADO-ODBC. Настройка базы данных, описывающей конкретный файл или каталог с файлами, описана ниже, в разделе «Настройка подключения к источнику типа «Файл».

На вкладке «Дополнительно»:

  • «Каталог к файлу» — укажите каталог с новыми файлами для загрузки;
  • «Маска файлов» — маска, по которой будет происходить поиск новых файлов в Каталоге к файлу;
  • «Каталог обработанных файлов» и «Каталог файлов с ошибками» — каталоги, куда после обработки (успешной или нет) будут перемещены новые файлы.

Настройка подключения к источнику типа «Файл»

Используется при получении данных через ADO-ODBC.

При настройке «Базы данных» для файлов формата «XLSX» и «XLS» указываются следующие параметры:

  • «Тип базы данных» — файл;
  • «Путь к файлу» — путь к одному из файлов. При получении данных через «Состав выгрузки» этот параметр может быть переопределен в зависимости от настроек конкретного источника данных.
  • «Шаблон строки подключения» — выберите из списка шаблон строки подключения.

При настройке базы данных файла формата «CSV» указываются следующие параметры:

  • «Тип базы данных» — файл;
  • «Шаблон строки подключения» — шаблон строки подключения с драйверами нужной разрядности;
  • «Путь к файлу» и  «Имя пользователя» — укажите каталог, из которого будут загружаться «CSV» файлы.

Сохраните настройки, нажав на кнопку «Записать».

После настройки базы данных возможно выполнить проверку корректности настроек, нажав на кнопку «Проверить подключение».

Требования к исходным файлам загрузки

Файлы Excel («XLSX», «XLS»):

  • Убедитесь, что заголовки колонок не содержат символы перевода строки, точку, запятую, точку с запятой. Заключите заголовки с пробелами в квадратные скобки в запросе правила.
  • Ограничьте длину заголовков колонок до 64 символов.
  • Установите формат ячеек «Дата» для колонок с данными типа дата.

Файлы «CSV»:

  • Убедитесь, что заголовки не содержат символы точки, запятой, перевода строки. Заключите заголовки с пробелами в двойные кавычки в запросе правила и в схеме.
  • Заключите значения, содержащие CRLF, CR, LF, двойные кавычки или запятую, в двойные кавычки. Допустимо заключать в кавычки значения без указанных символов.
  • Дублируйте двойные кавычки внутри закавыченной части для корректного квотинга в «CSV».
  • Ограничьте длину наименования поля (AS) до 20 символов.

Настройка для вида «Очередь сообщений»

Источник вида «Очередь сообщений» используется для потокового сбора данных из :Шины. В отличие от классических источников, где ETL сам опрашивает источник по расписанию, здесь ETL подписывается на очередь и постоянно слушает её, записывая поступающие сообщения сразу при их появлении.

Предварительное условие: перед созданием источника необходимо настроить Брокер сообщений (подключение к самой :Шине), подробнее в разделе «».

Порядок настройки при создании источника данных:

  1. Укажите поле «Вид источника» значение «Очередь сообщений».
  2. Форма изменится. В поле «Брокер сообщений» выберите из списка ранее созданное подключение к :Шине.
  3. Введите  необходимые значения в полях «Наименование», «Проект», а в поле «Способ создания» всегда одно значение — «Пользовательский»;
  4. Заполните поля, которые определяют конкретный канал и процесс в шине (эти данные предоставляет администратор :Шины):
    • «Имя процесса интеграции»;
    • «Канал-источник» (необязательное поле);
    • «Канал-приемник».
  5. Нажмите на кнопку «Записать и закрыть».

Регистрация набора источников

«Регистрация набора источников» позволяет объединять в группу источники с аналогичной структурой или конфигурацией. Это дает возможность получать данные по единым правилам для всей группы сразу. Подробнее смотрите в разделе «Регистрация набора источников».

Сервисные функции по управлению1С: Fresh-источниками

Интеграция с менеджером облачного сервиса для обновления справочной информации об источниках данных.

Для облачных баз :Fresh описание источников данных хранится в Менеджере сервиса. Справочник «Источники данных» можно обновлять, подключаясь к Менеджеру сервиса через web-сервис. Источники данных и связанные справочники (приложения, базы данных, организации) можно обновлять вручную или автоматически с помощью регламентного задания.

Для автоматического обновления необходимо настроить подключение к Менеджеру облачного сервиса, через который поступает информация об источниках данных.

Для активации функционала перейдите в раздел «Главное/ Информация/ Основные настройки».

В подразделе «Настройки получения данных» и установите галочку в поле«Использовать менеджер сервиса : Fresh».

Регламентное задание поддерживает различные режимы обновления. Настройка режимов представлена выпадающим списком в поле «При загрузке справочных данных»:

  • «Обновлять имеющиеся»;
  • «Загружать отсутствующие»;
  • «Обновлять имеющиеся, загружать отсутствующие»:  
    • для существующих записей (найденных по ключу) обновляются изменённые поля;  
    • для новых записей (не найденных по ключевому полю) создаются новые элементы в справочнике.

Для запуска процедуры вручную перейдите в меню «Главное/ Сервис/ Загрузка справочной информации»:

Настройка регламентного задания загрузки данных об источниках (областях) через web-сервис осуществляется через меню «Администрирование/ Обслуживание».

В диалоговом окне «Обслуживание» в блоке «Регламентные операции» и перейдите по ссылке «Регламентные и фоновые задания».

В диалоговом окне «Регламентные и фоновые задания» на вкладке «Регламентные задания» выберите «Загрузка справочной информации».

Установите галочку «Включено», нажмите кнопку «Расписание» настройте расписание обновления, нажмите кнопку «Записать и закрыть».