Настройка источников данных

 

Создание подключения — настройка «Базы данных»

Для настройки подключения к источникам (базы данных, -приложения, файлы) или приемникам (включая хранилища), перейдите в раздел «База данных» одним из способов:

  1. нажмите на начальной странице на ссылку «Базы данных»;
  2. или через меню «Размещение данных/ Базы и Источники/ Базы данных»:

Для добавления нового подключения нажмите на кнопку «Создать».

В открывшейся форме сперва укажите тип базы данных подключения, так как для каждого типа подключения специфичны свои настройки:

При необходимости установите переключатель «Использовать дублирующий сервер» и заполните поля альтернативного сервера, на котором может быть размещена копия основной БД.


Если переключатель не установлен, то строка для неиспользуемого элемента будет отображаться в форме неактивной:

Создание нового источника данных

Чтобы создать новый источник данных, перейдите в «Источники данных» одним из способов:

  • нажмите на начальной странице на ссылку «Источники данных»;
  • или через меню «Размещение данных/ Базы и Источники/ Источники данных»:

Откроется окно, в котором отображается список источников данных. Вы можете создать новый источник тремя способами:

  • нажатием на кнопку «Создать»;
  • нажатием на кнопку «Создать новый элемент копированием текущего» ;
  • нажатием на кнопку «Создать элементы по шаблону».

Дальнейшая настройка зависит от вида источника данных.

Настройка разных видов источников данных

Источники данных различаются по виду и могут быть:

  • Базой данных ( или СУБД);
  • Веб-сервисом;
  • Файлом.

Настройка для вида «База данных»

Для источника вида «База данных» выберите базу данных из списка настроенных подключений. Для этого нажмите на кнопку «Показать все», или создайте новое подключение, нажав на кнопку «Добавить»:

Настройка для вида «Веб сервис»

Основная настройка доступа к веб-сервису происходит при установке правил выгрузки. Откройте настройки источника данных. Перейдите на вкладку «Основная», укажите вид источника «Веб-сервис».

Перейдите на вкладку «Дополнительные настройки». Укажите адрес сервера в соответствующем поле. Задайте дополнительные атрибуты, например, организацию, к которой относятся полученные данные, если это необходимо.

Настройка для вида «Файл»

Вид источника данных «Файл» предполагает регулярную загрузку данных из файлов (xlsx, xls или csv), которые размещаются в определенном каталоге, а после обработки переносятся в другой каталог — «Каталог обработанных файлов».

Примечание — каталоги должны располагаться на сервере, где находится : ETL.

Источники описывают шаблон группы файлов. Для источников вида «Файл» указываются следующие параметры:

  • «Вид источника» — файл;
  • «База данных» — выбор из справочника «Базы данных». Заполняется если получение данных происходит через ADO-ODBC. Настройка базы данных, описывающей конкретный файл или каталог с файлами, описана ниже, в разделе «Настройка подключения к источнику типа «Файл».
  • «Каталог к файлу» — укажите каталог с новыми файлами для загрузки;
  • «Маска файлов» — маска, по которой будет происходить поиск новых файлов в Каталоге к файлу;
  • «Каталог обработанных файлов» и «Каталог файлов с ошибками» — каталоги, куда после обработки (успешной или нет) будут перемещены новые файлы.

Настройка подключения к источнику типа «Файл»

Используется при получении данных через ADO-ODBC.

При настройке «Базы данных» для файлов формата «XLSX» и «XLS» указываются следующие параметры:

  • «Тип базы данных» — файл;
  • «Путь к файлу» — путь к одному из файлов. При получении данных через «Состав выгрузки» этот параметр может быть переопределен в зависимости от настроек конкретного источника данных.
  • «Шаблон строки подключения» — выберите из списка шаблон строки подключения.

При настройке базы данных файла формата «CSV» указываются следующие параметры:

  • «Тип базы данных» — файл;
  • «Шаблон строки подключения» — шаблон строки подключения с драйверами нужной разрядности;
  • «Путь к файлу» и  «Имя пользователя» — укажите каталог, из которого будут загружаться «CSV» файлы.

Сохраните настройки, нажав на кнопку «Записать».

После настройки базы данных возможно выполнить проверку корректности настроек, нажав на кнопку «Проверить подключение».

Требования к исходным файлам загрузки

Файлы Excel («XLSX», «XLS»):

  • Убедитесь, что заголовки колонок не содержат символы перевода строки, точку, запятую, точку с запятой. Заключите заголовки с пробелами в квадратные скобки в запросе правила.
  • Ограничьте длину заголовков колонок до 64 символов.
  • Установите формат ячеек «Дата» для колонок с данными типа дата.

Файлы «CSV»:

  • Убедитесь, что заголовки не содержат символы точки, запятой, перевода строки. Заключите заголовки с пробелами в двойные кавычки в запросе правила и в схеме.
  • Заключите значения, содержащие CRLF, CR, LF, двойные кавычки или запятую, в двойные кавычки. Допустимо заключать в кавычки значения без указанных символов.
  • Дублируйте двойные кавычки внутри закавыченной части для корректного квотинга в «CSV».
  • Ограничьте длину наименования поля (AS) до 20 символов.

Регистрация набора источников

«Регистрация набора источников» позволяет объединять в группу источники с аналогичной структурой или конфигурацией. Это дает возможность получать данные по единым правилам для всей группы сразу. Подробнее смотрите в разделе «Регистрация набора источников».

Сервисные функции по управлению1С: Fresh-источниками

Интеграция с менеджером облачного сервиса для обновления справочной информации об источниках данных.

Для облачных баз :Fresh описание источников данных хранится в Менеджере сервиса. Справочник «Источники данных» можно обновлять, подключаясь к Менеджеру сервиса через web-сервис.  

Источники данных и связанные справочники (приложения, базы данных, организации) можно обновлять вручную или автоматически с помощью регламентного задания.

Для автоматического обновления необходимо настроить подключение к Менеджеру облачного сервиса, через который поступает информация об источниках данных. Регламентное задание поддерживает различные режимы обновления, например:  

  • режим «Обновлять имеющиеся, загружать отсутствующие»:  
    • для существующих записей (найденных по ключу) обновляются изменённые поля;  
    • для новых записей (не найденных по ключевому полю) создаются новые элементы в справочнике.  

Для активации функционала перейдите в раздел «Главное/ Информация/ Основные настройки», подраздел «Настройки получения данных» и установите галочку в поле«Использовать менеджер сервиса : Fresh»:

Для запуска процедуры вручную перейдите в меню «Главное/ Сервис/ Загрузка справочной информации»:

Настройка регламентного задания загрузки данных об источниках (областях) через web-сервис осуществляется через меню «Администрирование/ Обслуживание», раскройте «Регламентные операции» м перейдите по ссылке «Регламентные и фоновые задания», выберите задание «Загрузка Справочной Информации».

Установите галочку в поле «Включено» и настройте расписание обновления, нажав на ссылку «Расписание»:

Запишите и закройте форму.

Проверка доступности баз данных

Вы можете проверить подключение к определенной базе данных или нескольким. Для проверки подключения перейдите в раздел «Размещение данных/ Базы данных».

  1. Для проверки подключения к определенной БД выберите базу и нажмите на кнопку «Проверить подключение». Появится информационное окно «Подключение к базе данных установлено». В случае недоступности будет выведено подробное сообщение об ошибке:
  2. Для проверки подключения к нескольким БД нажмите на кнопку «Все», в открывшемся окне по умолчанию выбраны все базы, при необходимости снимите галочки с баз, по которым проверка не нужна. Нажмите на кнопку «Запустить проверку». Прогресс и время выполнения отображается на шкале. После завершения проверки, если подключение успешно, появится зеленый значок.