Функция загрузки файлов позволяет загружать в таблицу хранилища данных информацию, которая была сформирована или обработана вручную в Excel, а также данные из текстовых файлов формата CSV. Для успешной загрузки к содержимому и названиям файлов предъявляются обязательные требования:

• Заголовки столбцов в загружаемых таблицах не должны содержать управляющие спецсимволы:
  • «;»;
  • «&»;
  • переход на новую строку;
• Данные в загружаемых таблицах должны быть отформатированы в соответствии с составом данных и содержать однородную информацию в столбцах:
  • текст;
  • число;
  • дата;
• В наборах данных не должно быть пустых строк и столбцов.

Мастер загрузки

Откройте сервис в разделе «Главное/ Сервис/ Загрузка файла в БД (мастер настройки)»:

Порядок работы:

• двигайтесь по шагам мастера;
• пока не выполнены условия для перехода на следующий шаг, перейти дальше нет возможности;
• вы можете возвращаться на предыдущие шаги и изменять введенные настройки загрузки, а потом продолжать настройки;
• в любой момент вы можете остановить настройку с помощью мастера, при этом уже сделанные настройки не сохранятся;
• по окончании настройки возможно сохранить сделанные настройки и использовать их для последующих загрузок из файлов аналогичной структуры.

Шаг 1 «Выберите исходный файл и место назначения данных»

1. Укажите, требуется ли выгружать данные.
2. Выберите базу данных-приемник.
3. Выберите в новую или существующую таблицу должны загрузиться данные.
4. Если был выбран вариант загрузки в существующую таблицу, укажите таблицу выгрузки (вручную или выбрав из списка).
5. Выберите тип файла: «XLSX», «XLS», «CSV».
6. Выберите файл для загрузки.
7. Когда выбран файл и приемник, становится доступна кнопка «Далее», которая переводит процесс на следующий шаг.

Шаг 2 «Выберите лист»

1. По умолчанию для загрузки предлагается первый лист в файле, вы можете выбрать другой лист.
2. После выбора листа возможно просмотреть данные, которые на нем находятся и убедиться, что лист выбран правильно.
3. Если все верно, переходите на следующий шаг — нажмите на кнопку «Далее».

Шаг 3 «Настройте диапазон загрузки»

1. Укажите строку заголовка на выбранном листе.
2. Укажите начало диапазона загрузки.
3. Укажите окончание диапазона загрузки.
4. Количество строк предпросмотра на экране ограничено значением 50, так как чем больше строк нужно отобразить, тем дольше будет работать мастер. При необходимости возможно увеличить количество строк предпросмотра вручную.
5. Галочка «Распространить значение в объединенных ячейках» означает, что при наличии в выбранном диапазоне объединенных ячеек, мастер разделит их и все заполнит текущим значением.
6. Здесь отображаются строки предпросмотра.
7. Если все настроено верно, переходите на следующий шаг, нажав на кнопку «Далее».

Шаг 4 «Соответствие исходных данных и таблицы-приемника»

1. Выберите в области предпросмотра нужный столбец, нажав на его заголовок.
2. Проверьте правильность предложенного системой названия поля, при необходимости измените его.
3. Проверьте правильность предложенного системой типа данных, при необходимости измените его.
4. Если столбец загружать не нужно, то установите переключатель «Импортировать поле» в положение «Нет».
5. После настройки названий поля и типа данных столбцов, переходите на следующий шаг, нажав на кнопку «Далее».

Шаг 5 «Проверьте структуру новой таблицы»

1. Проверьте получившуюся структуру перед загрузкой данных, при необходимости возможно поменять названия поля и типа данных.
2. Если структура данных настроена верно, переходите на следующий шаг, нажав кнопку «Далее».

Шаг 6 «Введите название таблицы и запустите процесс»

1. Введите название таблицы-приемника.
2. Галочка «Сохранить ошибки при загрузке строк из файла» включает запись ошибок.
3. Если все настроено верно, запустите процесс загрузки, нажав на кнопку «Далее».

Настройка загрузки вручную

Перейдите в сервис ручной загрузки через начальную страницу или через меню «Главное/ Сервис/ Загрузка файла в SQL»:

Порядок работы:

1. На закладке «Основная» выберите файл для загрузки.
2. Нажмите на кнопку «1. Проанализировать файл». При этом автоматически заполнится табличная часть со списком полей таблицы.
3. В табличной части при необходимости возможно отредактировать «Наименование», «Тип» и «Длину поля в создаваемой SQL-таблице».
4. На вкладке «Пред. просмотр» возможно посмотреть, как будет выглядеть таблица.
   
5. Заполните параметры на закладке «Все настройки».
   
   • «База данных», «Имя таблицы», «Режим записи в SQL» (см. рисунок выше, 1);
   • параметры файла, в зависимости от типа (см. рисунок выше, 2, 4);
   • прочие настройки (см. рисунок выше, 3).
6. Вернитесь на закладку «Основная», нажав на кнопку «Создать таблицу SQL». Если все верно, выведется сообщение о создании таблицы, иначе — описание ошибки.
7. Нажмите на кнопку «Загрузить данные в SQL» на вкладке «Основная». Данные из файла запишутся в SQL-таблицу.

Особенности использования «ADO-ODBC»

В ETL есть возможность использования «ADO-ODBC» для загрузки данных файлов.

Для источников со способом подключения «ADODB», в правилах выгрузки используется вид правила «Запрос» и формируется обычный SQL-запрос. Из особенностей можно выделить только описание секции FROM в запросе:

• для файлов «XLSX» и «XLS» в секции FROM указывается имя листа, из которого получаются данные в формате ИмяЛиста$. Например, для листа «Лист1» секция FROM будет выглядеть как FROM [Лист1$];
• для файлов «CSV» в секции FROM указывается имя файла. Например, SELECT * FROM datafile.csv.

При получении данных через «ADO-ODBC», есть возможность использовать Агента ETL:

• для Windows — опционально.
• для Unix-подобных систем — обязательно.

Для использования Агента ETL выберите его в составе выгрузки на вкладке «Дополнительно»: