Перенос контента в инфоблоки Битрикс

Периодически наша студия сталкивается с необходимостью переноса контента с одной платформы на другую. Говоря о переносе контента, мы имеем в виду массовый перенос, т. е. когда на новом сайте требуется разместить значительное количество информации со старого сайта – сотни, тысячи новостей, публикаций, статей, фотографий, видеоматериалов и т.п.

Что такое "управление контентом"? Это когда оператор в админке видит ровно те элементы управления, которые предполагаются для того или иного вида информации, при этом оператор совершает минимальный набор действий для достижения какой-то цели.

Например, существуют крупные учреждения, обладающие обширной территориальной сетью, которые регулярно публикуют новости. Вот при создании или редактировании такой новости у оператора должна быть возможность выбрать подобную привязку к территориальному отделению из некоего выпадающего списка, который не только содержит список таких отделений, но и сам обновляется, если появляются новые отделения.

Битрикс, заслуженно получая регулярные негативные отзывы, как о платформе для разработки, тем не менее вполне пригоден для создания информационных порталов. Админка Битрикса далеко не безгранична по своим возможностям, и не всегда совершенна по имеющемуся функционалу, но большинство требуемых функций там может быть реализовано с той или иной степенью приемлемости.

И если с возможностями организации информации в экосистеме Битрикса и возможностями управления этой информацией всё более или менее понятно, то процесс переноса всегда представляет собой определённые трудности. На самом деле это всегда индивидуальная задача, т.е. перенос контента проекта "А" на Битрикс и перенос контента проекта "Б" на Битрикс – это обычно две самостоятельные задачи.

Как же получается, что такая, казалось бы, типовая и повторяемая задача становится очень индивидуальной? Дело всегда в разнице исходных и требуемых форматов (в широком смысле слова). Палитра технических возможностей различных CMS по хранению и представлению идентичного контента слишком велика, чтобы это можно было решить единожды и навсегда. Ниже постараемся вкратце раскрыть ряд вопросов, с которыми неизбежно приходится сталкиваться при переносе контента с одной CMS на другую.

Текст

Текст – это не просто текст. Это, как правило, HTML разметка, причём часто еще и инлайн-стилизованная. Разные CMS используют разные текстовые редакторы, поэтому разметка в дополнение к главной своей части может содержать служебные данные в html-комментариях. Существенно ли это? Говоря о комментариях – они могут иметь несколько сотен строк и в несколько раз превышать объём самого текста. Соответственно, всю эту красота вы будете наблюдать в визуальном редакторе Битрикса. Если говорить уже о самом тексте и его стилизации – некоторая стилизация может быть признана полезной, а некоторая – неприемлемой относительно общего подхода, используемого на новом сайте. Поэтому, к сожалению, нельзя просто бездумно пройтись регуляркой и всё срезать, надо подходить выборочно.

Плагины

Типична ситуация, когда часть контента управляется с помощью некоторых плагинов к CMS. Текст может содержать в себе некоторые, скажем так, управляющие выражения, которые используются для вывода в этом месте другого контента. Код CMS при выводе контента сначала проверяет его на наличие таких выражений, и, если нужно, запускает сторонние механизмы, которые уже заменяют эти выражения новым контентом. Что это означает с точки зрения переноса данных? Что вы больше не можете просто взять и скопировать текст, т.к. Битрикс ничего не знает о том, что делать с такими управляющими выражениями. Вместо этого можно либо просто избавиться от них, естественно, утеряв соответствующую часть контента, либо подготовить эту часть контента таким образом, чтобы она не только технически могла быть импортирована в Битрикс, но и точно соответствовала структуре этого вида данных. Один из самых ярких примеров такой ситуации – фотогалереи внутри статей.

Картинки

Изображения с точки зрения управления контентом, могут быть разделены на 2 большие категории – те, которые являются частью текста и выводятся в потоке текста как его часть, и изображения, которые определены отдельно от текста и вывод которых задаётся вспомогательными механизмами. Эти категории требуют разных способом обработки и разных подходов в процессе подготовки импорта данных в Битрикс.

Например, одна из типичных ситуаций – имеем просто текст статьи в виде html разметки с инлайн-картинками. Необходимо сформировать данные для элемента инфоблока таким образом, чтобы подробной картинкой стало первое изображение, а остальные остались в потоке текста. Задачи, которые при этом возникают: необходимо вырезать разметку первой картинки, сформировать путь, пригодный для получения картинки (http-uri или путь в файловой системе), сформировать корректный путь к картинке для файла импорта, поместить картинку по этому пути; для инлайн-картинок нужно сформировать линки для получения картинок, разместить картинки там, где мы предполагаем их постоянное хранение, в тексте заменить исходные пути на новые.

Семантические URL

Использование ЧПУ URL для адресации – уже давно скорее общее правило, чем некий особый функционал для сайта. К сожалению, в настоящий момент Битрикс не поддерживает создания таких кодов во время импорта автоматически (по-крайней мере, нам этого не так и не удалось добиться), но это можно обойти использованием сторонних модулей для их генерирования уже после импорта данных. Однако, это не очень удобно с точки зрения организации процесса при массовом импорте, и, кроме того, вполне возможна ситуация, когда генерирование должно быть произведено с "тонкими настройками", на которые эти сторонние модули, разумеется, не рассчитаны (это может быть и генерирование исходя из конкретной части контента, и особый порядок учёта дубликатов). Поэтому выгоднее это делать на этапе подготовки данных.

Специализированные свойства инфоблоков

Админка Битрикса поддерживает создание дополнительных и пользовательских свойств инфоблоков, которые помогают наиболее подходящим способом управлять данными, этим можно и нужно активно пользоваться. То есть, если для публикации предусмотрена фотогалерея, как один из элементов этой публикации, разумно создавать отдельное множественное свойство, и в него импортировать необходимые картинки. Либо же создавать отдельный "галерейный" инфоблок и в статье ссылаться не него (точнее – на нужный элемент). Однако, с технической точки зрения, формирование правильной структуры в файле импорта для таких свойств – процедура не всегда "интуитивно" понятная и developer-friendly.

 

Как импортировать?

Битрикс поддерживает несколько способов импорта данных. Через программный API и через 2 вида формата файлов – csv или xml. Все эти способы имеют свои преимущества и недостатки. Так, с одной стороны, импорт через API кажется наиболее естественным решением – т. е. записываем напрямую и всё. Однако, де-факто это не самое лучшее решение с разных точек зрения. Во-первых, при большом объеме данных попыток импорта наверняка будет больше одной, т. к. будут обнаруживаться новые и новые кейсы, которые не были видны на первый взгляд. Каждая такая попытка импорта будет занимать существенное количество времени (пробовали импортировать большой xml на несколько тысяч элементов?). Для проверки результатов импорта необходимо каждый раз будет в админке путешествовать по разным элементам и исследовать значения их разных свойств и полей. В деле проверок GUI всегда больше мешает, чем помогает.

Для массового импорта более подходящим является формирование результатов в виде готового файла (при этом xml предпочтительнее, т.к. csv импорт крайне ограничен в возможностях). Во-первый, такой результат можно получать на любой машине локально, не на сервере, где развернут сайт. Во-вторых, результат преобразования данных (коим является сформированный файл импорта) может быть подвергнут анализу на пригодность любыми подходящими способами – начиная от банальных проверок регулярками и заканчивая валидацией по xsd схеме. Кроме того, такой способ позволяет полностью подготовить полностью готовый к импорту пакет (т.е. не только собственно файл импорта, но и все остальные сопутствующие файлы), но делать это поэтапно, по мере решения изначальных и возникающих в процессе задач.

Что делать?

Для решения описанных в этой статье задач в студии создан внутренний инструментарий, который позволяет достаточно оперативно и бережно перенести данные со старого сайта на новый, избежав при этом потерь информации, времени, денег и нервных клеток. При этом весь исторический контент будет управляться точно так же, как задумано на новом сайте.

В следующей статье мы расскажем о технических подробностях...