Парсинг XML с помощью SimpleXML. Для чего нужны XML-парсеры и чем они могут быть полезны Как парсить загруженный xml файл в php
Many examples in this reference require an XML string. Instead of repeating this string in every example, we put it into a file which we include in each example. This included file is shown in the following example section. Alternatively, you could create an XML document and read it with simplexml_load_file() .
Example #1 Include file example.php with XML string
$xmlstr
= <<
scripting language? All is revealed in this thrilling horror spoof
of a documentary.
XML;
?>
The simplicity of SimpleXML appears most clearly when one extracts a string or number from a basic XML document.
Example #2 Getting
include "example.php" ;
echo
$movies
->
movie
[
0
]->
plot
;
?>
So, this language. It"s like, a programming language. Or is it a scripting language? All is revealed in this thrilling horror spoof of a documentary.
Accessing elements within an XML document that contain characters not permitted under PHP"s naming convention (e.g. the hyphen) can be accomplished by encapsulating the element name within braces and the apostrophe.
Example #3 Getting
include "example.php" ;
echo
$movies
->
movie
->{
"great-lines"
}->
line
;
?>
The above example will output:
PHP solves all my web problems
Example #4 Accessing non-unique elements in SimpleXML
When multiple instances of an element exist as children of a single parent element, normal iteration techniques apply.
include "example.php" ;
$movies = new SimpleXMLElement ($xmlstr );
/* For each
foreach ($movies
->
movie
->
characters
->
character
as
$character
) {
echo
$character
->
name
,
" played by "
,
$character
->
actor
,
PHP_EOL
;
}
?>
The above example will output:
Properties ($movies->movie in previous example) are not arrays. They are iterable and accessible objects.
Example #5 Using attributes
So far, we have only covered the work of reading element names and their values. SimpleXML can also access element attributes. Access attributes of an element just as you would elements of an array .
include "example.php" ;
$movies = new SimpleXMLElement ($xmlstr );
/* Access the
* Output the rating scale, too. */
foreach ($movies
->
movie
[
0
]->
rating
as
$rating
) {
switch((string)
$rating
[
"type"
]) {
// Get attributes as element indices
case
"thumbs"
:
echo
$rating
,
" thumbs up"
;
break;
case
"stars"
:
echo
$rating
,
" stars"
;
break;
}
}
?>
The above example will output:
7 thumbs up5 stars
Example #6 Comparing Elements and Attributes with Text
To compare an element or attribute with a string or pass it into a function that requires a string, you must cast it to a string using (string) . Otherwise, PHP treats the element as an object.
include "example.php" ;
$movies = new SimpleXMLElement ($xmlstr );
if ((string)
$movies
->
movie
->
title
==
"PHP: Behind the Parser"
) {
print
"My favorite movie."
;
}
echo
htmlentities
((string)
$movies
->
movie
->
title
);
?>
The above example will output:
My favorite movie.PHP: Behind the Parser
Example #7 Comparing Two Elements
Two SimpleXMLElements are considered different even if they point to the same element since PHP 5.2.0.
include "example.php" ;
$movies1
= new
SimpleXMLElement
($xmlstr
);
$movies2
= new
SimpleXMLElement
($xmlstr
);
var_dump
($movies1
==
$movies2
);
// false since PHP 5.2.0
?>
The above example will output:
Example #8 Using XPath
SimpleXML includes built-in XPath support.
To find all
include "example.php" ;
$movies = new SimpleXMLElement ($xmlstr );
foreach ($movies
->
xpath
("//character"
) as
$character
) {
echo
$character
->
name
,
" played by "
,
$character
->
actor
,
PHP_EOL
;
}
?>
"// " serves as a wildcard. To specify absolute paths, omit one of the slashes.
The above example will output:
Ms. Coder played by Onlivia Actora Mr. Coder played by El ActÓr
Example #9 Setting values
Data in SimpleXML doesn"t have to be constant. The object allows for manipulation of all of its elements.
include
"example.php"
;
$movies
= new
SimpleXMLElement
($xmlstr
);
$movies -> movie [ 0 ]-> characters -> character [ 0 ]-> name = "Miss Coder" ;
echo
$movies
->
asXML
();
?>
The above example will output:
Example #10 Adding elements and attributes
Since PHP 5.1.3, SimpleXML has had the ability to easily add children and attributes.
include
"example.php"
;
$movies
= new
SimpleXMLElement
($xmlstr
);
$character
=
$movies
->
movie
[
0
]->
characters
->
addChild
("character"
);
$character
->
addChild
("name"
,
"Mr. Parser"
);
$character
->
addChild
("actor"
,
"John Doe"
);
$rating
=
$movies
->
movie
[
0
]->
addChild
("rating"
,
"PG"
);
$rating
->
addAttribute
("type"
,
"mpaa"
);
echo
$movies
->
asXML
();
?>
The above example will output:
Example #11 DOM Interoperability
PHP has a mechanism to convert XML nodes between SimpleXML and DOM formats. This example shows how one might change a DOM element to SimpleXML.
$dom
= new
DOMDocument
;
$dom
->
loadXML
("
if (!
$dom
) {
echo
"Error while parsing the document"
;
exit;
}
$books = simplexml_import_dom ($dom );
echo
$books
->
book
[
0
]->
title
;
?>
The above example will output:
4 years ago
There is a common "trick" often proposed to convert a SimpleXML object to an array, by running it through json_encode() and then json_decode(). I"d like to explain why this is a bad idea.
Most simply, because the whole point of SimpleXML is to be easier to use and more powerful than a plain array. For instance, you can write bar -> baz [ "bing" ] ?> and it means the same thing as bar [ 0 ]-> baz [ 0 ][ "bing" ] ?> , regardless of how many bar or baz elements there are in the XML; and if you write bar [ 0 ]-> baz [ 0 ] ?> you get all the string content of that node - including CDATA sections - regardless of whether it also has child elements or attributes. You also have access to namespace information, the ability to make simple edits to the XML, and even the ability to "import" into a DOM object, for much more powerful manipulation. All of this is lost by turning the object into an array rather than reading understanding the examples on this page.
Additionally, because it is not designed for this purpose, the conversion to JSON and back will actually lose information in some situations. For instance, any elements or attributes in a namespace will simply be discarded, and any text content will be discarded if an element also has children or attributes. Sometimes, this won"t matter, but if you get in the habit of converting everything to arrays, it"s going to sting you eventually.
Of course, you could write a smarter conversion, which didn"t have these limitations, but at that point, you are getting no value out of SimpleXML at all, and should just use the lower level XML Parser functions, or the XMLReader class, to create your structure. You still won"t have the extra convenience functionality of SimpleXML, but that"s your loss.
9 years ago
If you need to output valid xml in your response, don"t forget to set your header content type to xml in addition to echoing out the result of asXML():
$xml
=
simplexml_load_file
("..."
);
...
...
xml stuff
...
//output xml in your response:
header
("Content-Type: text/xml"
);
echo
$xml
->
asXML
();
?>
1 year ago
If your xml string contains booleans encoded with "0" and "1", you will run into problems when you cast the element directly to bool:
$xmlstr = <<
XML;
$values = new SimpleXMLElement($xmlstr);
$truevalue = (bool)$values->truevalue; // true
$falsevalue = (bool)$values->falsevalue; // also true!!!
Instead you need to cast to string or int first:
$truevalue = (bool)(int)$values->truevalue; // true
$falsevalue = (bool)(int)$values->falsevalue; // false
9 years ago
From the README file:
SimpleXML is meant to be an easy way to access XML data.
SimpleXML objects follow four basic rules:
1) properties denote element iterators
2) numeric indices denote elements
3) non numeric indices denote attributes
4) string conversion allows to access TEXT data
When iterating properties then the extension always iterates over
all nodes with that element name. Thus method children() must be
called to iterate over subnodes. But also doing the following:
foreach ($obj->node_name as $elem) {
// do something with $elem
}
always results in iteration of "node_name" elements. So no further
check is needed to distinguish the number of nodes of that type.
When an elements TEXT data is being accessed through a property
then the result does not include the TEXT data of subelements.
Known issues
============
Due to engine problems it is currently not possible to access
a subelement by index 0: $object->property.
8 years ago
A quick tip on xpath queries and default namespaces. It looks like the XML-system behind SimpleXML has the same workings as I believe the XML-system .NET uses: when one needs to address something in the default namespace, one will have to declare the namespace using registerXPathNamespace and then use its prefix to address the otherwise in the default namespace living element.
$string
= <<
I know that"s the answer -- but what"s the question?
XML;
$xml
=
simplexml_load_string
($string
);
$xml
->
registerXPathNamespace
("def"
,
"http://www.w3.org/2005/Atom "
);
$nodes = $xml -> xpath ("//def:document/def:title" );
?>
8 years ago
Using stuff like: is_object($xml->module->admin) to check if there actually is a node called "admin", doesn"t seem to work as expected, since simplexml always returns an object- in that case an empty one - even if a particular node does not exist.
For me good old empty() function seems to work just fine in such cases.
9 years ago
While SimpleXMLElement claims to be iterable, it does not seem to implement the standard Iterator interface functions like::next and::reset properly. Therefore while foreach() works, functions like next(), current(), or each() don"t seem to work as you would expect -- the pointer never seems to move or keeps getting reset.
5 years ago
Если кодировка XML-документа отличается от UTF-8, объявление кодировки должно следовать сразу после version="..." и перед standalone="...". Это требование стандарта XML.
If encoding XML-document differs from UTF-8. Encoding declaration should follow immediately after the version = "..." and before standalone = "...". This requirement is standard XML.
Ok
Fatal error: Uncaught exception "Exception" with message "String could not be parsed as XML" in...
Xml парсер - это программа, которая извлекает из исходного файла xml формата данные и сохраняет или использует для последующих действий.
Почему нужны xml парсеры?
В первую очередь потому что сам по себе формат xml популярный среди компьютерных стандартов. XML файл выглядит так:
т.е. по сути есть теги, есть какие-то правила какие теги должны следовать друг за другом.
Причина популярности xml файлов заключается в том, что он хорошо читаем человеком. И то, что его относительно легко обрабатывать в программах.
Минусы xml-файлов.
Минусом является в первую очередь большое количество места на диске, которое занимают эти данные. Ввиду того, что теги, которые постоянно повторяются, при больших объемах данных, занимаю относительно много мегабайт, которые просто необходимо скачивать из источника, а потом и обрабатывать. Есть ли альтернативы? Есть, конечно, но все равно, парсеры xml и xml сегодня один из самых простых и надежных и технологически популярных форматов.
Как пишутся XML парсеры?
Парсеры пишутся на языках программирования. Как говорится пишутся на всех, но не некоторых больше. Следует понимать, что есть языки программирования, в которых есть уже встроенные библиотеки для парсинга xml файлов. Но в любом случае даже если библиотеки нет, можно всегда найти подходящую библиотеку для этого дела и использовать ее для извлечения данных из файла.
Глобально есть 2 разных подхода как парсить xml файлы.
Первый - это загружать xml файл полностью в память ну и дальше делать манипуляции по извлечению данных.
Второй - это потоковый вариант. В этом случае в языке программирования определяется определенные теги на которые нужно реагировать функциям создаваемого xml парсера и уже программист сам решает, что нужно делать в случае обнаружения того или иного тега.
Плюсом первого подхода является скорость. Сразу все загрузил файл, потом быстро пробежался в памяти нашел, что нужно и самое главное программировать легко. но Минус есть и очень важный - это
большой объем памяти требуется для работы. Иногда, я бы даже сказал часто бывает так, что просто невозможно обработать и распарсить xml файл, т.е. создать xml парсер, чтобы работал по первому способу корректно. Почему так? Ну, например, ограничение для 32 битных приложений под виндой позволяет программе максимально занимать 2 гигабайта памяти - больше нельзя.
Однако программировать по поточному варианту сложно. Сложность при достаточно серьезном извлечении вырастает в разы, что соответственно сказывается и на сроках и на бюджете.
Валидность xml файлов и парсеров.
Все было бы с xml файлами и xml парсерами хорошо, но вот есть проблема. Ввиду того, что создать xml файл может "любой школьник", а в реальности так и есть (потому что очень много кода пишется школьниками, то появляются невалидные файлы, т.е. некорректные. Что это значит и чем это чревато? Самая большая проблема, это то, что просто невозможно иногда корректно распарсить невалидный файл. Например у него теги не закрываются как следовало бы ожидать по стандарту или например кодировка задана неверно. Другая проблема заключается, что если например делаешь парсер на.net то, можно создать так называемые врапперы, и самое обидное бывает, что вот сделаешь такой враппер, а потом считываешь им файл, который "школьник" создал, а файл невалидный и его прочитать невозможно. Поэтому приходиться изгаляться и прибегать к весьма и весьма непопулярным вариантам парсинга таких файлов. А все из=за того, что многие создают xml файлы без использования стандартных библиотек и с полным отвращениям ко всем стандартам xml файлов. Заказчикам это сложно объяснить. Они ждут результат - xml парсер, который преобразует данные из оригинального файла в другой формат.
Как создавать xml парсеры (первый вариант)
Есть такой язык запросов к XML данным как Xpath. Язык этот имеет две редакции, углубляться не будем в особенности каждой версии. Лучше представление про этот язык покажут примеры того как использовать его для извлечения данных. Например.
//div[@class="supcat guru"]/a
что делает этот запрос. Он забирает все а тэги, которые имею хреф, содержаший текст catalog.xml?hid= и этот а тэг должен быть чайлдом дива у которого класс равен supcat guru.
Да, на первый раз может быть и не достаточно понятно, но, все же разобраться можно если захотите. Отправная точка для меня это http://ru.wikipedia.org/wiki/XPath и вам советую.
публикация данной статьи разрешена только со ссылкой на сайт автора статьи
В этой статье я покажу пример, как разобрать большой XML файл. Если на вашем сервере (хостинге) не запрещено увеличение времени работы скрипта, то можно разбирать XML файл весом хоть гигабайты, сам лично разбирал только файлы от озона весом 450 мегабайт.
При разборе больших XML файлов возникает две проблемы:
1. Не хватает памяти.
2. Не хватает выделенного времени для работы скрипта.
Вторую проблему с временем решить можно, если сервером это не запрещено.
А вот проблему с памятью решить сложно, даже если речь идет о своем сервере, то ворочать файлы по 500 мегабайт не очень просто а уж на хостинге и на VDS увеличить память просто не получится.
В PHP существует несколько встроенных вариантов обработки XML - SimpleXML, DOM, SAX.
Все эти варианты подробно описаны во многих статьях с примерами, но все примеры демонстрируют работу с полным XML документом.
Вот один из примеров, получаем объект из XML файла
Теперь можно обрабатывать этот объект, НО...
Как видно, весь XML файл считывается в память, затем все разбирается в объект.
То есть все данные попадают в память и если выделенной памяти мало, то скрипт останавливается.
Для обработки больших файлов такой вариант не подходит, нужно читать файл построчно и обрабатывать эти данные по очереди.
При этом проверка на валидность осуществляется так же по мере обработки данных, поэтому нужно иметь возможность для отката, например удалить все внесенные в базу данные в случае не валидного XML файла, либо осуществить два прохода по файлу, сначала читать на валидность, затем читать для обработки данных.
Вот теоретический пример разбора большого XML файла.
Этот скрипт читает по одному символу из файла, собирает эти данные в блоки и отправляет в разборщик XML.
Такой подход полностью решает проблему с памятью и не вызывает нагрузки, но усугубляет проблему со временем. Как попытаться решить проблему со временем, читайте ниже.
Function
webi_xml
($file
)
{
########
### функция работы с данными
{
print
$data
;
}
############################################
{
print
$name
;
print_r
($attrs
);
}
## функция закрывающих тегов
function
endElement
($parser
,
$name
)
{
print
$name
;
}
############################################
($xml_parser , "data" );
// открываем файл
$fp
=
fopen
($file
,
"r"
);
$perviy_vxod = 1 ; $data = "" ;
{
$simvol = fgetc ($fp ); $data .= $simvol ;
if($simvol
!=
">"
) { continue;}
echo
"
break;
}
$data
=
""
;
}
fclose
($fp
);
Webi_xml ("1.xml" );
?>
В этом примере я все сложил в одну функцию webi_xml()
и в самом низу видно ее вызов.
Сам скрипт состоит из трех основных функций:
1. Функция которая ловит открытие тега startElement()
2. Функция которая ловит закрытие тега endElement()
3. И функция получения данных data()
.
Предположим что содержимое файла 1.xml некий рецепт
<
title
>
Простой хлеб
<
ingredient amount
=
"3"
unit
=
"стакан"
>
Мука
<
ingredient amount
=
"0.25"
unit
=
"грамм"
>
Дрожжи
<
ingredient amount
=
"1.5"
unit
=
"стакан"
>
Тёплая вода
<
ingredient amount
=
"1"
unit
=
"чайная ложка"
>
Соль
<
instructions
>
<
step
>
Смешать все ингредиенты и тщательно замесить
.
<
step
>
Закрыть тканью и оставить на один час в тёплом помещении
.
<
step
>
Замесить ещё раз
,
положить на противень и поставить в духовку
.
<
step
>
Посетить сайт сайт
Начинаем все с вызова общей функции webi_xml
("1.xml"
);
Дальше в этой функции стартует разборщик и все имена тегов переводим в верхний регистр, чтобы все теги имели одинаковый регистр.
$xml_parser
=
xml_parser_create
();
xml_parser_set_option
($xml_parser
,
XML_OPTION_CASE_FOLDING
,
true
);
Теперь указываем какие функции будут работать для отлова открытия тега, закрытия и обработки данных
xml_set_element_handler
($xml_parser
,
"startElement"
,
"endElement"
);
xml_set_character_data_handler
($xml_parser
,
"data"
);
Дальше идет открытие указанного файла, перебор файла по одному символу и каждый символ добавляется в строковую переменную пока не будет найден символ >
.
Если это самое первое обращение к файлу, то попутно будет удалено все что будет лишним в начале файла, все что стоит до , именно с такого тега должен начинаться XML.
В первый раз строковая переменная соберет в себе строку
И отправит ее в разборщик
xml_parse
($xml_parser
,
$data
,
feof
($fp
))
;
После обработки данных строковая переменная сбрасыватеся и снова начинается сбор данных в строку и во второй раз сформируется строка
В третий
Обратите внимание, что строковая переменная всегда формируется по законченному тегу >
и не обязательно посылать разбощику открытый и закрытый тег с данными например
Данному обработчику важно получить целый не разбитый тег, хоть один открытый, а в следущий шаг закрытый тег, или сразу получить 1000 строк файла, не важно, главное чтобы тег не разрывался, например
le>Простой хлеб
Так отправить данные обработчику нельзя, так как тег разорвался.
Вы можете придумать свою методику посылания данных в обработчик, например собирать по 1 мегабайту данных и отправлять в обработчик для повышения скорости, только следите чтобы теги всегда завершались, а данные можно разрывать
Таким образом частями, как вы пожелаете можно отправить большой файл в обработчик.
Теперь рассмотрим каким образом эти данные обрабатываются и как их получить.
Начинаем с функции открывающих тегов startElement
($parser
,
$name
,
$attrs
)
Предположим, что обработка дошла до строки
<
ingredient amount
=
"3"
unit
=
"стакан"
>
Мука
Тогда внутри функции переменная $name
будет равна ingredient
то есть название открытого тега (до закрытия тега дело еще не дошло).
Так же в данном случае будет доступен массив атрибутов этого тега $attrs
, в котором будут данные amount
=
"3"
и unit
=
"стакан"
.
После этого пошла обработка данных открытого тега функцией data
($parser
,
$data
)
В переменной $data
будет все, что находится между открывающим и закрывающим тегом, в нашем случае это текст Мука
И завершается обработка нашей строки функцией endElement
($parser
,
$name
)
Это название закрытого тега, в нашем случае $name
будет равна ingredient
А после этого опять пошло все по кругу.
Приведенный пример лишь демонстрирует принцип обработки XML, но для реального применения его нужно доработать.
Обычно, разбирать большой XML приходится для занесения данных в базу и для правильной обработки данных нужно знать к какому открытому тегу относятся данные, какой уровень вложения тега и какие теги открыты по иерархии выше. Обладая такой информацией можно без проблем правильно обработать файл.
Для этого нужно ввести несколько глобальных переменных, которые будут собирать информацию об открытых тегах, вложенности и данные.
Привожу пример, который можно использовать
Function
webi_xml
($file
)
{
global
$webi_depth
;
// счетчик, для отслеживания глубины вложенности
$webi_depth
=
0
;
global
$webi_tag_open
;
// будет содержать массив открытых в данный момент тегов
$webi_tag_open
= array();
global
$webi_data_temp
;
// этот массив будет содержать данные одного тега
####################################################
### функция работы с данными
function
data
($parser
,
$data
)
{
global
$webi_depth
;
global
$webi_tag_open
;
global
$webi_data_temp
;
// добавляем данные в массив с указанием вложенности и открытого в данный момент тега
$webi_data_temp
[
$webi_depth
][
$webi_tag_open
[
$webi_depth
]][
"data"
].=
$data
;
}
############################################
####################################################
### функция открывающих тегов
function
startElement
($parser
,
$name
,
$attrs
)
{
global
$webi_depth
;
global
$webi_tag_open
;
global
$webi_data_temp
;
// если уровень вложенности уже не нулевой, значит один тег уже открыт
// и данные из него уже в массиве, можно их обработать
if ($webi_depth
)
{
"
;
print
"
"
;
print_r
($webi_tag_open
);
// массив открытых тегов
print
"
" ;
// после обработки данных удаляем их для освобождения памяти
unset($GLOBALS
[
"webi_data_temp"
][
$webi_depth
]);
}
// теперь пошло открытие следующего тега и дальше обработка его произойдет на следующем шаге
$webi_depth
++;
// увеличиваем вложенность
$webi_tag_open
[
$webi_depth
]=
$name
;
// добавляем открытый тег в массив информаци
$webi_data_temp
[
$webi_depth
][
$name
][
"attrs"
]=
$attrs
;
// теперь добавляем атрибуты тега
}
###############################################
#################################################
## функция закрывающих тегов
function
endElement
($parser
,
$name
) {
global
$webi_depth
;
global
$webi_tag_open
;
global
$webi_data_temp
;
// здесь начинается обработка данных, например добаление в базу, сохранение в файл и т.д.
// $webi_tag_open содержит цепочку открытых тегов по уровню вложенности
// например $webi_tag_open[$webi_depth] содержит название открытого тега чья информация сейчас обрабатывается
// $webi_depth уровень вложенности тега
// $webi_data_temp[$webi_depth][$webi_tag_open[$webi_depth]]["attrs"] массив атрибутов тега
// $webi_data_temp[$webi_depth][$webi_tag_open[$webi_depth]]["data"] данные тега
Print
"данные "
.
$webi_tag_open
[
$webi_depth
].
"--"
.($webi_data_temp
[
$webi_depth
][
$webi_tag_open
[
$webi_depth
]][
"data"
]).
"
"
;
print_r
($webi_data_temp
[
$webi_depth
][
$webi_tag_open
[
$webi_depth
]][
"attrs"
]);
print
"
"
;
print_r
($webi_tag_open
);
print
"
" ;
Unset($GLOBALS
[
"webi_data_temp"
]);
// после обработки данных удаляем массив с данными целиком, так как произошло закрытие тега
unset($GLOBALS
[
"webi_tag_open"
][
$webi_depth
]);
// удаляем информацию об этом открытом теге... так как он закрылся
$webi_depth
--;
// уменьшаем вложенность
}
############################################
$xml_parser
=
xml_parser_create
();
xml_parser_set_option
($xml_parser
,
XML_OPTION_CASE_FOLDING
,
true
);
// указываем какие функции будут работать при открытии и закрытии тегов
xml_set_element_handler
($xml_parser
,
"startElement"
,
"endElement"
);
// указываем функцию для работы с данными
xml_set_character_data_handler
($xml_parser
,
"data"
);
// открываем файл
$fp
=
fopen
($file
,
"r"
);
$perviy_vxod
=
1
;
// флаг для проверки первого входа в файл
$data
=
""
;
// сюда собираем частями данные из файла и отправляем в разборщик xml
// цикл пока не найден конец файла
while (!
feof
($fp
) and
$fp
)
{
$simvol
=
fgetc
($fp
);
// читаем один символ из файла
$data
.=
$simvol
;
// добавляем этот символ к данным для отправки
// если символ не завершающий тег, то вернемся к началу цикла и добавим еще один символ к данным, и так до тех пор, пока не будет найден закрывающий тег
if($simvol
!=
">"
) { continue;}
// если закрывающий тег был найден, теперь отправим эти собранные данные в обработку
// проверяем, если это первый вход в файл, то удалим все, что находится до тега // так как иногда может встретиться мусор до начала XML (корявые редакторы, либо файл получен скриптом с другого сервера)
if($perviy_vxod
) {
$data
=
strstr
($data
,
"
// теперь кидаем данные в разборщик xml
if (!
xml_parse
($xml_parser
,
$data
,
feof
($fp
))) {
// здесь можно обработать и получить ошибки на валидность...
// как только встретится ошибка, разбор прекращается
echo
"
XML Error: "
.
xml_error_string
(xml_get_error_code
($xml_parser
));
echo
" at line "
.
xml_get_current_line_number
($xml_parser
);
break;
}
// после разбора скидываем собранные данные для следующего шага цикла.
$data
=
""
;
}
fclose
($fp
);
xml_parser_free
($xml_parser
);
// удаление глобальных переменных
unset($GLOBALS
[
"webi_depth"
]);
unset($GLOBALS
[
"webi_tag_open"
]);
unset($GLOBALS
[
"webi_data_temp"
]);
Webi_xml ("1.xml" );
?>
Весь пример сопроводил комментариями, теперь тестируйте и экспериментируйте.
Обратите внимание, в функции работы с данными в массив данные не просто вставляются, а именно добавляются с помощью ".="
так как данные могут поступать не в целом виде и если сделать просто присвоение, то время от времени вы будете получать данные кусками.
Ну вот и все, теперь при обработке файла любого размера памяти хватит, а вот время работы скрипта увеличить можно несколькими способами.
В начало скрипта вставьте функцию
set_time_limit
(6000
);
или
ini_set
("max_execution_time"
,
"6000"
);
Либо добавьте в файл.htaccess текст
php_value max_execution_time 6000
Данные примеры увеличат время работы скрипта до 6000 секунд.
Увеличить время подобным образом можно только в выключенном безопасном режиме.
Если у вас есть доступ к редактированию php.ini можете увеличить время с помощью
max_execution_time = 6000
Например на хостинге мастерхост на момент написания статьи увеличение времени скрипта запрещено, не смотря на выключенный безопасный режим, но если вы профи, вы можете сделать свою сборку php на мастерхосте, но об этом не в этой статье.
Сейчас мы с вами изучим работу с XML. XML - это формат для обмена данными между сайтами. Он очень похож на HTML, только в XML разрешены свои теги и атрибуты.
Зачем нужен XML при парсинге? Иногда бывает так, что сайт, который вам нужно спарсить, имеет API, с помощью которого можно получить желаемое, особо не напрягаясь. Поэтому сразу совет - перед тем, как парсить сайт, проверьте, нету ли у него API.
Что такое API? Это набор функций, с помощью которых вы можете слать запрос этому сайту и получать нужный ответ. Вот этот ответ чаще всего приходит в формате XML. Поэтому давайте приступим к его изучению.
Работа с XML в PHP
Пусть у вас есть XML. Он может быть в строке, либо хранится в файле или отдаваться по запросу к определенному URL.
Пусть XML хранится в строке. В этом случае из этой строки нужно создать объект с помощью new SimpleXMLElement :
$str = "
Сейчас у нас в переменной $xml хранится объект с разобранным XML. Обращаясь к свойствам этого объекта можно получать доступ с содержимому тегов XML. Как именно - разберем чуть ниже.
Если же XML хранится в файле или отдается по обращению к URL (что чаще всего и бывает), то следует использовать функцию simplexml_load_file , которая делает тот же объект $xml :
$xml = simplexml_load_file(путь к файлу или урл);
Приемы работы
В примерах ниже наш XML хранится в файле или по URL.
Пусть дан следующий XML:
Давайте получим имя, возраст и зарплату работника:
$xml = simplexml_load_file(путь к файлу или урл); echo $xml->name; //выведет "Коля" echo $xml->age; //выведет 25 echo $xml->salary; //выведет 1000
Как вы видите, у объекта $xml есть свойства, соответствующие тегам.
Вы может обратили внимание, что тег
$xml = simplexml_load_file(путь к файлу или урл); echo $xml->name; //выведет "Коля" echo $xml->age; //выведет 25 echo $xml->salary; //выведет 1000
Корневой тег в XML может быть только один, так же, как и тег в обычном HTML.
Давайте чуть модифицируем наш XML:
В этом случае у нас получится цепочка обращений:
$xml = simplexml_load_file(путь к файлу или урл); echo $xml->worker->name; //выведет "Коля" echo $xml->worker->age; //выведет 25 echo $xml->worker->salary; //выведет 1000
Работа с атрибутами
Пусть некоторые данные хранятся в атрибутах:
$xml = simplexml_load_file(путь к файлу или урл); echo $xml->worker["name"]; //выведет "Коля" echo $xml->worker["age"]; //выведет 25 echo $xml->worker["salary"]; //выведет 1000 echo $xml->worker; //выведет "Номер 1"
Теги с дефисами
В XML разрешены теги (и атрибуты) с дефисом. В этом случае обращение к таким тегам происходит так:
$xml = simplexml_load_file(путь к файлу или урл); echo $xml->worker->{first-name}; //выведет "Коля" echo $xml->worker->{last-name}; //выведет "Иванов"
Перебор циклом
Пусть теперь у нас не один работник, а несколько. В этом случае мы можем перебрать наш объект с помощью цикла foreach:
$xml = simplexml_load_file(путь к файлу или урл); foreach ($xml as $worker) { echo $worker->name; //выведет "Коля", "Вася", "Петя" }
Из объекта в нормальный массив
Если вам неудобно работать с объектом, вы можете преобразовать его в нормальный массив PHP с помощью следующего хитрого приема:
$xml = simplexml_load_file(путь к файлу или урл); var_dump(json_decode(json_encode($xml), true));
Больше информации
Парсинг на основе sitemap.xml
Зачастую на сайте есть файл sitemap.xml. В этом файле хранятся ссылки на все страницы сайта для удобства индексации их поисковыми системами (индексация - это по сути и есть парсинг сайта яндексом и гуглом).
В общем-то нас мало должно волновать, зачем нужен этот файл, главное, что если он есть - можно не лазить по страницам сайта какими-либо хитрыми методами, а просто воспользоваться этим файлом.
Как проверить наличие этого файла: пусть мы парсим сайт site.ru, тогда обратитесь в браузере к site.ru/sitemap.xml - если что-то увидите, значит он там есть, а если не увидите - то увы.
Если sitemap есть - то в нем содежатся ссылки на все страницы сайта в формате XML. Спокойно забираете этот XML, парсите его, отделяете ссылки на нужные вам страницы любым удобным вам способом (например, анализом URL, который был описан в методе паука).
В итоге вы получаете список ссылок для парсинга, остается только зайти на них и спарсить нужным вам контент.
Подробнее об устройстве sitemap.xml читайте в википедии .
Что вам делать дальше:
Приступайте к решению задач по следующей ссылке: задачи к уроку .
Когда все решите - переходите к изучению новой темы.
→ Для чего нужны XML-парсеры и чем они могут быть полезны
Если вы имеется отношение к созданию сайтов, вы наверняка слышали об XML, даже если ещё не использовали его в работе. В таком случае, настало время познакомиться, ведь пережив настоящий бум, за последний десяток лет этот новый формат вырос из новаторского проекта в настоящий промышленный стандарт, и чуть ли не ежедневно появляются сообщения о примерах его успешного использования.
Одной из важнейших составляющих XML-технологии является специальный класс программ, отвечающих за анализ документов и извлечение необходимой информации - парсеры. Именно о них и пойдет речь в этой статье. Разберемся, для чего нужны парсеры, какие они бывают и где их можно достать.
Вообще XML-документ - это простой текстовый файл, в котором при помощи специальных синтаксических конструкций (их называют "тегами") сохраняется необходимая структура данных. Это позволяет хранить информацию не сплошным массивом, а в виде иерархически связанных фрагментов. Так как текстовые файлы очень легко создавать и передавать по сети, они являются крайне удобным способом хранения информации и широко используются при создании сложных распределенных приложений.
Но универсальность текстового формата XML оборачивается вполне очевидным неудобством - перед извлечением данных из документа надо как следует помучиться с синтаксическим анализом текста и определением его структуры. Реализация всех необходимых процедур вручную - весьма нетривиальное занятие, и потребует немалых усилий. Одним из стандартных механизмов, позволяющих упростить жизнь разработчиков, и являются парсеры.
Что же это такое? XML-парсер - это программа, предназначенная для анализа содержимого текстового документа, который соответствует спецификации XML. Ей достается вся "чёрная" работа: получение общих сведений о документе, анализ текста, поиск в нем служебных конструкций (элементов, атрибутов, сущностей и т.п.), проверка на соблюдение синтаксических правил, а также предоставление интерфейса для доступа к документу. В результате аккуратно извлеченные данные, будут переданы пользовательскому приложению, которое может вообще ничего не знать о том, что такое XML.
Парсер может быть выполнен в виде отдельного программного модуля или ActiveX-компонента, может подключаться к приложению через специальные библиотеки классов на этапе компиляции или выполнения. Парсеры делятся на верифицирующие (validating) и неверифицирующие (non-validating). Первые могут проверять структуру документа на основе DTD или схем данных, вторые же об этом не заботятся - и потому имеют, как правило, меньший размер. Многие из современных парсеров "нагружены" многочисленными дополнительными возможностями (расширенная обработка ошибок, добавление и редактирование данных), что делает их более удобными в работе, хотя и повышает размер программ. Практически все распространенные парсеры поддерживают также ряд важных XML-стандартов (XSLT, схемы данных, Name spaces, XPath и т.д.) - или же поставляются в связке с парсерами других производных от него языков.
Если вы осознали полезность парсера для XML, то пора начинать практические опыты. Где же их взять? Особых проблем с поиском соответствующего софта возникнуть не должно: в Интернете полно свободно распространяемых парсеров, написанных на всевозможных языках программирования, работающих на всех платформах и имеющих самые разные характеристики и предназначение.
Наиболее распространенным и известным является парсер Expat, написанный Джеймсом Кларком - одним из создателей спецификации XML. Он реализован на языке программирования C++ и распространяется вместе с исходным кодом. Кстати, поддержка этого языка разметки в таких известных средах, как РНР и Perl, реализована именно на его основе. Другой распространенный парсер - Xerces, есть в Apache XML Project (реализован на языках Java и C++). Можно найти много парсеров для C++, Perl и Python. Основная их масса написана на Java, и годится для любой платформы, знакомой с Java. Не остались в стороне и лидеры рынка (Microsoft, Oracle, Sun), всегда отличающиеся масштабностью и монументальностью. Они выпустили более "тяжеловесные" и функциональные пакеты, которые содержат, помимо собственно парсеров, множество дополнительных утилит, облегчающих жизнь разработчиков.
Разумеется, невозможно рассказать всё об парсерах в рамках одной заметки. Но хотелось бы надеяться, что вы поняли - работа с XML не так трудна, как может показаться. Все сложности этого формата скрыты от нас внутри парсеров, и нет никаких причин бояться внедрять новый формат в существующие проекты.
