Extraction de données sur un site internet avec PHP, MySQL et XML

Cet article est écrit dans un but exclusivement pédagogique. Le code et les méthodes proposés ne doivent pas être utilisés à des fins commerciales sans avoir préalablement obtenu une autorisation écrite du responsable légal du site que vous allez "sonder" ainsi que celle de l'auteur de l'article. En l'absence d'autorisation, vous pourrez être poursuivi en justice pour piratage de données. L'auteur décline toute responsabilité de l'utilisation abusive qui pourra être faite du code.

L'utilisation du code nécessite au minimum une version de PHP 4.x

C'est un format non structuré. Le format texte n'existe que pour vérifier que la collecte s'est passée correctement.


Exemple de sortie texte :

L'intérêt du flux XML réside dans sa portabilité. Les informations sont structurées et l'ajout ultérieur de champs est aisé. L'importation du flux dans n'importe quel SGBD est facile.

III-C-1. Présentation de la nomenclature▲

III-C-2. MySQL▲

Dans le présent tutoriel, le choix de la base s'est porté sur MySQL ; en effet, la notoriété du couple MySQL/PHP n'est plus à faire.

La structure la plus simple est la suivante :
Il est à noter que la base a été normalisée. Il n'existe pas de référence d'acteurs ou de genres dans la table FILM. Les relations sont faites au moyen des tables associatives ACTEUR_FILM et GENRE_FILM.

Les films :

 

Sélectionnez

CREATE TABLE FILM (
ID_FILM int(11) NOT NULL auto_increment,
TITRE varchar(255) NOT NULL default '',
PAYS_ID int(11) NOT NULL default '0',
ANNEE date default NULL,
DUREE int(11) NOT NULL default '0',
DATE_SORTIE date default NULL,
REALISATEUR_ID int(11) NOT NULL default '0',
SYNOPSIS text NOT NULL,
PRIMARY KEY (ID_FILM),
KEY TITRE (TITRE),
KEY PAYS_ID (PAYS_ID),
KEY DUREE (DUREE),
KEY DATE_SORTIE (DATE_SORTIE),
KEY REALISATEUR_ID (REALISATEUR_ID),
KEY ANNEE (ANNEE)
) TYPE=MyISAM;

Les acteurs :

 

Sélectionnez

CREATE TABLE ACTEUR (
ID_ACTEUR int(11) NOT NULL auto_increment,
NOM_ACTEUR varchar(255) NOT NULL default '',
PRIMARY KEY (ID_ACTEUR)
) TYPE=MyISAM;

Les genres :

 

Sélectionnez

CREATE TABLE GENRE (
ID_GENRE int(11) NOT NULL auto_increment,
NOM_GENRE varchar(255) NOT NULL default '',
PRIMARY KEY (ID_GENRE)
) TYPE=MyISAM;

Une table associative entre les acteurs et les films :

 

Sélectionnez

CREATE TABLE ACTEUR_FILM (
ACTEUR_ID int(11) NOT NULL default '0',
FILM_ID int(11) NOT NULL default '0',
KEY ACTEUR (ACTEUR_ID,FILM_ID)
) TYPE=MyISAM;

Une table associative entre les genres et les films :

 

Sélectionnez

CREATE TABLE GENRE_FILM (
GENRE_ID int(11) NOT NULL default '0',
FILM_ID int(11) NOT NULL default '0',
KEY GENRE (GENRE_ID,FILM_ID)
) TYPE=MyISAM;

Le pays d'origine du film :

 

Sélectionnez

CREATE TABLE PAYS (
ID_PAYS int(11) NOT NULL auto_increment,
NOM_PAYS varchar(255) NOT NULL default '',
PRIMARY KEY (ID_PAYS)
) TYPE=MyISAM;

Le réalisateur du film :

 

Sélectionnez

CREATE TABLE REALISATEUR (
ID_REALISATEUR int(11) NOT NULL auto_increment,
NOM_REALISATEUR varchar(255) NOT NULL default '',
PRIMARY KEY (ID_REALISATEUR)
) TYPE=MyISAM;

III-C-3. Variante avec MySQL InnoDB ▲

CREATE TABLE ACTEUR_FILM (
ACTEUR_ID int(11) NOT NULL default '0',
FILM_ID int(11) NOT NULL default '0',
KEY ACTEUR_ID (ACTEUR_ID),
KEY FILM_ID (FILM_ID),
FOREIGN KEY (`ACTEUR_ID`) REFERENCES `DVD.ACTEUR` (`ID_ACTEUR`) ON DELETE CASCADE,
FOREIGN KEY (`FILM_ID`) REFERENCES `DVD.FILM` (`ID_FILM`) ON DELETE CASCADE
) TYPE=InnoDB;

CREATE TABLE GENRE_FILM (
GENRE_ID int(11) NOT NULL default '0',
FILM_ID int(11) NOT NULL default '0',
KEY GENRE_ID (GENRE_ID),
KEY FILM_ID (FILM_ID),
FOREIGN KEY (`GENRE_ID`) REFERENCES `DVD.GENRE` (`ID_GENRE`) ON DELETE CASCADE,
FOREIGN KEY (`FILM_ID`) REFERENCES `DVD.FILM` (`ID_FILM`) ON DELETE CASCADE
) TYPE=InnoDB;

IV-A-1. Introduction ▲

IV-A-2. Installation▲

tar -zxvf curl-7.11.0.tar.gz

cd curl-7.11.0

./configure
make
make test
make install

cd curl-7.11.0

./configure --prefix=$HOME
make
make test
make install

IV-A-3. Exemples d'utilisation de cURL ▲

curl http://www.google.fr

curl http://www.google.fr > index.html

% Total % Received % Xferd Average Speed Time Curr. Dload Upload Total Current Left Speed 100 3165 100 3165 0 0 5692 0 0:00:00 0:00:00 0:00:00 69771

curl http://www.google.fr 2> /dev/null > index.html

curl http://curl.haxx.se/download/curl-7.11.0.tar.gz > curl-7.11.0.tar.gz

curl ftp://ftp.server.com/pub/fichier.tar.gz > fichier.tar.gz

curl -u user:password ftp://ftp.server.com/pub/fichier.tar.gz > fichier.tar.gz

curl -u user:password http://www.server.com/private/page.php > page.html

curl --referer http://www.server.com/index.php http://www.server.com/image/image01.jpg > image01.jpg

curl --proxy proxyhost:port http://www.server.com/image/image01.jpg > image01.jpg

"curl/7.9.8 (i386-redhat-linux-gnu) libcurl 7.9.8 (OpenSSL 0.9.7a) (ipv6 enabled)"

curl --user-agent "Mozilla/4.0 (compatible; MSIE 6.0;Windows NT 5.0)" http://www.server.com/image/image01.jpg > image01.jpg

IV-A-4. Implémentation de cURL dans notre code▲

<?php
$HTML = get_html(
'http://www.server.com/page_lambda.php',
array(
'Referer'=>'http://www.server.com/index.php',
'Proxy'=>'monproxy:8080', 
'BrowserName'=>'Mozilla/4.0 (compatible; MSIE 6.0;Windows NT 5.0)'
)
);
?>

$HTML = get_html('http://www.server.com/page_lambda.php', array('Proxy'=>'monproxy:8080');

$HTML = get_html('http://www.server.com/page_lambda.php');

function get_html($url, $parametres=array()) {
$params='';
if ($parametres['Referer']!="") $params.='-e '.$parametres['Referer'];
if ($parametres['Proxy']!="") $params.='-x '.$parametres['Proxy'];
if ($parametres['BrowserName']!="") $params.='-A "'.$parametres['BrowserName'].'"';
return (`curl $params $url`);
}

-e = --referer
-x = --proxy
-A = --user-agent

IV-B-1. Comment se passe le dialogue entre le client et le serveur internet ?▲

telnet www.yahoo.com 80

GET / HTTP/1.1 <entrée>
Host: www.yahoo.com <entrée>
Connection: Close <entrée><entrée>

GET /news/europ_news.html HTTP/1.1 <entrée>

IV-B-2. Implémentation sous PHP▲

<?php 
function get_html($url) {
if (strtoupper(substr($url,0,7))=="HTTP://") $url=substr($url,7);
$p = strpos($url,"/");
if ($p===FALSE) {
$nom_domaine=$url;
$get="/";
}
else {
$nom_domaine=substr($url,0,$p);
$get=substr($url,$p);
}
 
$errno=""; $errstr=""; $r="";
$fp = fsockopen($nom_domaine, 80, &$errno, &$errstr, 15);
if($fp) {
socket_set_timeout($fp, 15);
fputs($fp,"GET $get HTTP/1.1\r\n");
fputs($fp,"Host: $nom_domaine\r\n");
fputs($fp,"Connection: Close\r\n\r\n");
$r="";
while(!feof($fp)) {
$r.=fgets($fp,1024);
}
fclose($fp);
return($r);
}
return('');
}
?>

L'application va récolter les informations en deux temps :

1) à partir d'une liste de films contenue dans un fichier texte, elle va interroger le moteur de recherche du site internet. À chaque nom de film correspondront une ou plusieurs propositions. Ces choix seront suggérés à l'utilisateur final. Ce dernier cochera le bouton radio correspondant au bon titre. La première suggestion sera précochée (statistiquement, ce sera presque toujours le bon choix).
Afin d'optimiser le temps de traitement de l'opérateur, les propositions seront affichées sur le navigateur au fur et à mesure (au lieu de s'afficher toutes à la fin du chargement de la page). Cette même page proposera à l'utilisateur les trois formats d'exportation possibles : texte, XML et MySQL ;

2) ensuite, l'application appellera individuellement chaque fiche de film et récoltera les informations. Leur traitement dépendra du format d'exportation choisi : page HTML, flux XML, insertion dans la base MySQL.

L'application va s'articuler autour de deux fichiers : extraction1.php et extraction2.php qui vont respectivement exécuter les tâches 1) et 2) décrites dans le paragraphe précédent.
Ces fichiers utiliseront deux bibliothèques :

connect.php :
définition de l'environnement. Utilisation de cURL ou des sockets PHP, connexion éventuelle à la base MySQL.

<?php 
Define("CONNEXION","curl");
//Define("CONNEXION","php");
 
Define("MYSQL",true);
//Define("MYSQL",false);
 
if (MYSQL) {
$host="localhost";
$user="user_base";
$pwd="user_password";
$base="DVD";
$mysql_link = mysql_connect($host,$user,$pwd);
mysql_select_db($base);
}
?>

lib.php :
regroupe les fonctions appelées dans extraction1.php et extraction2.php. Par exemple, la fonction get_html() va regrouper les deux possibilités de connexion (cURL ou socket) en fonction des constantes définies dans connect.php

<?php 
function get_html($url, $parametres=array()) {
if (CONNEXION=="curl") {
$params='';
if ($parametres['Referer']!="") $params.='-e '.$parametres['Referer'];
if ($parametres['Proxy']!="") $params.='-x '.$parametres['Proxy'];
if ($parametres['BrowserName']!="") $params.='-A "'.$parametres['BrowserName'].'"';
return (`curl $params $url`);
}
else {
if (strtoupper(substr($url,0,7))=="HTTP://") $url=substr($url,7);
$p = strpos($url,"/");
if ($p===FALSE) {
$nom_domaine=$url;
$get="/";
}
else {
$nom_domaine=substr($url,0,$p);
$get=substr($url,$p);
}
 
$errno=""; $errstr=""; $r="";
$fp = fsockopen($nom_domaine, 80, &$errno, &$errstr, 15);
if($fp) {
socket_set_timeout($fp, 15);
fputs($fp,"GET $get HTTP/1.1\r\n");
fputs($fp,"Host: $nom_domaine\r\n");
fputs($fp,"Connection: Close\r\n\r\n");
$r="";
while(!feof($fp)) {
$r.=fgets($fp,1024);
}
fclose($fp);
return($r);
}
return('');
}
}
?>

La liste des films à rechercher est contenue dans un fichier texte liste_films.txt qui sera ouvert par PHP. On utilisera le signe « # » en début de ligne pour la placer en commentaire. Cette convention permet d'assouplir la phase de test et d'éviter de jongler entre différents fichiers d'entrée.

Exemple de fichier :

# (c) Olivier Népomiachty, février 2004
# olivier.nepomiachty@developpez.com
ed tv
jackie brown
# anastasia
pulp fiction
chicken run
shining

Voici le code PHP de lecture du fichier texte :

<?php 
$handle = fopen ("liste_films.txt", "r");
while (!feof ($handle)) {
$titre_recherche = trim(fgets($handle, 4096));
if (!(ereg("^#", $titre_recherche)) && ($titre_recherche!='')) {
... TRAITEMENT ...
}
fclose ($handle);
?>

La liste sera ensuite soumise au site de AlloCiné. L'URL sera appelée par cURL ou en socket PHP. L'URL sera de la forme http://www.allocine.fr/recherche/default.html?motcle=titredufilm
Cependant, pour que l'URL soit valide, il faut l'encoder :

<?php 
$titre_recherche_url = urlencode($titre_recherche);
$url="http://www.allocine.fr/recherche/default.html?motcle=$titre_recherche_url";
?>

Cette manipulation permet de convertir les caractères spéciaux dans leur valeur hexa pour un envoi en GET sur URL. Par exemple, le caractère espace est converti en . 20 en hexa correspond à 32 en décimal, qui correspond au code ASCII de l'espacement.

Recommençons une recherche sur le film "shining". Voici la liste des réponses :

Il y a quatre propositions. L'étude du code HTML de la page permettra de définir une méthode d'extraction de données. Celle-ci doit être la plus simple et intuitive possible, de façon qu'une petite modification du template utilisé sur le site permette toujours que l'extraction soit possible. D'une façon évidente, une refonte graphique importante du site impliquera la réécriture des règles d'extraction.

1) Voici le dump du code HTML concerné. Lorsque l'on regarde le source complet de la page, c'est le morceau commençant par : "dans les titres de films déjà sortis" et finissant par « </TABLE> ». Nous conviendrons d'appeler ce morceau « bloc de réponse ».

2) Chaque ligne de réponse est contenue dans une ligne de tableau, suivant la structure :

<TR>
   <TD>
      <LI> ligne de réponse
   </TD>
</TR>

(ici le code est indenté pour une meilleure lisibilité)

Pour récupérer une ligne, on repère le texte contenu entre « <TR><TD><LI> » et « </TD></TR> ».
La ligne est de la forme :

<TR><TD><LI><A HREF="/film/fichefilm_gen_cfilm=863.html"><FONT color=#003399><B>Shining</B></FONT></A> (The <B>Shining</B>) de Stanley Kubrick avec Jack Nicholson, Shelley Duvall (1980)</TD></TR>

3) Le titre du film s'obtient en appliquant un strip_tags à la ligne.

4) L'URL de la fiche du film est celle contenue dans la balise <A HREF>. On la récupère en prenant le texte compris entre « <A HREF= » et « > ». Pour obtenir une URL absolue, on lui rajoute http://www.allocine.fr/, ce qui donne :
http://www.allocine.fr/film/fichefilm_gen_cfilm=863.html

5) Ensuite, on affiche sur la sortie HTML une liste de boutons radio, chacun correspondant à une des possibilités :

<input type="radio" name="film_1" value="http://www.allocine.fr/film/fichefilm_gen_cfilm=28224.html" > <a href="http://www.allocine.fr/film/fichefilm_gen_cfilm=28224.html" target="_new">Une lueur dans la nuit (Shining through) de David Seltzer avec Michael Douglas, Melanie Griffith (1992)</a>

Le dernier bouton permet d'annuler l'extraction de données pour ce film. Un lien HREF mis sur le titre permet d'afficher dans une nouvelle fenêtre la fiche dans son contexte. Cette option permet d'aider l'opérateur dans sa décision lorsqu'il hésite entre plusieurs titres.

Une fois le groupe de boutons radio affiché, on flush la sortie HTML et le processus repart en 2).

Faisons tomber le mythe autour de ce procédé. Cette technique permet de forcer l'affichage sur le navigateur du contenu de la page avant la fin de son chargement. Ceci permet de traiter de longues opérations et d'afficher un résultat intermédiaire sans déclencher le timeout PHP. Ce dernier se déclenchera uniquement si le temps écoulé entre deux flushs est trop long.

Conditions de fonctionnement de flush

1) Le code HTML envoyé sur le navigateur doit être correctement balisé. Toutes les balises doivent être fermées à l'exception de « </body> » et « </HTML> ». Si vous avez ouvert un tableau pour améliorer la présentation de la page, le navigateur ne saura pas terminer votre tableau et par conséquent gèlera l'affichage jusqu'au prochain flush (modulo que le tableau soit fermé à ce moment).

2) Le flush ne fonctionne que si un minimum de caractères a été envoyé. Pour le forcer, on remplit le tampon de sortie avec des espaces.
Code à placer à la fin du bloc de lecture du fichier texte « while (!feof ($handle)) { » :

<?php 
echo str_pad(" ",300);
echo "\n";
ob_flush();
flush();
?>

L'opérateur choisit le type de données en sortie (HTML, XML, insertion MySQL).
Le traitement se poursuit dans le script extraction2.php.

Le procédé est similaire à celui décrit précédemment.
Il s'agit de repérer dans la page HTML le bloc de code contenant les informations.

Le résultat sera placé dans un tableau associatif $film qui contiendra les champs :
'TITRE', 'PAYS', 'ANNEE', 'GENRES', 'DUREE', 'DATE_DE_SORTIE', 'ACTEURS', 'REALISATEUR' et 'SYNOPSIS'.
Les champs 'GENRES' et 'ACTEURS' sont eux-mêmes des tableaux.
$film sera ensuite donné en paramètre à la fonction de traitement correspondant.

1) Voici le dump du code HTML concerné. Lorsque l'on regarde le source complet de la page, c'est le morceau commençant par la balise « <FONT Class="titrePage"> » et finissant par « </TABLE> ». Nous conviendrons d'appeler ce morceau « bloc fiche ».

2) Si on regarde attentivement la fiche, il est possible d'effectuer un traitement assez simple :
- remplacement des fins de ligne de tableau par un retour chariot ;
- suppression du HTML.
Le résultat donne :

L'extraction des données est facile à appréhender !

Le traitement est en fait un tout petit peu plus compliqué. Il est réalisé dans la fonction suivante :

<?php 
function filtre_html($s) {
$s = str_replace("\r\n","",$s);
$s = str_replace("\n","",$s);
$s = str_replace("</TR>","</TR>\n",$s);
$s = strip_tags($s);
$s = str_replace(" "," ",$s);
return($s);
}
?>

Il n'est pas nécessaire de s'attarder sur le code d'extraction. Le script PHP est commenté.

<?php 
$HTML = get_html($url,$parametres);
 
$pos1 = strpos($HTML, "<FONT Class=\"titrePage\">");
$pos2 = strpos($HTML, "<FONT Class=link7>Synopsis</FONT>",$pos1);
$data_brut = filtre_html(substr($HTML,$pos1,$pos2-$pos1));
 
/* suite à cette manipulation $data_brut est de la forme :
l0 : Jackie Brown
l1 : Film américain (1997). Policier, Drame. Durée : 2h 30mn.
l2 : Date de sortie : 01 Avril 1998
l3 : Avec Pam Grier, Samuel L. Jackson, Robert De Niro, Bridget Fonda, Michael Keaton Plus...
l4 : Réalisé par Quentin Tarantino
(etc) 
*/
$data=split("\n", $data_brut);
$no_ligne=0;
// ligne 0 : titre
$titre = trim($data[$no_ligne]);
 
// ligne 1 :
$no_ligne++;
list($pays, $genres, $duree) = split("\.", $data[$no_ligne]);
// $pays = "Film américain (1997)"
$pos1b=strpos_reverse($pays,'(', strlen($pays));
$pos2b=strpos($pays,')',$pos1b); 
$annee = trim(substr($pays,$pos1b+1,$pos2b-$pos1b-1));
$pays=trim(substr($pays,0,$pos1b));
// $genres : tableau
// $genres = "Policier, Drame"
$genres = explode(",",$genres);
trim_tableau($genres);
// $duree = "Durée : 2h 30mn";
// convertie en minutes
$duree = trim(str_replace("Durée : ","",$duree));
$duree = hoursmin_to_minutes($duree);
if ($duree==0) $duree=''; 
 
// ligne 2 :
// $date_de_sortie = "Date de sortie : 01 Avril 1998"
// attention, cette ligne n'est pas obligatoire
$no_ligne++;
if (strpos($data[$no_ligne],'Date de sortie')===FALSE)
$date_de_sortie = "";
else { 
$date_de_sortie = trim(str_replace("Date de sortie : ","",$data[$no_ligne]));
$no_ligne++;
}
 
// ligne 3 :
// $acteurs : tableau 
// $acteurs = "Avec Pam Grier, Samuel L. Jackson, Robert De Niro, Bridget Fonda, Michael Keaton Plus...";
$acteurs = trim(str_replace("Avec","",$data[$no_ligne]));
$acteurs = trim(str_replace("Plus...","",$acteurs));
$acteurs=explode(",",$acteurs);
trim_tableau($acteurs);
$no_ligne++;
 
// ligne 4 :
// $réalisateur = "Réalisé par Quentin Tarantino"
$realisateur = trim(str_replace("Réalisé par ","",$data[$no_ligne]));
 
// extraction du synopsis
// on reprend le fichier à partir de $pos2 (position du Synopsis)
$pos1 = $pos2;
$pos2 = strpos($HTML, "</FONT></DIV></TD></TR>",$pos1);
$synopsis = filtre_html(substr($HTML,$pos1,$pos2-$pos1));
$synopsis = trim(str_replace("Synopsis","",$synopsis));
?>

On notera l'utilisation de fonctions situées dans lib.php comme hoursmin_to_minutes(). Cette fonction convertit une durée de la forme « 2h 29mn » en son équivalent en minutes :

<?php 
function hoursmin_to_minutes($s) {
// convertit une heure "2h 29mn" en minutes => 149
$r=0;
$s=trim($s);
$pos1 = strpos($s, "h");
if ((!$pos1===FALSE)) {
$r=substr($s,0,$pos1);
$r=((int)substr($s,0,$pos1)) * 60;
$pos2 = strpos($s, "mn", $pos1);
if ((!$pos2===FALSE)) {
$r += (int)trim(substr($s,$pos1+1,$pos2-$pos1-1));
}
}
return($r);
}
?>

Le résultat est stocké dans les variables : $titre, $pays, $annee, $genres, $duree, $date_de_sortie, $acteurs, $realisateur, $synopsis.
Ensuite, ces variables viennent alimenter un tableau associatif :

<?php 
$film = array (
'TITRE' => $titre,
'PAYS' => $pays, 
'ANNEE' => $annee, 
'GENRES' => $genres, 
'DUREE' => $duree, 
'DATE_DE_SORTIE' => $date_de_sortie,
'ACTEURS' => $acteurs, 
'REALISATEUR' => $realisateur,
'SYNOPSIS' => $synopsis
);
?>

Puis, le traitement se poursuit en fonction du choix de la sortie :

<?php 
if ($HTTP_POST_VARS['format_resultat']=="HTML") {
... TRAITEMENT SORTIE HTML ...
}
else if ($HTTP_POST_VARS['format_resultat']=="xml") {
... TRAITEMENT FLUX XML ...
}
else if ($HTTP_POST_VARS['format_resultat']=="mysql") {
... TRAITEMENT INSERTION MySQL ...
}
?>

C'est le traitement le plus simple. Il n'est là que pour contrôler le fonctionnement du script.

<?php 
if ($HTTP_POST_VARS['format_resultat']=="HTML") {
echo genere_html_film($film)."<br>\n";
}
?>

La fonction genere_html_film() crée une chaîne HTML contenant les informations. On notera que les tableaux ont un traitement particulier (boucle foreach).

<?php 
function genere_html_film($a) {
$r = "<b>Titre :</b> " . $a['TITRE'] . "<br>\n";
$r .= "<b>Pays :</b> " . $a['PAYS'] . "<br>\n";
$r .= "<b>Année :</b> " . $a['ANNEE'] . "<br>\n";
$r .= "<b>Genres :</b> ";
foreach($a['GENRES'] as $i)
$r .= "$i, ";
$r = substr($r, 0, strlen($r) - 2) . "<br>\n";
$r .= "<b>Durée :</b> " . $a['DUREE'] . " minutes<br>\n";
$r .= "<b>Date de sortie :</b> " . $a['DATE_DE_SORTIE'] . "<br>\n";
$r .= "<b>Acteurs :</b> ";
foreach($a['ACTEURS'] as $i)
$r .= "$i, ";
$r = substr($r, 0, strlen($r) - 2) . "<br>\n";
$r .= "<b>Réalisateur :</b> " . $a['REALISATEUR'] . "<br>\n";
$r .= "<b>Synopsis :</b> " . $a['SYNOPSIS'] . "<br>\n";
return($r); 
}
?>

Le traitement est presque identique au précédent. En amont, il a fallu préciser l'en-tête de la page :

<?xml version="1.0" encoding="ISO-8859-1"?>

et ouvrir une balise XML <LISTE_FILMS>. Elle contiendra tous les films, chacun placé dans une balise <FILM>.

<?php 
else if ($HTTP_POST_VARS['format_resultat']=="xml") {
echo genere_xml_film($film);
}
?>

La sortie XML sera de la forme :

Il est possible d'exploiter directement le XML en appelant extraction2.php depuis une application, avec les mêmes paramètres que ceux envoyés en POST depuis le script extraction1.php, et de récupérer le flux.

L'insertion se fait sur les tables principales : PAYS, REALISATEUR, FILM, ACTEUR et GENRE, ensuite sur les tables associatives ACTEUR_FILM et GENRE_FILM.
Avant une insertion, on vérifie que l'enregistrement n'existe pas dans la base. Cette opération étant très répétitive, elle a été factorisée en une fonction : insertion_table().
Les paramètres : la valeur à insérer, le nom de la table, le nom de l'index primaire de la table et le nom du champ. Si l'enregistrement existe, son id est retourné, sinon, l'enregistrement est créé et le nouvel id retourné.

<?php 
function insertion_table($element, $table, $id_primaire_table, $nom_champ_element) {
// insertion de l'élément $element dans la table $table et renvoie son id
// si l'élément existe déjà, retourne son id
global $mysql_link;
$element=trim($element);
$sql = "SELECT $id_primaire_table FROM $table WHERE $nom_champ_element LIKE '$element'";
$result = mysql_query($sql, $mysql_link);
if (mysql_num_rows($result)==0) {
mysql_free_result($result);
$sql = "INSERT INTO $table($nom_champ_element) VALUES('$element')";
mysql_query($sql, $mysql_link);
$id_primaire_table = mysql_insert_id($mysql_link);
}
else {
$row = mysql_fetch_row($result);
$id_primaire_table = $row[0];
mysql_free_result($result);
}
return($id_primaire_table);
}
?>

Pour les besoins de notre application, une fonction similaire existe_table() vérifie l'existence d'un enregistrement dans une table et retourne son id, ou 0 s'il n'existe pas.

Voici le code d'insertion dans la base :

<?php 
// ajout du film
$id_film = existe_table($film['TITRE'], 'FILM', 'ID_FILM', 'TITRE');
if ($id_film==0) {
// ajout du pays
$id_pays=insertion_table($film['PAYS'], 'PAYS', 'ID_PAYS', 'NOM_PAYS');
// ajout du réalisateur
$id_realisateur=insertion_table($film['REALISATEUR'], 'REALISATEUR', 'ID_REALISATEUR', 'NOM_REALISATEUR');
if ($film['ANNEE']!='') $film['ANNEE']=$film['ANNEE'].'-01-01';
$sql="INSERT INTO FILM(TITRE, PAYS_ID, ANNEE, DUREE, DATE_SORTIE, REALISATEUR_ID, SYNOPSIS)
VALUES('".addslashes($film['TITRE'])."', $id_pays, '".$film['ANNEE']."', '".$film['DUREE']."', 
'".$film['DATE_DE_SORTIE']."', $id_realisateur, '".addslashes($film['SYNOPSIS'])."')";
mysql_query($sql, $mysql_link);
$id_film=mysql_insert_id($mysql_link);
 
// ajout des acteurs
foreach($film['ACTEURS'] as $acteur) {
$id_acteur=insertion_table($acteur, 'ACTEUR', 'ID_ACTEUR', 'NOM_ACTEUR');
$sql="INSERT INTO ACTEUR_FILM(ACTEUR_ID,FILM_ID) VALUES($id_acteur, $id_film)";
mysql_query($sql, $mysql_link);
}
 
// ajout des genres
foreach($film['GENRES'] as $acteur) {
$id_genre=insertion_table($acteur, 'GENRE', 'ID_GENRE', 'NOM_GENRE');
$sql="INSERT INTO GENRE_FILM(GENRE_ID,FILM_ID) VALUES($id_genre, $id_film)";
mysql_query($sql, $mysql_link);
}
}
?>