Création de sous-corpus de flux RSS à partir de la base Géomédia : note méthodologique

Par Benjamin Loveluck (post-doctorant Géomédia, université Paris Diderot) avec la collaboration de Hugues Pecout (ingénieur d’étude, GIS-CIST)

L’application Géomédia, dont une courte description a déjà été proposée, collecte un nombre important de flux RSS (plus de 250) qui proviennent d’un vaste corpus de journaux (plus de 160). Ces flux sont très hétérogènes, et il n’est donc généralement pas pertinent de travailler avec l’intégralité de la base. Nous proposons ici d’expliciter les principaux critères qui permettent au chercheur de construire des sous-corpus cohérents, en fonction des hypothèses à tester, de l’événement auquel on s’intéresse, des objectifs et des priorités de l’étude.

Il s’agit ainsi de déterminer les caractéristiques des flux que l’on souhaite analyser, qui varient en fonction de six dimensions principales :

  1. Les attributs médiatiques des journaux collectés (hard news vs soft news, public visé, positionnement politique etc.)
  2. Les différentes langues de publication
  3. La représentativité géographique, dans la mesure où le nombre de flux collectés varie significativement d’un pays à un autre : pour beaucoup de pays, la base ne collecte les flux que d’un seul journal, alors que pour un petit nombre de pays le nombre de journaux représentés est plus important (entre 2 et 11 journaux différents)
  4. La temporalité de la collecte, qui n’est pas uniforme puisque tous les flux n’ont pas été « branchés » au même moment, et certains ont été interrompus
  5. Les différents types de flux collectés, qui correspondent à des rubriques ou à des catégories d’information différentes (international, breaking news etc.)
  6. Enfin les spécificités techniques des flux, qui peuvent diverger de manière importante aussi bien sur le plan du « contenu » (richesse et pertinence des titres et des descriptions etc.) que sur celui de la « forme » (régularité, débit etc.)

Dans le cas qui nous servira d’exemple, nous souhaitons créer un sous-corpus « standardisé » qui remplisse les conditions suivantes :

Dimension Condition
Médiatique Qui ne comporte que de publications de type généraliste
Linguistique Qui ne comporte que des langues que nous pourrons traiter facilement, soit l’anglais, l’espagnol et le français
Géographique Qui soit relativement étendu au niveau géographique, mais qui conserve un minimum de diversité de sources par pays : soit 2 médias par pays
Temporelle Dont les flux ont été collectés de manière continue entre le 1er août 2014 et le 15 avril 2015
Statut du flux Appartenant en priorité à la catégorie « International » ; si celle-ci n’est pas disponible, d’autres flux peuvent être sélectionnés mais leur spécificité devra être prise en compte dans l’analyse
Technique Dont le débit est fiable et régulier, et qui publient au moins 5 items par jour en moyenne, pour des raisons de validité statistique

Le premier critère (médiatique) permet tout d’abord d’identifier les publications destinées à un public généraliste, par opposition à des publics ciblés (business, régional, étrangers).

Les trois critères suivants (linguistique, géographique, temporel) permettent d’identifier 24 pays dont la langue de publication est l’anglais, l’espagnol ou le français, pour lesquels nous disposons d’au moins deux journaux différents, et dont la collecte couvre la période entre le 1er août 2014 et le 15 avril 2015 : les Emirats Arabes Unis, l’Australie, le Canada, la Chine, le Royaume-Uni, l’Inde, le Japon, la Russie, l’Arabie Saoudite, Singapour, la Thaïlande, l’Ouganda, les Etats-Unis, le Vietnam, le Zimbabwe, l’Argentine, la Bolivie, le Chili, l’Espagne, le Mexique, le Venezuela, la Belgique, l’Algérie et la France.

Le cinquième critère (statut du flux) nous amène à passer en revue les pays pour lesquels nous ne disposons pas du flux « International », et d’examiner les alternatives. En effet, certains journaux ne disposent pas de flux RSS pour chaque rubrique, et ne proposent qu’un ou plusieurs flux agrégeant différentes catégories d’informations. Ainsi pour les pays suivants, au moins l’un des deux journaux retenus ne comportait pas de flux « International », et d’autres types de flux ont dû être sélectionnés :

  • UK, The Daily Mail (ne comporte que les flux de type « Breaking news » et « Général »)
  • Japon, Ashai Shimbun (ne comporte que le flux de type « Unique »)
  • Russie, The Moscow Times (ne comporte que le flux de type « Breaking news »)
  • Thaïlande, The Bangkok Post (ne comporte que le flux de type « Breaking news »)
  • Thaïlande, The Nation (ne comporte que les flux de type « Breaking news » et « Une »)
  • Vietnam, Vietnam News (ne comporte que le flux de type « Général »)
  • Bolivie, El Diario (ne comporte que le flux de type « Une »)
  • Venezuela, Ultimas Noticias (ne comporte que le flux de type « Une »)
  • Algérie, Le Matin (ne comporte que le flux de type « Unique »)

Nous décidons d’éviter les flux de type « Breaking news », qui peuvent consister avant tout de reprises de dépêches, et de conserver les flux de type « Unique », « Une » et « Général ». La Russie et la Thaïlande ont donc dû être écartés de notre échantillon. Nous conservons le UK (The Daily Mail, flux de type « Général »), le Japon (Ashai Shimbun, flux de type « Unique »), le Vietnam (Vietnam News, flux de type « Général »), la Bolivie (El Diario, flux de type « Une »), le Venezuela (Ultimas Noticias, flux de type « Une ») et l’Algérie (Le Matin, flux de type « Unique »), mais une attention particulière devra être portée sur les données.

[NB : s’il s’agit d’étudier un événement précis qui a eu lieu au sein de l’un des pays du sous-corpus créé, il sera plus judicieux de remplacer le flux international de ce pays par un flux de type « Une » ou « Général » lorsque c’est possible]

Enfin le sixième et dernier critère (technique) est le plus délicat à évaluer, car il s’agit de juger de ce qui fait la qualité d’un flux indépendamment (pour l’instant) de son contenu. Le point de départ consiste donc à examiner les rapports statistiques qu’il est possible de produire pour chaque flux, grâce à un script conçu à cet effet. Sont ainsi présentés, pour chacun des flux, des informations de deux ordres :

  1. Concernant la quantité et la fréquence des items collectés
  2. Concernant le contenu textuel des items collectés

Par exemple, pour le flux « International » du journal chilien El Mercurio, nous obtenons les informations suivantes :

1/ Quantité et fréquence des items

Items bruts : Items dédoublonnés : Doublon(s) :
Plus ancien item : 2014-08-01 Plus ancien item : 2014-08-01 Nb de doublons Titre : NA
Plus récent item : 2015-04-14 Plus récent item : 2015-04-14 Nb de doublons Description : NA
Total nombre de jour : 257 Total nombre de jour : 257 Doublons sur Titre et Description : NA
Total d’items : 7887 Total d’items : 7865 Total des doublons supprimés : 22
Minimum d’items (jours) : 0 Minimum d’items (jours) : 0 Item(s) unique(s) :
Maximum d’item (jours) : 55 Maximum d’items (jours) : 55 Nb d’items uniques : 22
Moyenne d’items (jours) : 31 Moyenne d’items (jours) : 31
Ecart-type (jours) : 9 Ecart-type (jours) : 9 Rupture(s) :
Min d’items (semaine) : 47 Min d’items (semaine) : 47 Nb de jours sans items : 8
Max d’items (semaine) : 262 Max d’items (semaine) : 261 Nb de période de rupture : 3
Moyenne d’items (semaine) : 202 Moyenne d’items (semaine) : 202 Plus longue rupture (en jours) 4
Ecart-type (semaine) : 56 Ecart-type (semaine) : 56 Plus courte rupture (en jours) 1

 

Nombre d’items collectés par jour (El Mercurio, Chili)

El Mercurio, flux « international » : nombre d’items collectés par jour

Moyenne mobile (7 jours) du nombre d’items collectés (El Mercurio, Chili)

El Mercurio, flux « international » : moyenne mobile (7 jours) du nombre d’items collectés

El Mercurio, Chili : cycle hebdomadaire de la collecte des items (variations par rapport à la moyenne journalière)

El Mercurio, flux « international » : cycle hebdomadaire de la collecte des items (variations par rapport à la moyenne journalière)

2/ Contenu textuel des items

Contenu du titre : Contenu de la description :
Nb de caractères min : 38 Nb de caractères min : 0
Nb de caractères max : 106 Nb de caractères max : 304
Nb de caractères moyen : 78 Nb de caractères moyen : 149
Nb de caractères médian : 78 Nb de caractères médian : 146
Ecart-type : 9 Ecart-type : 37
Nb Items sans titre : 0 Nb Items sans description : 9
El Mercurio, flux "international" : nombre de caractères dans le titre

El Mercurio, flux « international » : nombre de caractères dans le titre

El Mercurio, flux "international" : nombre de caractères dans la description

El Mercurio, flux « international » : nombre de caractères dans la description

A partir de ces informations, il est possible de déterminer les caractéristiques « techniques » du flux étudié. Tout d’abord, des traitements permettent d’identifier les doublons au sein du corpus, en fonction d’un paramètre à définir : soit les items dont le titre et la description sont identiques (AND), soit les items dont le titre ou la description sont identiques (OR). Pour un flux donné, la première série d’indicateurs permet ensuite de mesurer, pour les items dédoublonnés ou non :

  • sa période de publication, y compris les éventuelles ruptures dans le flux (qui peuvent être dues soit au journal émetteur soit à un dysfonctionnement dans l’application de collecte)
  • son débit quotidien ou hebdomadaire (la quantité moyenne, minimum ou maximum d’items publiés par jour ou par semaine, ainsi que la régularité c’est-à-dire la variation moyenne entre le minimum et le maximum d’items publiés)
  • le nombre de doublons recensés

La deuxième série d’indicateurs nous permet d’évaluer, à partir d’un comptage du nombre de caractères pour chaque item si le champ titre et si le champ description sont renseignés de manière régulière, et de repérer d’éventuelles singularités au niveau textuel (un champ toujours rempli de la même façon et donc avec un nombre de caractères identiques, des champs trop souvent laissés vides etc.)

L’examen des rapports statistiques nous amène à écarter un ensemble de pays, dont les flux pour l’un des deux journaux au moins ne satisfont pas aux critères de régularité (pas de ruptures trop fréquentes ou trop importantes, pas de variations de débit trop importantes) et de la moyenne du nombre minimum d’items publiés par jour (5).

Par exemple pour les Emirats Arabes Unis, l’un des deux journaux disponibles, Emirates 24/7, publie trop peu d’items – en moyenne 1 par jour pour le flux international :

Emirates 24/7, flux "international" : nombre d’items collectés par jour

Emirates 24/7, flux « international » : nombre d’items collectés par jour

Le second, le Khaleej Times, présente des ruptures et des irrégularités trop importantes :

Khaleej Times, flux "international" : nombre d’items collectés par jour

Khaleej Times, flux « international » : nombre d’items collectés par jour

Nous sommes donc contraints d’écarter ces deux flux, et de retirer les Emirats Arabes Unis de notre corpus. Nous devons également procéder de cette manière pour l’Argentine, dont le flux international du journal La Prensa est insuffisant, pour l’Ouganda dont le flux international du Daily Monitor propose également trop peu d’items, et de la même manière pour le Zimbabwe pour lequel les deux flux internationaux, celui de The Herald et celui de The Chronicle, doivent être écartés.

Ainsi, de la liste initiale, il reste finalement 18 pays dont les publications 1) sont de type généraliste, 2) qui sont en anglais, français ou espagnol, 3) pour lesquels nous disposons de deux flux provenant de journaux différents, 4) qui ont été collectés de manière continue entre le 1er août 2014 et le 15 avril 2015, 5) qui appartiennent en priorité à la catégorie « International », et 6) qui présentent une base technique suffisante : l’Australie, le Canada, la Chine, le Royaume-Uni, l’Inde, le Japon, l’Arabie Saoudite, Singapour, les Etats-Unis, le Vietnam, la Bolivie, le Chili, l’Espagne, le Mexique, le Venezuela, la Belgique, l’Algérie et la France.

De tels corpus permettent de faire des comparaisons à partir d’événements ou de catégories d’événements, en vue notamment de travailler sur des typologies. On pourra également restreindre cette liste en ajoutant d’autres critères ; si l’on souhaite l’étendre au contraire, il sera possible d’assouplir les critères afin de produire un corpus plus inclusif.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *