Archives par étiquette : flux RSS

Un réseau géomédiatique à partir du Corpus Géomédia

Peut-on obtenir une vue cohérente du monde géopolitique à partir des flux RSS récoltés dans le cadre de l’ANR Géomedia ? Un travail, que nous avons présenté à la conférence ECTQG 2015, montre que oui. Nous avons construit un réseau de co-citations géomédiatiques en utilisant un extrait des flux récoltés en 2014. Le principe est simple : nous établissons une liste d’entités géographiques (comme des pays) et, pour deux entités données, nous regardons combien de fois elles ont été citées ensemble dans la base RSS. La combinaison de ces éléments est un objet appelé graphe.

Ce type d’objet inclut beaucoup d’informations mais est généralement trop dense pour être analysé “à la main”. Une stratégie classique dans ce cadre est de rechercher des blocs d’entités très connectées entre elles et faiblement connectées avec le reste du réseau (on parle de “détection de communautés” dans les réseaux complexes). Le but est de simplifier le réseau en utilisant ces blocs. On peut également chercher à savoir si ces groupes ont du sens d’un point de vie thématique et/ou géographique.

 consensus_graph_component2

Nous avons utilisé différentes méthodes pour rechercher ces blocs et comparer les résultats. Bien que ces derniers varient, on trouve une cohérence d’un point de vue thématiques dans les blocs détectés. Pour rendre compte des résultats et offrir une image utile du réseau, nous avons filtré les liens entre entités géographiques n’étant pas à l’intérieur d’un bloc quelque soit l’algorithme utilisé (voir image ci-dessus).

Le Corpus Géomédia pourrait ainsi être utilisé pour étudier l’évolution de la représentation géopolitique du monde selon différents critères, par exemple en fonction de l’origine géographique des médias ou selon différentes époques. Vous trouverez les liens vers les jeux de données ci-dessous, n’hésitez pas à les utiliser !

Plus de détails : F. Queyroi, L. Beauguitte et H. Pecout “RSS Flows, World Structure & Community Detection”, ECTQG 2015

Papier : queyroi2015_communities_geomedia

Dataset : ectqg2015_cocitations_dataset

Création de sous-corpus de flux RSS à partir de la base Géomédia : note méthodologique

Par Benjamin Loveluck (post-doctorant Géomédia, université Paris Diderot) avec la collaboration de Hugues Pecout (ingénieur d’étude, GIS-CIST)

L’application Géomédia, dont une courte description a déjà été proposée, collecte un nombre important de flux RSS (plus de 250) qui proviennent d’un vaste corpus de journaux (plus de 160). Ces flux sont très hétérogènes, et il n’est donc généralement pas pertinent de travailler avec l’intégralité de la base. Nous proposons ici d’expliciter les principaux critères qui permettent au chercheur de construire des sous-corpus cohérents, en fonction des hypothèses à tester, de l’événement auquel on s’intéresse, des objectifs et des priorités de l’étude.

Il s’agit ainsi de déterminer les caractéristiques des flux que l’on souhaite analyser, qui varient en fonction de six dimensions principales :

  1. Les attributs médiatiques des journaux collectés (hard news vs soft news, public visé, positionnement politique etc.)
  2. Les différentes langues de publication
  3. La représentativité géographique, dans la mesure où le nombre de flux collectés varie significativement d’un pays à un autre : pour beaucoup de pays, la base ne collecte les flux que d’un seul journal, alors que pour un petit nombre de pays le nombre de journaux représentés est plus important (entre 2 et 11 journaux différents)
  4. La temporalité de la collecte, qui n’est pas uniforme puisque tous les flux n’ont pas été « branchés » au même moment, et certains ont été interrompus
  5. Les différents types de flux collectés, qui correspondent à des rubriques ou à des catégories d’information différentes (international, breaking news etc.)
  6. Enfin les spécificités techniques des flux, qui peuvent diverger de manière importante aussi bien sur le plan du « contenu » (richesse et pertinence des titres et des descriptions etc.) que sur celui de la « forme » (régularité, débit etc.)

Continuer la lecture

Un échantillon de données collectées par le projet ANR Géomédia

L’ANR Corpus Géomédia a pour objectif de mettre à disposition l’ensemble de sa base de données en libre accès, à la fin du projet (juin 2016). Néanmoins, nous mettons dès aujourd’hui un échantillon de la base de données à disposition, afin d’amorcer un échange avec le monde scientifique sur les méthodes de traitement, d’enrichissement et de représentation visuelle des données de flux RSS médiatiques. L’échantillon proposé correspond à l’ensemble des items (articles) RSS collectés entre le 1er octobre 2014 et le 31 décembre 2014 pour 8 flux RSS.

 

3 langues sont utilisées dans cet échantillon : l’anglais (5 flux), l’espagnol (2 flux) et le français (1 flux). Les 8 flux sont originaires de 8 pays différents (Australie, Chili, Chine, France, Royaume-Uni, Inde, Mexique et États-Unis). Les flux proposés ont fait l’objet d’un traitement préalable permettant notamment de reconnaître avec une bonne approximation les pays concernés par les items.

Lien vers la page de téléchargement : cliquer ici.

N.B. Les données mises à disposition sont utilisables uniquement dans une perspective de recherche scientifique, à l’exclusion de toute utilisation commerciale. Les personnes intéressées par la mise à disposition d’un corpus plus important peuvent contacter les responsables du projet ANR Géomédia à l’adresse suivante. geomedia@gis-cist.fr

Un premier essai de mesure de la médiatisation des villes européennes à l’aide des flux RSS internationaux

Par Claude Grasland et Marion Le Texier, dans le cadre du projet ESPON “Feasibility Study on Analytical Tools based on Big Data” coordonnée par Marta Severo.

L’obtention d’un contrat d’étude du programme ESPON sur l’utilité des “Big Data” pour l’analyse des régions et des villes européennes a été l’occasion de tester les problèmes que pose la reconnaissance des villes mentionnées dans les flux RSS collectés par l’ANR Geomédia.  Sans entrer dans le détail des résultats du projet (qui est actuellement en cours), on peut dire que l’expérience a confirmé certaine des difficultés rencontrées pour l’identification des pays (Cf. billet de L. Beauguitte et A. Brennetot) et la nécessité d’accompagner les procédures de reconnaissance automatique de tests de vérification manuelle. Voici à titre d’exemple la hiérarchie des villes obtenues en totalisant les villes reconnues dans 17 flux RSS, avec identification des erreurs révélées par la vérification manuelle.

Error_cities

Le cas de “Nancy” qui passe de 49 citations à 0 après vérification manuelle est évidemment l’illustration d’un problème de confusion entre noms de lieux et de personne ou d’objet que nous avions déjà rencontré pour les pays (“Hollande” désigne-t-il une région des Pays-Bas ou un président français).

Les cas de “Sevilla”, “Venezia”, “Palma” ou “Santa Cruz” soulève un problème différent, et sans doute plus spécifique aux villes qu’aux pays, qui est la présence de nombreuses villes portant le même nom dans différents pays du Monde. Dans l’exemple étudié, un meurtre horrible s’étant produit dans la ville de Sevilla au Venezuela a été responsable d’une forte inflation de citations, attribuées par erreur à la ville européenne.

On pourrait imaginer de lever certaines ambiguïtés sur les villes en les croisant avec les pays… mais il faut se souvenir que nous avions également songé à utiliser les villes et notamment les capitales pour identifier en retour les dépêches parlant d’un pays. Par exemple, une dépêche du type “Coup de froid entre Berlin et Washington après les révélations de l’affaire Snowden sur les écoutes du téléphone de la chancelière Merkel” concerne à l’évidence les relations entre l’Allemagne et les Etats-Unis, mais sans que ces deux pays ne soient mentionnés explicitement si ce n’est à travers des acteurs ou des villes.

Une procédure automatique de reconnaissance des pays, villes ou acteurs est indispensable pour traiter la masse de données engrangées par l’ANR Corpus Géomédia. Mais elles suppose une réflexion approfondie si l’on veut atteindre des taux d’erreur acceptable. Autrement, il faudra se limiter à vérifier manuellement les tags attribués aux dépêches, ce qui est long et de surcroît insatisfaisant car on élimine les faux positifs (dépêches taguée par erreur) mais pas les faux négatifs (dépêches non taguées). Le repérage de ces derniers n’est possible qu’en analysant toutes les dépêches une par une ce qui est cette fois-ci prohibitif en temps.

Les tremblements de terre comme outil d’étalonnage des flux RSS ?

Claude Grasland et Marion Le Texier (Université Paris Diderot) avec la collaboration de Maud Devès et Jean-Bernard De Chaballier (IPGP)

La médiatisation des tremblements de terre et des tsunamis a fait l’objet de très nombreuses publications et ceci de très longue date. Il s’agit en effet d’événements présentant des caractéristiques en apparence simple en terme de localisation dans le temps et dans l’espace, d’une part, de mesure d’importance en terme de magnitude physique (puissance) et d’impact sur les activités humaines (dégâts économiques, nombre de morts, etc).Comme il s’agit de surcroît d’événements se produisant régulièrement sur toute la surface du globe (même si leur localisation précise est évidemment concentrée sur les limites de plaques terrestres), on peut imaginer de les utiliser comme outil d’étalonnage de capteurs médiatiques localisés en différents lieux et tenter d’en déduire des caractéristiques de puissance (nombre de tremblements de terre capturés en fonction de leur magnitude) et de portée spatiale (distance à laquelle sont capturés les tremblements de terre).

La préparation d’un projet de recherche financé par la COMUE Sorbonne Paris Cités et intitulé “Politiques de la terre à l’épreuve de l’Anthropocène” (http://politiquesdelaterre.fr/) a été l’occasion de mener une expérience conjointe de mesure des séismes du point de vue des sciences sociales et des sciences de la Terre.  Nous avons tenté sur une période de temps limitée de comparer la liste des tremblements de terre mesurés par les géophysiciens (source : USGS) à la liste des tremblements de terre enregistrés par les trois grandes agences de presse (AFP, AP, Reuters) ,d’une part, et par une quinzaine de flux RSS collectés par l’ANR Geomedia d’autre part.

Comparaison de la carte des tremblements de terre de l’USGS et des Agences de Presse

Carte établie par M. Deves (IPGP), J.B. de Chaballier (IPGP), M. Le Texier (Université Paris Diderot) et C. Grasland (GIS-CIST)

Carte établie par M. Deves et  J.B. de Chaballier (IPGP), M. Le Texier et C. Grasland (GIS-CIST)

L’expérience confirme tout d’abord le lien attendu entre la magnitude géologiques des tremblements de terre et leur couverture médiatique par les agences de presse. Comme on peut le voir sur le carton en bas à droite de la figure, les agences signalent 100% des séismes de niveau 8, 81% des séismes de niveau 7, 74% des séismes de niveau 6, etc. Toutefois, l’analyse plus détaillé des résultats (nombre de dépêches) montre que certains séismes à faible densité sont fortement médiatisés, à l’instar de mini-tremblements de terre qui se sont produits dans l’Oklahoma autour de l’exploitation minière des gaz de schistes. On repère aussi des effets de médiatisation à longue distance, notamment avec le séisme du Chili (Iquique) qui est associé à des alertes au tsunamis relayées dans tous les pays du Pacifique. Au contraire, un séisme chinois d’intensité plus forte mais se produisant dans la zone déserte du Xinjiang sera beaucoup moins médiatisé. Au final, l’une des découvertes les plus intéressante de ce travail commun aura été de se rendre compte que la magnitude des séismes sur l’échelle de Richter est fondamentalement qualitative (destructions de maison, ressenti des habitants, …) et doit être distinguée des mesures proprement physique (intensité mécanique, profondeur, …). En ce sens, des mesures objectives de médiatisation des séismes révélant leur impact à moyenne ou longue distance du lieu d’impact sont des mesures du plus grand intérêt pour les sciences de la terre. Il faut donc revenir sur l’asymétrie classique entre des sciences de la terre mesurant objectivement des phénomènes physiques et des sciences humaines tentant d’en évaluer l’impact social.

L’intérêt de capteurs RSS à puissance et portée spatiale faibles

Ceci conduit à la seconde phase de l’expérience qui consistait à reconstituer le nombre de séismes identifiés par une quinzaine de capteurs RSS internationaux de l’ANR Geomedia. Là encore, une véritable discussion théorique s’est instaurée entre sciences sociales et sciences de la Terre sur la notion d’événement ou, plus précisément sur les questions d’enveloppe spatio-temporelle et d’agrégation. Les séismes ne sont en effet pas des points singuliers de l’espace-temps mais des clusters plus ou moins complexes où il est souvent difficile voire impossible de distinguer clairement une réplique d’un séisme de l’apparition d’un nouveau séisme. Problème que nous avons également rencontré dans les travaux sur l’agrégation d’événement médiatique où l’identification des pics peut se faire à différentes échelles d’agrégation temporelle et spatiale (Cf. thèse de Robin Lamarche-Perrin).

Si on arrive à résoudre  cette difficulté essentielle, il est alors possible de produire des cartes appariant des événements séismes et des événements médiatiques, comme le montre l’exemple très simple des séismes signalés par trois capteurs de flux RSS à l’aide d’au moins deux dépêches.

seismesRSS

La faiblesse des capteurs de flux RSS, par comparaison avec les agences de presse ,constitue ici un avantage précieux si l’on cherche à tracer une géographie des circulations médiatiques et un étalonnage de l’importance des événements internationaux. Par exemple, il apparaît clairement que chaque journal tend à couvrir davantage ce qui est proche que ce qui est éloigné, mais pas forcément selon une géométrie euclidienne (Cf. la couverture du journal Argentin qui semble plus basée sur l’appartenance continentale que la distance à vol d’oiseau). Le séisme du Chili est couvert par les trois  journaux alors que celui de Chine, pourtant de magnitude plus forte n’est signalé que par le flux RSS du journal indien. Mais le séisme de Grèce est en revanche couvert à la fois par le journal nord-américain et par le journal indien, etc…

Il faudrait bien évidemment disposer d’un échantillon beaucoup plus étendu dans le temps et l’espace pour tirer des conclusions intéressantes. Mais les séismes semblent une piste prometteuse aussi bien pour comprendre la médiatisation des catastrophes que pour analyser le fonctionnement des médias et étalonner les capteurs constitués par les flux RSS.

Courte présentation du corpus Géomédia (juin 2014)

Billet écrit avec la collaboration d’Hugues Pecout (Ingénieur d’étude, GIS-CIST)

En juin 2014, l’application développée par Clément Rillon pour capturer les flux RSS collecte 259 flux issus de 162 journaux différents. Des tests en cours (régularité et volume du débit d’items) permettront d’affiner cette première sélection. Cet échantillon ne saurait évidemment prétendre à une quelconque représentativité à l’échelle mondiale : tous les quotidiens dans le monde ne proposent pas de flux RSS, ceux qui en proposent n’ont pas nécessairement un débit conséquent et les compétences linguistiques des chercheur-e-s impliqué-e-s dans le projet (sans oublier les soucis liés à l’encodage des caractères…) ont limité l’éventail des choix. L’objectif n’est donc pas la représentativité mais plutôt la construction d’un corpus exploitable.

Les flux RSS sont capturés en anglais et en français depuis décembre 2013, en espagnol et en portugais depuis avril 2014. Quelques journaux en d’autres langues ont été intégrés dans la base pour répondre à des questions de recherche spécifiques à certains chercheur-e-s du projet. Le tableau ci-dessous détaille la répartition par langue des flux collectés. Lorsqu’un seul journal est associé à deux flux (cas de la Pologne), cela signifie que nous capturons le flux international et un autre type de flux.

Langue utilisée

Nombre de journaux/médias

Nombre de flux RSS

anglais

91

146

espagnol

28

46

français

21

35

portugais

9

14

allemand

8

11

italien

2

4

catalan

1

1

polonais

1

2

Sur les sites des journaux, les flux RSS sont classés par catégories. Le nom des catégories varie selon les médias, les langues et les pays. Les différents catégories ont été classées en 5 grands types :

  • Unique : le média émet un seul flux ;
  • General (46 flux): selon les langues, correspond aux flux Home, Homepage, Todas las noticias ou All News ;
  • Une (41 flux) : selon les langues, correspond aux flux Top head lines, Portada, Top stories, Une, Titulares, Actu et Actualidad ;
  • Breaking news (40 flux): correspond aux flux Ultimas Noticias, Dernière news, Latest news, Hot news, News et Fil info ;
  • et enfin International (103 flux) qui correspond selon les cas aux flux International, Internacional, Monde ou Mundo.

Les flux collectés sont issus de 60 États différents et nous avons essayé dans la mesure du possible de varier les journaux pour chaque État (type de journal – journal dit de référence, populaire, tabloïd -, orientation politique, région d’origine, gratuit et payant) et de récolter les quotidiens les plus diffusés. Sauf exception (Financial Times), il s’agit cependant de quotidiens généralistes. Ainsi, le corpus des journaux français comprend trois journaux de référence d’orientations politiques variées (Le Monde, Libération, Le Figaro), deux gratuits (20 minutes, Métro), un quotidien populaire (Le Parisien*) et quatre quotidiens régionaux (Dernières nouvelles d’Alsace, La Nouvelle République, Ouest France et France-Antilles). La couverture géographique a été nettement améliorée par la capture de flux espagnols et portugais. Signalons enfin que, dans un certain nombre de cas, et notamment en Asie et au Moyen-Orient, les flux capturés le sont en anglais et sans doute plus destinés à un public international qu’à un public national.

Cliquer sur la carte pour la voir en plein écran

map1

* Le Parisien pourrait certes être considéré comme un quotidien régional mais son contenu diffère tout de même grandement des autres titres de la PQR (Presse quotidienne régionale).