Aspirer, nettoyer et analyser des données bibliographiques avec Web of Science et R (Pierre Mercklé, 30 novembre 2018)
Le travail présenté par Pierre Mercklé s’inscrit dans le cadre d’un projet de recherche qui rassemble pour l’instant des chercheurs de l’ENS de Lyon et de l’université de Lausanne. Au sein de projet, il travaille plus particulièrement avec des collègues de l’université de Lausanne : Felix Bühlmann, Boris Beaude, Thierry Rossier et Pierre Benz. Felix Bühlmann est à l’initiative du développement d’une base prosopographique très importante au sein de l’Observatoire des élites suisses, base qui a déjà servi de support à de nombreux travaux de recherches. Sur 5 dates séparées les unes des autres d’environ 20 ans et couvrant toute l’étendue du XXe siècle (1910, 1937, 1957, 1980 et 2000), la base « Elites » rassemble des données prosopographiques sur les individus appartenant à trois types d’élites : les élites économiques (membres des conseils d’administration des 110 plus grandes entreprises à la date considérée), les élites politiques (tous les parlementaires) et les élites académiques (tous les professeurs en postes dans les universités et les écoles polytechniques fédérales suisses). Les données prosopographiques retenues sont puisées à de nombreuses sources : biographies anniversaires, monographies, données d’archives, nécrologies, articles de journaux, bases de données dans certaines universités, dictionnaire historique des individus pour la période du début du XXe siècle…
La base « Elites »
| Dimension | Variables |
| Caractéristiques socio-démographiques | Année de naissance, sexe, nationalité, confession, origine sociale |
| Carrière et capital culturel et social acquis | Université, fonction, directeur de thèse, titre de la thèse, année de soutenance de la thèse, étapes de la carrière universitaire. |
| Capital social et économique acquis | Grade militaire, mandats politiques, conseils d’administration, groupes d’intérêt, réseau de co-doctorants |
| Capital institutionnel | Fonctions de recteur, doyen, conseil de la recherche FNS, CSSI, Académie des sciences |
| Capital Scientifique | Prix scientifiques, Projets FNS et montants, doctorat honoris causa, comités d’associations scientifiques, éditeur de revues, nombre de publications |
| Capital cosmopolite | Séjours à l’étranger, doctorat à l’étranger, carrière à l’étranger, bourses Rockfeller/ Fulbright |
| Prises de position | Orientation théorique, prises de positions publiques |
C’est dans ce cadre qu’est développée une analyse des carrières académiques des biologistes suisses, sur lesquelles porte la thèse de Pierre Benz. La question de départ est la suivante : comment expliquer les variations des trajectoires académiques au sein d’une discipline ? L’hypothèse que j’apporte consiste à explorer, dans ce cadre précis, les relations entre types de trajectoires et dynamiques des réseaux scientifiques. Pour y parvenir, Pierre Mercklé mobilise trois corpus de données portant sur :
- 342 professeurs de biologie en poste dans les universités et écoles polytechniques suisses en 2000 (données biographiques prosopographiques extraites de la base de l’observatoire des élites suisses).
- 5 000 notices projets de recherche FNS (données extraites de la base FNS P3).
- 70 000 publications scientifiques et leurs bibliographies (données extraites de Web of Science).
La mesure des réseaux scientifiques
Comment saisir les « réseaux scientifiques » ? La sociologie des sciences s’appuie depuis très longtemps (voir ) sur les données scientométriques dans cette perspective, dans le prolongement de l’article fondateur de John de Solla Price (1965). On va s’appuyer aussi sur ce qu’on peut appeler des co-autheurship networks, autrement dit des réseaux de relations de co-signature d’articles scientifiques (De Nooy, 2003).
Pour collecter les données nécessaires, j’utilise la base de données bibliographiques en ligne Web of Science (Clarivate, ex-Thomson Reuters, ex-ISI). Il est possible d’interroger cette base manuellement, à partir de requête plus ou moins complexes sur les différents champs de données décrivant les références bibliographiques, puis de récupérer manuellement les références sélectionnées par paquets de 500 références.
Web of science

Et il est également possible d’utiliser une API et un webservice avec différents packages pour R. L’exécution à la chaîne des 342 requêtes individuelles (une pour chaque biologiste suisse identifié dans notre corpus) retourne une table de publications comportant 17 variables, qui correspondent à celles qui sont disponible par l’API Light de WOS. Voici un exemple de ces variables avec une publication du premier professeur de la liste, Rolf Zinkernagel.
Une notice
| uid | WOS:A1991FZ62900017 |
| title | QUANTIFICATION OF LYMPHOCYTIC CHORIOMENINGITIS VIRUS WITH AN IMMUNOLOGICAL FOCUS ASSAY IN 24-WELL OR 96-WELL PLATES |
| journal | JOURNAL OF VIROLOGICAL METHODS |
| issue | 01-févr |
| volume | 33 |
| pages | 191-198 |
| date | JUN |
| year | 1991 |
| authors | BATTEGAY, M | COOPER, S | ALTHAGE, A | BANZIGER, J | HENGARTNER, H | ZINKERNAGEL, RM |
| keywords | LYMPHOCYTIC CHORIOMENINGITIS VIRUS | FOCUS FORMATION | VIRUS TITRATION | MULTIWELL PLATE |
| doi | |
| article_no | |
| isi_id | FZ629 |
| issn | 0166-0934 |
| isbn |
Les requêtes sont composées à partir de la syntaxe supportée par l’API de WOS. Pour délimiter la période de publication, on va des 20 ans de l’auteur (année de naissance + 20) jusqu’à aujourd’hui. Et on limite la recherche aux « Research areas » correspondant à notre domaine : notre sélection conserve toute la biologie, toute la chimie, les sciences naturelles médicales et presque toute la physique. A aussi été intégrée l’oncologie (médecine clinique) parce c’est probablement dans cette catégorie que s’inscrit la recherche sur le cancer. Aussi quelques disciplines des sciences de la terre très proches de la chimie ou de la biologie et quelques sciences techniques, notamment des matériaux, très proches de la chimie (génie chimique).
Nettoyer les données bibliométriques
Un test avec Rolf Zinkernagel montre qu’il faut environ 15 secondes pour récupérer ses 615 publications. Au total, il faut environ 2 heures pour récupérer les 207 396 publications renvoyées (soit environ 600 chacun) par les requêtes sur les 342 professeurs. Un certain nombre d’indices permettent de soupçonner des problèmes importants d’homonymie : en particulier, les professeurs ayant le plus de publication portent des patronymes très communs, souvent anglophones, à l’exception de Muller, patronyme le plus fréquent en Suisse, et de Fischer. Dans ces cas, on peut suspecter des problèmes liés à une forte homonymie. De fait, il y a 17 noms de famille identiques dans la base.
On fait l’hypothèse que les faux positifs sont dus à la présence d’homonymes de l’auteur dans la Web of Science : plus le patronyme d’un auteur sera commun, plus le risque sera grand que des publications renvoyées par la requête AU=NOM PRENOM OR AU=NOM P ne soient pas de lui mais d’un homonyme. On peut donc faire l’hypothèse que la corrélation entre la fréquence des patronymes et le nombre de publications renvoyées par les requêtes est un indicateur de la proportion de faux positifs, et donc de la qualité de la base de publications obtenues.
A partir d’une récupération de la fréquence des noms de famille sur le site forebears.io, on observe une nette corrélation entre le rang dans le classement mondial des patronymes et le rang dans le classement du nombre de publications, en particulier aux rangs les plus élevés (autrement dit pour les patronymes les plus fréquents, comme le montre le graphique ci-dessous :
Fréquence du patronyme et nombre de publications

Avec un coefficient de corrélation de rang (rho de Spearman) de 0,56, on en déduit donc qu’une part significative du nombre de publications des patronymes les plus fréquents correspond à des « faux positifs », autrement dit à des publications dont ils ne sont pas les auteurs.
Etant donnée la façon dont les requêtes dans WOS sont écrites, le nombre de publications obtenues excède très largement le nombre réel de publications signées par les 342 biologistes de la base. Il y a donc un nombre très élevé de « faux positifs » (publications récupérées par erreur), qu’il faut parvenir à réduire.
On a donc cumulé différentes techniques de « désambigüation » pour réduire le nombre de faux positifs :
- L’information sur les prénoms des individus a été complétée autant que possible, et on utilise un algorithme d’appariement optimal pour éliminer les publications des auteurs dont les prénoms (complets ou seulement initiales) ne sont pas compatibles avec nos informations.
- Après cette première opération, la corrélation entre le nombre de publications de chaque auteur et la fréquence de son patronyme reste significative. On utilise alors une seconde technique pour détecter les faux positifs parmi les publications dont le prénom a été classé comme « incertain » par la technique utilisée ci-dessus. Cette seconde technique s’appuie sur des algorithmes lexicométriques qui comparent les titres, les mots-clés, les co-auteurs et les années des publications incertaines aux mêmes champs dans les publications considérées comme des vrais positifs et dans celles considérées comme des vrais négatifs.
La désambigüation lexicométrique des prénoms
La première technique que nous utilisons pour détecter les faux positifs s’appuie sur les prénoms et les initiales des prénoms des individus. On connaît le prénom réel de chaque professeur (et éventuellement également son second prénom), mais en raison de l’état de la base WOS, si on limite la requête aux auteurs ayant ce prénom entier, on va manquer toutes les publications où seule l’initiale du prénom de l’auteur figure dans la base. Le problème sera alors inverse : on engendre un nombre important de « faux négatifs » autrement dit, de publications qui sont bien de l’auteur, mais qui ne figureront donc pas dans les résultats renvoyés par la requête. Pour cette raison, il faut donc ajouter la condition OR AU=NOM P dans la requête, et c’est celle-ci qui engendre un nombre important de faux positifs, qu’il faut maintenant détecter.
Par exemple, les publications du professeur WALTER JAKOB GEHRING sont recherchées avec la requête AU=GEHRING W, ce qui renvoie 403 publications. Or quand on examine la liste des auteurs de ces publications, on trouve en réalité, pour l’auteur dont le nom de famille est GEHRING, 10 façons différentes de mentionner son prénom : certaines sont compatibles avec le prénom réel, qui est WALTER JAKOB, et d’autres ne le sont visiblement pas.
Pour estimer la probabilité que le prénom ou l’initiale du prénom renvoyée par la requête soit compatible avec le prénom ou l’initiale du prénom réelle, on utilise un algorithme qui s’appuie sur une mesure de la “distance” entre le prénom réel et le prénom obtenu. Pour cela, on utilise la fonction stringdist() du package du même nom, et on calcule la distance de Levenshtein entre les deux textes, paramétrée de telle façon à compter le nombre de suppressions et de substitutions de lettres qu’il faut effectuer sur le prénom observé pour trouver le prénom réel. Cet algorithme permet d’attribuer des scores aux prénoms renvoyées par les requêtes, qui permet ensuite de classer ces prénoms en trois catégories :
- GOOD : Le prénom renvoyé est identique au prénom réel, ou la double initiale renvoyée est identique à la double initiale réelle.
- UNCERTAIN : Le prénom renvoyé est compatible avec le prénom réel, ou l’initiale renvoyée est compatible avec l’initiale réelle.
- WRONG : Le prénom renvoyé est incompatible avec le prénom réel, ou l’initiale ou les initiales renvoyées sont incompatibles avec les initiales réelles.
Pour Walter Jakob Gehring, l’algorithme produit les résultats suivants :
Walter Jakob Gehring
| Prénom trouvé | N | % | Distance | Accuracy |
| WALTER JAKOB | 1 | 0.2 | -1002.8 | GOOD |
| WALTER J | 27 | 6.7 | -1001.8 | GOOD |
| W J | 6 | 1.5 | -1000.5 | GOOD |
| WALTER | 6 | 1.5 | -991.5 | GOOD |
| WJ | 257 | 63.8 | -990.5 | GOOD |
| W | 66 | 16.4 | -90.2 | UNCERTAIN |
| WILLIAM J | 31 | 7.7 | 5.5 | WRONG |
| WOLFGANG | 3 | 0.7 | 15.8 | WRONG |
| WR | 1 | 0.2 | 29.9 | WRONG |
| WG | 5 | 1.2 | 31.0 | WRONG |
Au total, l’algorithme de vérification des prénoms classe les 210554 publications de la façon suivante :
| n | % | val% | |
| GOOD | 46065 | 21.9 | 21.9 |
| UNCERTAIN | 61276 | 29.1 | 29.1 |
| WRONG | 103213 | 49.0 | 49.0 |
Si on retire les 103213 publications identifiées WRONG par l’algorithme, autrement dit identifiées avec certitude comme des faux positifs, il reste 107341 publications dont les prénoms sont considérés comme corrects ou incertains, et la corrélation avec la fréquence du patronyme est un peu plus faible, puisque le rho de Spearman n’est plus que de 0.42. Mais les 50 premières places du classement au nombre de publications continuent d’être occupées par les auteurs ayant les patronymes les plus communs.
La désambigüation lexicométrique des « sujets »
Après cette première opération, la corrélation entre le nombre de publications de chaque auteur et la fréquence de son patronyme reste significative. On utilise alors une seconde technique pour détecter les faux positifs parmi les 61276 publications dont le prénom a été classé comme “incertain” par la technique utilisée ci-dessus. Celle-ci consiste à comparer pour chaque publication le texte formé par son titre, ses mots-clés, les noms de ses co-auteurs et son année de publication, avec d’une part le texte formé par ces champs pour ses publications classées “GOOD” par la technique précédente, et d’autre part le texte formé par ces champs pour ses publications classées “WRONG”. La distance du “texte” de chaque publication aux “bonnes” publications et aux “mauvaises” publications est calculée en utilisant les techniques lexicométriques mises à disposition dans le package d’analyse textuelle tm. La procédure consiste ensuite à classer en “GOOD” les publications incertaines qui sont selon cette mesure plus proches des bonnes publications que des mauvaises publications, et à classer en “WRONG” celles qui sont au contraire plus proches des mauvaises publications que des bonnes.
Au total, l’algorithme lexicométrique classe les 61276 publications incertaines de la façon suivante :
| n | % | val% | |
| GOOD | 23407 | 38.2 | 38.2 |
| WRONG | 37869 | 61.8 | 61.8 |
Au total, après le tri par les prénoms et le tri lexicométrique, sur les 210554 publications initialement renvoyées par les requêtes dans Web of Science, il reste donc un total de 69472 publications finalement considérées comme étant bien des publications des auteurs. Le coefficient de corrélation de rang entre fréquence du nom de famille et nombre de publications dans cette base est de -0,03.
Les techniques de désambigüation que nous utilisons ne garantissent pas une absence totale de faux positifs, ni de faux négatifs. D’une part, l’identification par les prénoms n’est pas totalement infaillible, en raison de la faible qualité du renseignement des prénoms dans Web of Science. Et d’autre part, l’identification lexicométrique n’est pas infaillible non plus. Nous avons effectué des tests de l’algorithme lexicométrique en procédant de la façon suivante : nous avons tiré au sort des proportions variables d’articles parmi ceux qui étaient classés comme corrects ou comme incorrects d’après les prénoms, et nous les avons artificiellement reclassés en “incertains”. Nous avons ensuite utilisé l’algorithme lexicométrique pour les reclasser à nouveau en corrects ou incorrects : systématiquement, l’algorithme reclasse correctement entre 90% et 95% des publications. On peut donc estimer qu’il produit un taux d’erreur compris entre 5% et 10% pour les 23407 publications “incertaines” qu’il reclasse en “correctes auxquelles il est appliqué, soit donc un taux d’erreur compris possiblement entre 2% et 5% pour la totalité des 69472 publications finalement identifiées comme correctes.
Quid de la suppression des publications avec un nombre très élevé de co-auteurs ? Pour un certain nombre d’articles, il y a un nombre extrêmement élevé de co-auteurs. D’un côté 88% des publications ont moins de 10 auteurs, et 98% des publications ont moins de 100 auteurs, et de l’autre plus de 1300 publications ont plus de 1000 auteurs, et celle qui en a le plus en a même 5156 ! L’histogramme du nombre de co-auteurs montre une distribution qui présente du reste des « anomalies » : elle décroît régulièrement jusque vers 200 co-auteurs, pour remonter ensuite entre 200 et 1000 co-auteurs, et connaît même deux modes locaux très particuliers, l’un autour de 2200 co-auteurs, et l’autre autour de 3000 co-auteurs. Quant aux 10 premières publications de ce classement en fonction du nombre de co-auteurs, qui ont toutes plus de 5000 co-auteurs, elles sont toutes consacrées à la « découverte » du boson de Higgs, et ont peut donc supposer que les listes de leurs co-auteurs (presque identiques d’une publication à l’autre, et classées par ordre alphabétique) sont des affichages « politiques » de la totalité des personnels des différents laboratoires et institutions parties prenantes de la découverte, et qu’elles ne peuvent donc pas être utilisées pour attester des interconnaissances entre leurs membres, ni des échanges scientifiques interpersonnels effectifs. On peut donc faire le choix de supprimer de la base les publications avec plus de 10, ou plus de 100, ou plus de 1000 co-auteurs. On peut aussi faire le choix de combiner : une limitation aux publications avec moins de n co-auteurs ; et une limitation aux k premiers co-auteurs de chaque publication, du moins quand ils ne sont pas classés par ordre alphabétique.
Peut-on exclure qu’il reste des faux positifs ?
Cette fois, la corrélation entre le nombre de publications finalement retenues et la fréquence du patronyme de l’auteur est devenue pratiquement nulle : le rho de Spearman est désormais de -0,03. Il ne reste probablement plus qu’une demi-douzaine d’auteurs qui figurent à la fois dans les premières places du classement des publications et du classement des patronymes.
Rien n’assure que les publications des auteurs qui figurent dans cette liste contiennent des proportions plus importantes de faux positifs que les autres. Mais pour les premiers d’entre eux, ceux en particulier qui ont plus d’un millier de publications, il peut tout de même être intéressant de procéder à des vérifications manuelles, et d’utiliser également les fonctionnalités “Group by Author” de l’interface de Web of Science.
De façon plus générale, les techniques d’identification que nous utilisons ne garantissent pas une absence totale de faux positifs, ni de faux négatifs.
- D’une part, l’identification par les prénoms n’est pas totalement infaillible, en raison de la faible qualité du renseignement des prénoms dans Web of Science.
- Et d’autre part, l’identification lexicométrique n’est pas infaillible non plus. Nous avons effectué des tests de l’algorithme lexicométrique en procédant de la façon suivante : nous avons tiré au sort des proportions variables d’articles parmi ceux qui étaient classés comme corrects ou comme incorrects d’après les prénoms, et nous les avons artificiellement reclassés en « incertains ». Nous avons ensuite utilisé l’algorithme lexicométrique pour les reclasser à nouveau en corrects ou incorrects : systématiquement, l’algorithme reclasse correctement entre 90% et 95% des publications. On peut donc estimer qu’il produit un taux d’erreur compris entre 5% et 10% pour les 23407 publications incertaines qu’il reclasse en correctes auxquelles il est appliqué, soit donc un taux d’erreur compris possiblement entre 2% et 5% pour la totalité des 69472 publications finalement identifiées comme correctes.
Analyser les données bibliométriques
A partir des données ainsi préparées, il est facile de construire le graphe des co-publications en extrayant toutes les paires de co-auteurs pour constituer la liste des liens (edgelist) entre biologistes suisses. En moyenne, chaque professeur de sciences naturelles a un peu moins de 8 publications communes avec d’autres professeurs suisses. La distribution est cependant très dispersée : si 24 professeurs n’ont aucune publication avec d’autres collègues suisses, et 23 n’ont qu’une seule co-publication, à l’autre extrême ils sont presque une centaine à dépasser la dizaine de co-publications.
Graphe des co-publications entre biologistes suisses présents dans la base ELITES.

Les femmes ont moins de co-publications que les hommes : 4,7 co-publications seulement en moyenne, contre 7,9 pour les hommes. Le nombre de co-publications semble décroître légèrement avec l’âge. Cela étant dit, l’examen de la variation du nombre moyen de co-publications en fonction de l’âge en 2000, suggère plutôt une courbe en cloche, avec un mode pour les professeurs ayant la quarantaine en 2000.
Le nombre de co-publications augmente avec le grade, de 4 co-publications en moyenne pour les professeurs adjoints jusqu’à 8,2 co-publications pour les professeurs ordinaires. Et les professeurs en écoles polytechniques à cette date co-publient plus que les professeurs des universités (8,7 contre 7,4 co-publications). Et parmi ces derniers, le nombre moyen de co-publications varie également en fonction de l’établissement, de 5,6 co-publications par professeur à Berne jusqu’à 9,2 à Zürich. On note également que les professeurs des facultés de sciences co-publient plus que ceux des facultés de médecine (8,2 contre 6,1 co-publications).
Dans l’ensemble, les professeurs des universités alémaniques co-publient un tout petit peu plus que ceux des universités romandes (7,9 au lieu de 7,4 co-publications par professeur en moyenne). Cette distinction se retrouve quand on examine les variations du nombre de co-publications en fonction de la nationalité. Si l’on agrège toutes les nationalités étrangères, alors il n’y a pas de différence : les Suisses ont le même nombre de co-publications que les étrangers. Toutefois, si l’on y regarde de plus près, il apparaît que les Allemands (9,6) ont un nombre de co-publications plus élevé que les Suisses (7,9), lesquels en ont un nombre plus élevé que les autres nationalités étrangères (6,6).
Références bibliographiques
Abbott A., 1990, « A Primer on Sequence Methods », Organization Science, 1 (4), pp. 275-392.
Abbott A., 2001, Time Matters. On Theory and Method, Chicago, University of Chicago Press.
Bison I., 2014, « Sequence as Network: An Attempt to Apply Network Analysis to Sequence Analysis », in Blanchard P., Bühlmann F., Gauthier J. A. (dir.), Advances in Sequence Analysis: Theory, Method, Applications, Heidelberg, Springer, coll. « Life Course Research and Social Policies », pp. 231-248.
Bühlmann F., David T., Mach A., 2013, « Cosmopolitan capital and the internationalization of the field of business elites: Evidence from the Swiss case », Cultural Sociology, 7(2), pp. 211-229, http://unil.ch/obelis/files/live/sites/obelis/files/publications/Cultural-Sociology-2013-Bu%cc%88hlmann-211-29.pdf.
De Nooy W., 2003, « Fields and networks: Correspondence Analysis and Social Network Analysis in the Framework of Field Theory », Poetics, vol. 31, nr. 5-6, October-December, pp. 305-327, http://home.medewerker.uva.nl/w.denooy/bestanden/FieldsNetworks.pdf.
Godechot O., Louvet A., 2010, « Comment les docteurs deviennent-ils directeurs de thèse ? Le rôle des réseaux disponibles », Sociologie, n° 1, vol. 1, pp. 3-23, http://www.cairn.info/revue-sociologie-2010-1-page-3.htm.
Korsnes O., et al., 2018, New Directions in Elite Studies, Routledge Abingdon, UK.
Mach A., Thomas D., Bühlmann F., 2011, « La fragilité des liens nationaux. La reconfiguration de l’élite de pouvoir en Suisse, 1980-2010 », Actes de la recherche en sciences sociales, 190, pp. 78-107, http://unil.ch/obelis/files/live/sites/obelis/files/publications/Mach-et-al._ARSS190.pdf.
Pilotti A., Mach A., Mazzoleni O., 2010, « Les parlementaires suisses entre démocratisation et professionnalisation, 1910-2000 », Swiss Political Science Review, 16(2), pp. 211-245, http://unil.ch/obelis/files/live/sites/obelis/files/publications/Pilotti_Mach_Mazzoleni_2010.pdf.
Price D. J. D. S., 1965, « Networks of scientific papers », Science, 149(3683), pp. 510-515, http://www.garfield.library.upenn.edu/papers/pricenetworks1965.pdf.
Rosenthal N., et al., 1985, « Social Movements and Network Analysis: A Case Study of Nineteenth-Century Women’s Reform in New York State », American Journal of Sociology, 90, pp. 1022-1054.
White H. D., 2011, « Scientific and Scholarly Networks », in Scott J., Carrington P. J. (dir.), The SAGE Handbook of Social Network Analysis, Sage, pp. 271-285.
OpenEdition vous propose de citer ce billet de la manière suivante :
Pierre Mercklé (30 novembre 2018). Aspirer, nettoyer et analyser des données bibliographiques avec Web of Science et R (Pierre Mercklé, 30 novembre 2018). Les Vendredis Quanti. Consulté le 19 janvier 2026 à l’adresse https://doi.org/10.58079/1548b
