Honderden extreem-zelf-citerende wetenschappers onthuld in nieuwe database

‘ s werelds meest geciteerde onderzoekers, volgens nieuw vrijgegeven gegevens, zijn een merkwaardig eclectische groep. Nobelprijswinnaars en eminente polymaten wrijven schouders met minder bekende namen, zoals Sundarapandian Vaidyanathan uit Chennai in India. Wat springt uit over Vaidyanathan en honderden andere onderzoekers is dat veel van de citaten van hun werk afkomstig zijn van hun eigen papers, of van die van hun coauteurs.,Vaidyanathan, een computerwetenschapper aan het Vel Tech R&D Institute of Technology, een particulier instituut, is een extreem voorbeeld: hij heeft tot 2017 94% van zijn citaten ontvangen van zichzelf of zijn coauteurs, volgens een studie in PLoS Biology deze maand1. Hij is niet alleen. De dataset, die een lijst van ongeveer 100.000 onderzoekers, laat zien dat ten minste 250 wetenschappers hebben verzameld meer dan 50% van hun citaties van zichzelf of hun co-auteurs, terwijl de mediane zelf-citatiepercentage is 12,7%.,

De studie zou kunnen helpen om potentiële extreme zelfpromotors aan te duiden, en mogelijk ‘citation farms’, waarin clusters van wetenschappers elkaar massaal citeren, zeggen de onderzoekers. “Ik denk dat zelfcitatieboerderijen veel vaker voorkomen dan we denken,” zegt John Ioannidis, een arts aan de Stanford University in Californië die gespecialiseerd is in meta-wetenschap-de studie van hoe wetenschap wordt gedaan — en die het werk leidde. “Degenen met meer dan 25% zelf-citatie zijn niet noodzakelijk betrokken bij onethisch gedrag, maar nadere controle kan nodig zijn,” zegt hij.,

de gegevens zijn veruit de grootste verzameling metrics die ooit zijn gepubliceerd. En ze komen op een moment dat financieringsinstellingen, tijdschriften en anderen zich meer richten op de potentiële problemen die worden veroorzaakt door overmatige zelfcitatie. In Juli, de Committee on Publication Ethics (COPE), een uitgever-adviesorgaan in Londen, benadrukt extreme zelf-citatie als een van de belangrijkste vormen van citatie manipulatie. Deze kwestie past in bredere zorgen over een te grote afhankelijkheid van citatie metrics voor het maken van beslissingen over het inhuren, promoties en financiering van onderzoek.,

” als we professionele vooruitgang koppelen en te sterk aandacht besteden aan citatiegebaseerde metrics, stimuleren we zelfcitatie,” zegt psycholoog Sanjay Srivastava aan de Universiteit van Oregon in Eugene.

hoewel veel wetenschappers het erover eens zijn dat overmatige zelfcitering een probleem is, is er weinig consensus over hoeveel te veel is of over wat er aan de kwestie moet worden gedaan. Voor een deel is dit omdat onderzoekers veel legitieme redenen hebben om hun eigen werk of dat van collega ‘ s te noemen., Ioannidis waarschuwt dat zijn studie niet moet leiden tot de laster van bepaalde onderzoekers voor hun zelfcitatiecijfers, niet in de laatste plaats omdat deze kunnen variëren tussen disciplines en loopbaanfasen. “Het biedt alleen volledige, transparante informatie. Het moet niet worden gebruikt voor uitspraken zoals de beslissing dat een te hoge zelfcitatie gelijk staat aan een slechte wetenschapper,” zegt hij.

Data drive

Ioannidis en zijn coauteurs publiceerden hun gegevens niet om zich te concentreren op zelf-citeren., Dat is slechts een deel van hun studie, die een groot aantal gestandaardiseerde citatie-gebaseerde metrics bevat voor de meest geciteerde 100.000 of zo onderzoekers in de afgelopen 2 decennia in 176 wetenschappelijke subgebieden. Hij verzamelde de gegevens samen met Richard Klavans en Kevin Boyack bij analytics firm SciTech Strategies in Albuquerque, New Mexico, en Jeroen Baas, director of analytics bij de Amsterdamse uitgever Elsevier; de gegevens komen allemaal uit de eigen Scopus-database van Elsevier. Het team hoopt dat zijn werk het mogelijk zal maken om factoren te identificeren die citaties kunnen veroorzaken.,

maar het meest in het oog springende deel van de gegevensverzameling is de zelfcitatiemetrics. Het is al mogelijk om te zien hoe vaak een auteur zijn eigen werk heeft Geciteerd door het opzoeken van hun citatierapport in abonnementsbanken zoals Scopus en Web of Science. Maar zonder inzicht in onderzoeksgebieden en loopbaanfasen is het moeilijk om deze cijfers in context te plaatsen en de ene onderzoeker met de andere te vergelijken.

Vaidyanathan ‘ s plaat valt op als een van de meest extreme — en het heeft bepaalde beloningen gebracht., Vorig jaar, Indiase politicus Prakash Javadekar, die momenteel de natie minister van milieu, maar op het moment was verantwoordelijk voor het hoger onderwijs, presenteerde Vaidyanathan met een 20.000-rupee (US$280) award voor het zijn onder de natie top onderzoekers door metingen van de productiviteit en citation metrics. Vaidyanathan heeft niet gereageerd op het verzoek van de natuur om commentaar, maar hij heeft eerder verdedigd zijn citaat record in antwoord op vragen over Vel Tech geplaatst op Quora, de online vraag-en-antwoord platform., In 2017 schreef hij dat, omdat onderzoek een continu proces is, “het volgende werk niet kan worden uitgevoerd zonder te verwijzen naar het vorige werk”, en dat zelf citeren niet werd gedaan met de bedoeling anderen te misleiden.,twee andere onderzoekers die veel lof hebben gekregen en zichzelf zwaar citeren zijn Theodore Simos, een wiskundige wiens website een lijst geeft van affiliaties aan de King Saud University in Riyad, de Ural Federal University in Jekaterinburg, Rusland, en de Democritus Universiteit van Thracië in Komotini, Griekenland; en Claudiu Supuran, een medicinaal chemicus aan de Universiteit van Florence, Italië, die ook een affiliatie aan de King Saud University vermeldt., Zowel Simos, die verzamelde ongeveer 76% van zijn citaten van zichzelf of zijn coauteurs, en Supuran (62%) werden vorig jaar genoemd op een lijst van 6.000 “world-class onderzoekers geselecteerd voor hun uitzonderlijke onderzoeksprestaties” geproduceerd door Clarivate Analytics, een informatie-dienstverlener in Philadelphia, Pennsylvania, die eigenaar is van Web of Science. Noch Simos noch Supuran antwoordde op de verzoeken van de natuur om commentaar; Clarivate zei dat het zich bewust was van de kwestie van ongebruikelijke zelf-citatie patronen en dat de methodologie die wordt gebruikt om de lijst te berekenen zou kunnen veranderen.

wat te doen met zelfcitaten?,

in de afgelopen jaren hebben onderzoekers meer aandacht besteed aan zelfcitatie. In een preprint uit 2016 werd bijvoorbeeld gesuggereerd dat mannelijke academici gemiddeld 56% meer hun eigen papers citeren dan vrouwelijke academici dat doen2, hoewel een replicatieanalyse vorig jaar suggereerde dat dit een effect zou kunnen zijn van een hogere zelfcitatie bij productieve auteurs van welk geslacht dan ook, die meer werk uit het verleden hebben Geciteerd.3, In 2017 bleek uit een studie dat wetenschappers in Italië zich meer gingen citeren na de invoering van een controversieel beleid uit 2010 dat academici verplichtte om productiviteitsdrempels te halen om in aanmerking te komen voor promotie4. En vorig jaar, Indonesië ‘ s onderzoeksministerie, die een citatie-gebaseerde formule gebruikt om financiering toe te wijzen voor onderzoek en wetenschap, zei dat sommige onderzoekers hun scores hadden gamed met behulp van onethische praktijken, met inbegrip van excessieve zelf-citaties en groepen academici citeren elkaar., Het ministerie zei dat het de financiering van 15 onderzoekers had gestopt en van plan was om zelf-citaties uit de formule uit te sluiten, hoewel onderzoekers de natuur vertellen dat dit nog niet is gebeurd.

maar het idee om de zelfcijfercijfers van individuen openbaar te maken, of deze te evalueren op basis van voor zelfcijfercijfers gecorrigeerde maatstaven, is zeer omstreden. Bijvoorbeeld, in een discussiedocument uitgegeven afgelopen maand5, cope argumenteerde tegen het uitsluiten van zelfcitaten uit statistieken, omdat, het zei, dit “niet toestaan dat een genuanceerd begrip van wanneer zelfcitaat maakt goede wetenschappelijke zin”.,in 2017 riep Justin Flatt, een bioloog aan de Universiteit van Zürich in Zwitserland, op tot meer duidelijkheid over de zelfcitatierecords van wetenschappers.6 Flatt, die zich nu aan de Universiteit van Helsinki bevindt, stelde voor een S-index te publiceren, naar het voorbeeld van de h-index-productiviteitsindicator die door veel onderzoekers wordt gebruikt. Een h-index van 20 geeft aan dat een onderzoeker 20 papers heeft gepubliceerd met ten minste 20 citaties; evenzo, een s-index van 10 zou betekenen dat een onderzoeker 10 papers had gepubliceerd die elk ten minste 10 zelf-citaties hadden ontvangen.,

Flatt, die een subsidie heeft ontvangen voor het verzamelen van gegevens voor de S-index, is het met Ioannidis eens dat de focus van dit soort werk niet moet liggen op het vaststellen van drempels voor aanvaardbare scores, of het benoemen en beschamen van hoge zelf-citers. “Het gaat nooit om het criminaliseren van zelfcitaten”, zegt hij. Maar zolang wetenschappers zichzelf blijven promoten met behulp van de h-index, is er reden om de S-index op te nemen voor context, stelt hij.,

Context matters

een ongewoon kenmerk van de studie van Ioannidis is de brede definitie van zelfcitatie, die citaties door coauteurs omvat. Dit is bedoeld om mogelijke gevallen van citation farming op te vangen, maar het verhoogt wel de zelfcitatiescores, zegt Marco Seeber, socioloog aan de UGent in België. Deeltjesfysica en astronomie, bijvoorbeeld, hebben vaak papers met honderden of zelfs duizenden coauteurs, en dat verhoogt het zelf-citatie gemiddelde over het veld.,Ioannidis zegt dat het mogelijk is om een aantal systematische verschillen te verklaren door onderzoekers te vergelijken met het gemiddelde voor hun land, loopbaan en discipline. Maar meer in het algemeen, zegt hij, vestigt de lijst de aandacht op gevallen die een nadere blik verdienen. En er is een andere manier om problemen op te sporen, door de verhouding van ontvangen citaten te onderzoeken tot het aantal papers waarin die citaten verschijnen. Simos heeft bijvoorbeeld 10.458 citaten ontvangen van slechts 1.029 papers — wat betekent dat hij gemiddeld meer dan 10 citaten krijgt in elk paper waarin zijn werk wordt vermeld., Ioannidis zegt dat deze metriek, in combinatie met de zelf-citatie metriek, een goede vlag is voor potentieel overmatige zelfpromotie.

in ongepubliceerd werk zegt Elsevier ‘ s Baas dat hij een soortgelijke analyse heeft toegepast op een veel grotere dataset van 7 miljoen wetenschappers: dat wil zeggen alle auteurs die in Scopus zijn vermeld en die meer dan 5 papers hebben gepubliceerd. In deze dataset, zegt Baas, is de mediane zelfcitatiesnelheid 15.,5%, maar maar liefst 7% van de auteurs hebben zelf-citatie tarieven boven 40%. Dit percentage is veel hoger dan onder de top-geciteerde wetenschappers, omdat veel van de 7 miljoen onderzoekers hebben slechts een paar citaties in het algemeen of zijn aan het begin van hun carrière. Vroege-carrià re wetenschappers hebben de neiging om hogere zelf-citatie tarieven omdat hun papers niet de tijd hebben gehad om veel citaties van anderen te verzamelen (zie ‘the youth effect’).

volgens de gegevens van Baas hebben Rusland en Oekraïne een hoge mediane zelfcitatiegraad (zie “land per land”). Zijn analyse laat ook zien dat sommige gebieden uitsteken — zoals de nucleaire en deeltjesfysica, en astronomie en astrofysica-vanwege hun vele artikelen met meerdere auteurs (zie ‘ Physics envy?’). Baas zegt echter dat hij geen plannen heeft om zijn dataset te publiceren.

niet goed voor de wetenschap?

hoewel de PLOS Biology study enkele extreme zelf-citers identificeert en manieren voorstelt om naar anderen te zoeken, zeggen sommige onderzoekers dat ze er niet van overtuigd zijn dat de zelf-citatie dataset nuttig zal zijn, deels omdat deze metriek zo sterk varieert per onderzoeksdiscipline en carrièrefase. “Zelf citeren is veel complexer dan het lijkt”, zegt Vincent Larivière, een informatiewetenschapper aan de Universiteit van Montreal in Canada.,

Srivastava voegt eraan toe dat de beste manier om overmatig zelfciteren-en andere gaming van citatie — gebaseerde indicatoren-aan te pakken, niet noodzakelijk is om steeds meer gedetailleerde gestandaardiseerde tabellen en samengestelde statistieken te publiceren om onderzoekers met elkaar te vergelijken. Deze kunnen hun eigen gebreken hebben, zegt hij, en een dergelijke aanpak dreigt wetenschappers nog verder te zuigen in een wereld van evaluatie door individueel niveau metrics, het probleem dat gaming in de eerste plaats stimuleert.

“We moeten editors en reviewers vragen om op te letten voor ongerechtvaardigde zelfcitaten,” zegt Srivastava., “En misschien hebben sommige van deze ruwe statistieken nut als een vlag van waar beter te kijken. Maar, uiteindelijk, de oplossing moet zijn om professionele evaluatie opnieuw af te stemmen met deskundige peer judgement, niet te verdubbelen op statistieken. Cassidy Sugimoto, een informatiewetenschapper aan de Indiana University Bloomington, is het ermee eens dat meer statistieken misschien niet het antwoord zijn: “Ranking wetenschappers is niet goed voor de wetenschap.”

Ioannidis zegt echter dat zijn werk nodig is. “Mensen zijn sowieso al sterk afhankelijk van individuele statistieken., De vraag is hoe je ervoor kunt zorgen dat de informatie zo accuraat en zo zorgvuldig en systematisch mogelijk wordt samengesteld”, zegt hij. “Citation metrics kan en mag niet verdwijnen. We moeten er optimaal gebruik van maken en de vele beperkingen ervan volledig erkennen.”