Setki skrajnie samookreślonych naukowców ujawnionych w nowej bazie

najczęściej cytowani naukowcy na świecie, według nowo opublikowanych danych, to ciekawie eklektyczna gromadka. Laureaci Nagrody Nobla i wybitni polimaci ocierają się o mniej znane nazwiska, takie jak Sundarapandian Vaidyanathan z Ćennaju w Indiach. Co wyskakuje o Vaidyanathan i setki innych badaczy jest to, że wiele cytatów do ich pracy pochodzą z ich własnych dokumentów, lub z tych ich współautorów.,

Vaidyanathan, informatyk w Vel Tech r&D Institute of Technology, prywatny Instytut, jest skrajnym przykładem: otrzymał 94% swoich cytatów od siebie lub swoich współautorów do 2017 r., zgodnie z badaniem Biologii PLoS w tym miesiącu1. Nie jest sam. Zbiór danych, który wymienia około 100 000 naukowców, pokazuje, że co najmniej 250 naukowców zgromadziło ponad 50% cytowań od siebie lub ich współautorów, podczas gdy mediana samooceny wynosi 12,7%.,

„Myślę, że farmy samooceny są o wiele bardziej powszechne, niż nam się wydaje”, mówi John Ioannidis, lekarz na Uniwersytecie Stanforda w Kalifornii, który specjalizuje się w meta-nauce-badaniu tego, jak nauka jest wykonywana — i który prowadził prace. „Osoby o ponad 25% samookreśleniu niekoniecznie angażują się w nieetyczne zachowania, ale potrzebna może być dokładniejsza analiza” – mówi.,

dane są zdecydowanie największym zbiorem metryk cytowania, jakie kiedykolwiek opublikowano. I docierają do czasu, gdy agencje finansujące, czasopisma i inne skupiają się bardziej na potencjalnych problemach spowodowanych nadmiernym cytowaniem. W lipcu Committee on Publication Ethics (COPE), organ doradczy wydawców w Londynie, zwrócił uwagę na skrajne samo-cytowanie jako jedną z głównych form manipulacji cytowaniem. Kwestia ta wpisuje się w szersze obawy dotyczące nadmiernego polegania na metrykach cytowań przy podejmowaniu decyzji o zatrudnieniu, awansach i finansowaniu badań.,

„kiedy łączymy awans zawodowy i zwracamy zbyt dużą uwagę na metryki oparte na cytatach, zachęcamy do cytowania siebie”, mówi psycholog Sanjay Srivastava z University of Oregon w Eugene.

chociaż wielu naukowców zgadza się, że nadmierne cytowanie jest problemem, nie ma konsensusu co do tego, ile to za dużo lub co zrobić w tej sprawie. Po części dzieje się tak dlatego, że naukowcy mają wiele uzasadnionych powodów, aby przytoczyć własną pracę lub kolegów., Ioannidis ostrzega, że jego badania nie powinny prowadzić do szkalowania poszczególnych naukowców za ich samoocenę, zwłaszcza dlatego, że mogą się one różnić w zależności od dyscyplin i etapów kariery. „Oferuje tylko kompletne, przejrzyste informacje. Nie powinno być stosowane do wyroków, takich jak stwierdzenie, że zbyt wysoka samoocena równa się złemu naukowcowi” – mówi.

dysk danych

Ioannidis i jego współautorzy nie opublikowali swoich danych, aby skupić się na cytowaniu., To tylko jedna część ich badań, która obejmuje szereg znormalizowanych wskaźników opartych na cytowaniach dla najczęściej cytowanych naukowców 100,000 w ciągu ostatnich 2 dekad w 176 dziedzinach naukowych. Zebrał te dane wspólnie z Richardem Klavansem i Kevinem Boyackiem w firmie analitycznej SciTech Strategies w Albuquerque w Nowym Meksyku oraz Jeroenem Baasem, dyrektorem ds. analityki w amsterdamskim wydawnictwie Elsevier; wszystkie dane pochodzą z zastrzeżonej bazy danych Scopus firmy Elsevier. Zespół ma nadzieję, że jego praca pozwoli zidentyfikować czynniki, które mogą napędzać cytowania.,

ale najbardziej przyciągającą uwagę częścią zbioru danych są metryki samooceny. Już teraz Można sprawdzić, ile razy autor cytował swoją pracę, przeglądając swój rekord cytowania w bazach subskrypcyjnych, takich jak Scopus i Web of Science. Ale bez spojrzenia na dziedziny badawcze i etapy kariery, trudno jest umieścić te dane w kontekście i porównać jednego badacza do drugiego.

Płyta Vaidyanathan wyróżnia się jako jedna z najbardziej ekstremalnych — i przyniosła pewne nagrody., W zeszłym roku indyjski polityk Prakash Javadekar, który jest obecnie ministrem środowiska w kraju, ale w tym czasie był odpowiedzialny za szkolnictwo wyższe, przedstawił Vaidyanathan z 20,000 rupii (us$280) nagroda za bycie wśród najlepszych naukowców w kraju przez miary wydajności i metryki cytowania. Vaidyanathan nie odpowiedział na prośbę Natury o komentarz, ale wcześniej bronił swojego rekordu cytowania w odpowiedzi na pytania dotyczące Vel Tech opublikowane na Quora, Online question-and-answer platform., W 2017 roku napisał, że ponieważ badania są ciągłym procesem, „następna praca nie może być kontynuowana bez odniesienia do poprzedniej pracy”, a samo cytowanie nie miało na celu wprowadzenia w błąd innych.,

dwaj inni badacze, którzy zyskali uznanie i cytują się mocno, to Theodore Simos, matematyk, którego strona internetowa wymienia afiliacje na Uniwersytecie Króla Sauda w Rijadzie, Uniwersytecie Federalnym Uralu w Jekaterynburgu w Rosji i Uniwersytecie demokratycznym w Tracji w Komotini w Grecji; i Claudiu Supuran, chemik medyczny na Uniwersytecie we Florencji, który również wymienia afiliację na Uniwersytecie Króla Sauda., Zarówno Simos, który zgromadził około 76% swoich cytatów od siebie lub swoich współautorów, jak i Supuran (62%) zostali w zeszłym roku wymienieni na liście 6000 „światowej klasy naukowców wybranych ze względu na ich wyjątkowe wyniki badań” opracowanej przez Clarivate Analytics, firmę świadczącą usługi informacyjne w Filadelfii w Pensylwanii, która jest właścicielem Web of Science. Ani Simos, ani Supuran nie odpowiedzieli na prośby Nature o komentarz; Clarivate powiedział, że jest świadomy kwestii nietypowych wzorców samocytacji i że metodologia zastosowana do obliczenia jej listy może ulec zmianie.

co zrobić z autocyt?,

w ciągu ostatnich kilku lat naukowcy zwracali większą uwagę na autocyt. Na przykład preprint z 2016 r. sugerował, że mężczyźni akademiccy cytują swoje prace średnio o 56% więcej niż kobiety akademickie2, chociaż analiza replikacji z zeszłego roku sugerowała, że może to być efekt większej samooceny wśród produktywnych autorów dowolnej płci, którzy mają więcej pracy do cytowania3., W 2017 r. badanie wykazało, że naukowcy we Włoszech zaczęli się bardziej cytować po wprowadzeniu kontrowersyjnej Polityki z 2010 r., która wymagała, aby naukowcy osiągnęli progi produktywności, aby kwalifikować się do promocji. 4 A w zeszłym roku, Indonezyjskie Ministerstwo badań, które wykorzystuje formułę opartą na cytatach, aby przeznaczyć fundusze na badania i stypendia, powiedział, że niektórzy badacze gamed ich wyniki za pomocą nieetycznych praktyk, w tym nadmierne cytowania siebie i grup naukowców cytujących się nawzajem., Ministerstwo poinformowało, że wstrzymało finansowanie 15 naukowców i planowało wykluczenie autocyt z jego formuły, chociaż naukowcy mówią naturze, że do tego jeszcze nie doszło.

ale pomysł publicznego notowania wskaźników samooceny osób lub ich oceny na podstawie wskaźników korygowanych do samooceny jest wysoce kontrowersyjny. Na przykład w dokumencie dyskusyjnym wydanym w zeszły miesiąc5 COPE argumentował przeciwko wykluczeniu cytowania samego siebie z metryk, ponieważ powiedział, że „nie pozwala to na dogłębne zrozumienie, kiedy samo cytowanie ma sens naukowy”.,

w 2017 r.Justin Flatt, biolog pracujący wówczas na Uniwersytecie w Zurychu w Szwajcarii, wezwał do większej jasności w odniesieniu do zapisów dotyczących samooceny naukowców6. Flatt, który obecnie pracuje na Uniwersytecie Helsińskim, zasugerował opublikowanie indeksu samooceny, lub s-index, zgodnie ze wskaźnikiem produktywności h-index stosowanym przez wielu badaczy. Wskaźnik h wynoszący 20 wskazuje, że badacz opublikował 20 prac z co najmniej 20 cytowaniami; podobnie, wskaźnik s wynoszący 10 oznaczałby, że badacz opublikował 10 prac, z których każdy otrzymał co najmniej 10 cytowań.,

Flatt, który otrzymał grant na zestawianie danych dla indeksu s, zgadza się z Ioannidisem, że celem tego rodzaju pracy nie powinno być ustalenie progów dla akceptowalnych wyników, czy nazywanie i zawstydzanie wysokich samocytów. „Nigdy nie chodziło o kryminalizację samookreśleń” -mówi. Ale dopóki naukowcy nadal promują się za pomocą indeksu h, jest szansa na włączenie indeksu s do kontekstu, twierdzi.,

Context matters

niezwykłą cechą badań Ioannidisa jest jego szeroka definicja cytowania, która obejmuje cytowanie przez współautorów. Ma to na celu wyłapanie możliwych przypadków uprawy cytatów, ale nie zawyża wyników samookreślenia, mówi Marco Seeber, socjolog z Uniwersytetu w Gandawie w Belgii. Fizyka cząstek elementarnych i astronomia, na przykład, często mają prace z setkami lub nawet tysiącami współautorów, a to podnosi średnią samooceny w całej dziedzinie.,

Ioannidis mówi, że możliwe jest uwzględnienie pewnych różnic systematycznych poprzez porównanie naukowców do średniej dla ich kraju, etapu kariery i dyscypliny. Ale ogólniej, jak mówi, lista zwraca uwagę na przypadki, które zasługują na bliższe przyjrzenie się. Jest też inny sposób na dostrzeżenie problemów, badając stosunek otrzymanych cytatów do liczby artykułów, w których cytaty te się pojawiają. Na przykład, Simos otrzymał 10 458 cytowań z zaledwie 1029 artykułów — co oznacza, że średnio dostaje więcej niż 10 cytowań w każdym artykule, w którym wspomina swoją pracę., Ioannidis mówi, że ta metryka, w połączeniu z metryką cytowania, jest dobrą flagą dla potencjalnie nadmiernej autopromocji.

w pracy niepublikowanej Baas Elsevier twierdzi, że zastosował on podobną analizę do znacznie większego zbioru danych obejmującego 7 milionów naukowców: czyli wszystkich autorów wymienionych w Scopus, którzy opublikowali ponad 5 prac. W tym zestawie danych, Baas mówi, mediana samokontroli wynosi 15.,5%, ale aż 7% autorów ma wskaźnik samooceny powyżej 40%. Odsetek ten jest znacznie wyższy niż wśród najlepiej cytowanych naukowców, ponieważ wielu z 7 milionów naukowców ma tylko kilka cytowań ogółem lub jest na początku kariery. Wczesni naukowcy mają tendencję do wyższych wskaźników samooceny, ponieważ ich prace nie miały czasu na zebranie wielu cytatów od innych (patrz „efekt młodości”).

według danych Baas, Rosja i Ukraina wyróżniają się wysokim średnim wskaźnikiem samooceny (zob. „kraj według kraju”). Jego analiza pokazuje również, że niektóre dziedziny, takie jak fizyka jądrowa i cząsteczkowa oraz Astronomia i Astrofizyka, wyróżniają się ze względu na liczne prace, których autorem jest wielu autorów (patrz ” physics envy?’). Baas twierdzi, że nie zamierza jednak publikować swoich danych.

Nie dobre dla nauki?

chociaż badanie Biologii PLoS identyfikuje pewne skrajne autocytery i sugeruje sposoby poszukiwania innych, niektórzy badacze twierdzą, że nie są przekonani, że zestaw danych samocytacji będzie pomocny, po części dlatego, że ta metryka różni się tak bardzo w zależności od dyscypliny badawczej i etapu kariery. „Samookreślenie jest o wiele bardziej złożone, niż się wydaje”, mówi Vincent Larivière, informatyk z Uniwersytetu w Montrealu w Kanadzie.,

Srivastava dodaje, że najlepszym sposobem radzenia sobie z nadmiernym cytowaniem-i innymi grami wskaźników opartych na cytowaniu-niekoniecznie jest publikowanie coraz bardziej szczegółowych standardowych tabel i złożonych metryk w celu porównania naukowców ze sobą. Jego zdaniem mogą one mieć swoje wady, a takie podejście może jeszcze bardziej wciągnąć naukowców w świat oceny za pomocą wskaźników na poziomie indywidualnym, co jest przede wszystkim problemem, który motywuje do grania.

„powinniśmy poprosić redaktorów i recenzentów o zwrócenie uwagi na nieuzasadnione cytowanie siebie”-mówi Srivastava., „I być może niektóre z tych szorstkich wskaźników mają użyteczność jako flaga, gdzie przyjrzeć się bliżej. Ale ostatecznie rozwiązaniem musi być dostosowanie profesjonalnej oceny z ekspercką oceną wzajemną, a nie podwajanie wskaźników.”Cassidy Sugimoto, informatyk z Indiana University Bloomington, zgadza się, że więcej metryk może nie być odpowiedzią:” Ranking naukowców nie jest dobry dla nauki.”

Ioannidis twierdzi jednak, że jego praca jest potrzebna. „Ludzie i tak w dużym stopniu polegają na metrykach na poziomie indywidualnym., Pytanie brzmi, jak upewnić się, że informacje są tak dokładne i jak starannie, systematycznie zbierane, jak to możliwe” – mówi. „Wskaźniki cytowania nie mogą i nie powinny znikać. Powinniśmy z nich jak najlepiej korzystać, w pełni uznając ich liczne ograniczenia.”