[撥開引文分析迷霧,破解科研評價(jià)困惑] 撥開層層的迷霧
發(fā)布時(shí)間:2020-03-10 來源: 人生感悟 點(diǎn)擊:
[摘要]簡要介紹荷蘭著名科學(xué)計(jì)量學(xué)家亨克?莫德的專著《科研評價(jià)中的引文分析》。該書主要分為8個(gè)主要單元,探討基礎(chǔ)科學(xué)研究部門和科技期刊評價(jià),ISI引文索引,社會科學(xué)與人文科學(xué)評價(jià),準(zhǔn)確性,引文分析與同行評議等問題。書中的結(jié)論為我們有效利用引文分析方法提供理論指導(dǎo)和實(shí)踐借鑒。
[關(guān)鍵詞]書評 引文分析 科研評價(jià) 亨克?莫德
[分類號]G31
科研評價(jià)是科學(xué)技術(shù)活動的重要環(huán)節(jié)之一,也是推進(jìn)科學(xué)技術(shù)事業(yè)發(fā)展的必要保證。如何科學(xué)、合理、公正地對不同類型的評價(jià)對象實(shí)施鑒別、判斷、排序,是一個(gè)長期困擾科學(xué)學(xué)理論與科技管理實(shí)踐的難題。引文分析作為近年來蓬勃發(fā)展的科學(xué)計(jì)量學(xué)方法之一,逐漸進(jìn)入到科研評價(jià)的視閾中。SCI、引文量、期刊影響因子等術(shù)語成為學(xué)術(shù)界耳熟能詳?shù)摹坝餐ㄘ洝。但由此衍生的困惑乃至置疑之聲也越發(fā)使引文分析方法處于風(fēng)口浪尖之中。著名科學(xué)計(jì)量學(xué)家,1999年度科學(xué)計(jì)量學(xué)最高獎――普賴斯獎獲得者,原荷蘭萊頓大學(xué)EWTS教授,現(xiàn)受聘于愛思唯爾(Elsevier)出版集團(tuán)高級學(xué)術(shù)顧問的亨克?莫德(Henk F.Moed)撰寫的Citation Analysis in Research Evaluation《科研評價(jià)中的引文分析》一書,2005年由出版界巨頭施普林格(springer)公司出版,2010年由中國科學(xué)技術(shù)信息研究所引入版權(quán),并由科學(xué)技術(shù)文獻(xiàn)出版社翻譯出版。該書對于國內(nèi)學(xué)術(shù)界全面了解引文分析的本質(zhì)、引文指標(biāo)的構(gòu)建,以及引文分析在科研評價(jià)中的優(yōu)缺點(diǎn)展開了系統(tǒng)深入的闡述,對于厘清當(dāng)前我國學(xué)術(shù)界和科技管理實(shí)踐中的某些誤區(qū),指導(dǎo)科學(xué)理性使用引文分析方法,具有重要的參考價(jià)值。
全書共分2大部分27章。第一部分介紹了全書的基本觀點(diǎn)和一般結(jié)論,第二部分是關(guān)于引文分析的基本觀點(diǎn)和結(jié)論的一些理論分析、案例舉要和實(shí)證研究。全書的研究對象具有覆蓋面廣的特點(diǎn),既關(guān)注自然科學(xué)領(lǐng)域的評價(jià)問題,還討論人文科學(xué)和社會科學(xué)的引文特征;既涉及了單篇論文、期刊的評價(jià),又探索了學(xué)科、團(tuán)隊(duì)等中觀評價(jià),還剖析了國家層面的科研產(chǎn)出及其科研合作等宏觀問題。此外,秉持確定性和商討性的態(tài)度也是本書作者的主要研究和寫作風(fēng)格。
作者指出,引文應(yīng)用于科研評價(jià)的前提是,必須做到正式、公開、學(xué)術(shù)性。正式就是在進(jìn)行引文分析之前,使被評價(jià)者和決策者明確引文分析所運(yùn)用的各種指標(biāo)的內(nèi)涵;公開是指評價(jià)者使用的各類數(shù)據(jù)務(wù)必準(zhǔn)確,并接收被評價(jià)者的核檢;學(xué)術(shù)性是指任何評價(jià)必須要有明確的理論假設(shè)、研究路線以及對結(jié)果意義和局限性的討論。學(xué)術(shù)質(zhì)量是科研評價(jià)的中心話題之一。作者認(rèn)為,“引文主義”所確立的研究質(zhì)量和同行專家們所認(rèn)定的學(xué)術(shù)質(zhì)量都具有片面性。在引文分析與科技政策領(lǐng)域的關(guān)系上,引文分析畢竟屬于純學(xué)術(shù)領(lǐng)域,需要在理論框架下尋求適合的研究方法,而政策領(lǐng)域更關(guān)注的是可行性和政策相關(guān)性。作者認(rèn)為,評價(jià)性的引文分析利用方式最好排除在政策領(lǐng)域之外。因?yàn)閿?shù)據(jù)采集過程很容易出現(xiàn)錯(cuò)誤,簡單的統(tǒng)計(jì)指標(biāo)容易受到較強(qiáng)偏態(tài)分布數(shù)據(jù)的影響。對于廣為使用的期刊影響因子,作者認(rèn)為,不存在一個(gè)衡量期刊績效的完美的單一指標(biāo)。某個(gè)特殊指標(biāo)的有效性隨使用的場合不同而變化。學(xué)科差異、引用時(shí)間窗口、期刊類型、標(biāo)準(zhǔn)化處理等都是利用影響因子必須考慮的因素。他強(qiáng)調(diào),盡管影響因子存在某些局限性,但仍不失為一個(gè)較為可靠的指標(biāo)。ISI收錄文獻(xiàn)的充分性越來越引起人們的關(guān)注。對來源期刊的統(tǒng)計(jì)發(fā)現(xiàn),分子生物學(xué)、與人類相關(guān)的生物科學(xué)、化學(xué)等學(xué)科收錄的期刊十分全面,數(shù)學(xué)、地球科學(xué)、工程學(xué)等相對全面,而人文與藝術(shù)、社會科學(xué)的期刊覆蓋面較欠缺。對于前者,使用引文分析方法通常是恰當(dāng)?shù),對于次者,作者建議應(yīng)將非ISI來源期刊的引文補(bǔ)充進(jìn)來,對于后者,應(yīng)擴(kuò)展引用文獻(xiàn)范圍,增加書籍和國際會議論文集的引文。尤其對于被分割為不同學(xué)派思想的學(xué)科領(lǐng)域,或者受民族和語言所阻礙的領(lǐng)域,不以引文分析數(shù)據(jù)為分析和評價(jià)依據(jù)可能效果更好。因此,在人文社會科學(xué)領(lǐng)域的績效評價(jià)中,尤其是在定性研究主導(dǎo)的子學(xué)科中,尤其應(yīng)慎用ISI引文索引。關(guān)于引文數(shù)據(jù)的準(zhǔn)確性問題,如作者姓名、機(jī)構(gòu)名稱和子領(lǐng)域劃分的模糊性,都會影響到結(jié)論的可靠性,作者認(rèn)為,有必要運(yùn)用更高級的引文數(shù)據(jù)處理。
以往在科研評價(jià)中我們有一個(gè)預(yù)設(shè),即引文數(shù)量等同于質(zhì)量。但果真如此嗎?莫德大膽提出了這樣一個(gè)問題:引文數(shù)量究竟測度了什么?這是一個(gè)與“科研績效”、“學(xué)術(shù)質(zhì)量”、“影響力”相關(guān)聯(lián)的重要理論問題。作者在全面梳理了加菲爾德(Garfield)、斯莫爾(small)、朱克曼(Zuckerman)等人的觀點(diǎn)基礎(chǔ)上,認(rèn)為盡管對引文的測度功能有不同的理解,但并不等于說引文分析就是缺乏理論基礎(chǔ)的。當(dāng)然,“引文主義者”的觀點(diǎn)對探尋引文分析的學(xué)術(shù)理論基礎(chǔ)將產(chǎn)生負(fù)面影響,這一點(diǎn)是毫無疑問的。在科研評價(jià)中運(yùn)用引文分析,其目的不是要捕捉個(gè)人動機(jī),而是要研究個(gè)體引用者共同表達(dá)其對學(xué)術(shù)活動結(jié)構(gòu)和績效的社會觀點(diǎn)。當(dāng)引文分析用于微觀和中觀層面評價(jià)時(shí),可能會歪曲真實(shí)結(jié)果。即使擴(kuò)大樣本也不一定排除所有偏差。原則上,用學(xué)術(shù)影響來解釋引用情況是行得通的,但是引用影響和學(xué)術(shù)影響的概念有時(shí)并不一致。筆者同意作者的謹(jǐn)慎態(tài)度,認(rèn)為科研績效是與投入產(chǎn)出密切相關(guān)的概念,學(xué)術(shù)質(zhì)量反映學(xué)術(shù)研究成果內(nèi)在的創(chuàng)新性,而影響力則反應(yīng)了學(xué)術(shù)成果的傳播和使用程度。引文數(shù)量對上述三個(gè)概念均有一定的測度功能,但更傾向于影響力測度。
盡管同行評議作為傳統(tǒng)的被認(rèn)為是有效的一種評價(jià)方法而廣為使用,但是仍然受到學(xué)術(shù)權(quán)威、政治壓力、思維模式的影響,使同行間達(dá)成一致意見的程度偏低。作者通過大量案例研究指出,文獻(xiàn)計(jì)量指標(biāo)應(yīng)該被用作監(jiān)測和研究同行評議過程的工具,并且在大多場合,同行評議和引文分析結(jié)果具有較強(qiáng)的統(tǒng)計(jì)相關(guān)性。筆者認(rèn)為,在同行專家道德水準(zhǔn)值得信賴的前提下,發(fā)揮專家主導(dǎo)作用并將引文分析作為輔助工具是值得嘗試的。而在學(xué)術(shù)規(guī)范尚未成熟之前,將文獻(xiàn)計(jì)量指標(biāo)引入評價(jià)過程,發(fā)揮“鏡子”的映射職能非常必要。
此外,在引文分析的宏觀研究方面,作者也得出了一些相當(dāng)有趣的結(jié)論。自20世紀(jì)八、九十年代以來,全球科技論文數(shù)量由于科學(xué)合作(共同署名)逐漸上升。這可能是受到科研評價(jià)中的“毛”論文發(fā)表數(shù)指標(biāo)激勵使然,當(dāng)然在醫(yī)學(xué)和生物學(xué)領(lǐng)域也可能由于受到強(qiáng)調(diào)在高影響因子頂級期刊發(fā)文導(dǎo)向發(fā)文數(shù)有所下降。通過國際科學(xué)合作,使得合作國都提高了本國的引用影響。但在雙邊國際合作中,強(qiáng)國與弱國合作從短期看可能會削弱強(qiáng)國的被引率。關(guān)于國家自引,作者研究發(fā)現(xiàn),幾乎所有國家都過度引用本國論文,因此,所謂美國學(xué)者更傾向于引用本國論文的結(jié)論缺乏實(shí)證依據(jù)。至于其他國家更多引用美國論文,可能是一種引用偏見的影響,但不必強(qiáng)制取締。筆者認(rèn)為,在 我國,通過與強(qiáng)國科研合作,可以提升我國的科研國際影響力,亦可以形成創(chuàng)新力強(qiáng)的科研團(tuán)隊(duì)。但是在科研評價(jià)的成果數(shù)量導(dǎo)向下,可能會催生大量“偽合作”,這必然會曲解科研合作的初衷。
再者,作者對發(fā)展新的引文指標(biāo)提出一些設(shè)想。如探索處理合作問題、測度知識庫的廣度、一致性及深度指標(biāo),有意與新生科學(xué)家鍛煉成長的指標(biāo),“定性的”引文分析指標(biāo)等。此外,新的電子出版形式、數(shù)據(jù)庫和搜索引擎,在引文分析中作為來源文獻(xiàn)的作用將越來越重要。盡管如此,仍應(yīng)注意,來源文獻(xiàn)的多樣化并不支持學(xué)者對知識進(jìn)步所做的貢獻(xiàn)越大這一結(jié)論。
最后,本書再次強(qiáng)調(diào),政策制定者和公眾對學(xué)術(shù)質(zhì)量信息的需求是合理的,但敘述學(xué)術(shù)質(zhì)量不像其他社會領(lǐng)域的績效那樣可以直接測度,單靠文獻(xiàn)和引文排名,并不足以反映各評價(jià)對象間的關(guān)系,以及這些關(guān)系是如何影響個(gè)體對象的績效。
總結(jié)本書得出的基本觀點(diǎn)主要有:學(xué)術(shù)研究質(zhì)量有一定的客觀性,但是引文測度的并不完全是實(shí)際的質(zhì)量;引文評價(jià)和科技政策的價(jià)值取向不同;引文分析應(yīng)用于科研評價(jià)時(shí),數(shù)據(jù)的透明性和文獻(xiàn)計(jì)量學(xué)者的中立性是必要的;引文分析方法更適合宏觀層次評價(jià),與同行評議方法各有利弊。
總之,這部著作為我們提供了使用引文分析方法應(yīng)用于科研評價(jià)的富有啟發(fā)性的思路。對于解決我國科研評價(jià)中引文分析方法使用的越位和缺位問題,將給予極為有益的指導(dǎo)。
通過本書對引文分析與科研評價(jià)諸多復(fù)雜關(guān)系的系統(tǒng)闡述,筆者認(rèn)為,引文分析在科研評價(jià)理論研究與實(shí)踐應(yīng)用巾的作用是毋庸置疑的。盡管已有的引文分析手段仍存在某些缺陷,但是它畢竟拓展了科研評價(jià)的視野,一定程度上克服了同行評議方法固有的封閉性和主觀性帶來的評價(jià)偏差,使科研評價(jià)建立在客觀、公開、定量、可操作的基礎(chǔ)上。任何一個(gè)沒有偏見的學(xué)者必須承認(rèn),SCI對我國科技創(chuàng)新和科技事業(yè)發(fā)展的巨大推動作用。SCI本身沒有錯(cuò),關(guān)鍵是如何理解SCI及其引文分析的內(nèi)涵和功能,并智慧地而不是絕對使用這些工具和方法。尤其在我國人文社會科學(xué)評價(jià)領(lǐng)域,反對SSCI、A&HCl的不在少數(shù)。與中國經(jīng)濟(jì)社會快速發(fā)展相適應(yīng),中國人文社會科學(xué)學(xué)者理應(yīng)承載向國際學(xué)術(shù)界展示我國經(jīng)濟(jì)、社會、歷史文化成果和爭取對國際問題研究的話語權(quán)的責(zé)任和使命。在特定階段,從科研管理角度適當(dāng)給予激勵,至少是不壞的選擇。
引文分析仍有大量的理論和實(shí)證問題需要探索。從國際科學(xué)計(jì)量學(xué)界近年的研究現(xiàn)狀以及本書觀點(diǎn)看,引文分析要想在科研評價(jià)中有更大的作為,未來的工作主要體現(xiàn)在如下幾方面:第一,進(jìn)一步拓展引文數(shù)據(jù)庫源,如Google scholar、Scopus、ScienceDirect、開放獲(存)取等數(shù)據(jù)庫,并檢驗(yàn)同一指標(biāo)在不同引文庫的表現(xiàn)。對中文人文社會科學(xué)文獻(xiàn),建議盡快建立中國學(xué)術(shù)著作數(shù)據(jù)庫。畢竟書籍是人文社會科學(xué)成果的重要載體之一,目前書籍中的引文數(shù)據(jù)尚不能準(zhǔn)確獲得。這對于全面反映評價(jià)對象科研績效是個(gè)缺憾。第二,進(jìn)一步開發(fā)和設(shè)計(jì)新的評價(jià)指標(biāo),如類H指數(shù)、特征影響因子等,并檢驗(yàn)新指標(biāo)與經(jīng)典引文指標(biāo)的一致性和差異性。第三,進(jìn)一步探討引文分析等科學(xué)計(jì)量方法與同行評議在科研評價(jià)中結(jié)合的機(jī)理,并提供可操作性的現(xiàn)實(shí)路徑。第四,科學(xué)計(jì)量學(xué)者有必要向政策制定者、科研管理者、學(xué)科研究者乃至公眾普及基本的引文分析理論和方法。當(dāng)前實(shí)踐中出現(xiàn)的評價(jià)爭議和評價(jià)失誤與使用引文數(shù)據(jù)的簡單化、絕對化、過度化無不關(guān)系。歐洲科學(xué)計(jì)量學(xué)夏季學(xué)院即是一個(gè)很好的范例。
參考文獻(xiàn):
[1]莫德.科研評價(jià)中的引文分析.賀佟豐,等譯.北京:科學(xué)技術(shù)文 獻(xiàn)出版社,2010
相關(guān)熱詞搜索:引文 撥開 迷霧 撥開引文分析迷霧 破解科研評價(jià)困惑 撥開引文分析迷霧 撥開煙霧病的迷霧
熱點(diǎn)文章閱讀