文/楊正瓴(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院)

　　同行評(píng)議，是指在論文發(fā)表、基金資助等學(xué)術(shù)活動(dòng)中，由一個(gè)或更多相關(guān)領(lǐng)域的專家進(jìn)行評(píng)價(jià)，來決定論文發(fā)表、基金資助等結(jié)果的活動(dòng)。

　　當(dāng)前，同行評(píng)議在維持和提高科技工作的質(zhì)量和進(jìn)步方面，起到了重要的程序保證作用。同行評(píng)議，在很大程度上保證了對(duì)科技勞動(dòng)結(jié)果的價(jià)值確認(rèn)、分配稀缺資源等方面的相對(duì)公正性和客觀性。

　　1665年倫敦出版的《Philosophical Transactions》最先使用同行評(píng)議。二戰(zhàn)之后，特別是1970年代之后，同行評(píng)議才步入制度化、社會(huì)化的階段。同行評(píng)議的歷史，大體歸納在2016年《Nature》的“Peer review: Troubled from the start(同行評(píng)審：從一開始就遇到麻煩)”一文中。

　　與同行評(píng)議相關(guān)的另一個(gè)活動(dòng)是歷史檢驗(yàn)。二者都是對(duì)科技成果價(jià)值的評(píng)價(jià)。差別在于：同行評(píng)議一般是少數(shù)人主觀的、短時(shí)的評(píng)價(jià)，其時(shí)間范圍常在天、月的尺度。歷史檢驗(yàn)通常是人類的客觀實(shí)踐，其時(shí)間范圍常在月、年、十年、百年或更長(zhǎng)的尺度。顯然，只有經(jīng)過歷史檢驗(yàn)才能逐步確定科技成果或勞動(dòng)的真實(shí)價(jià)值。

　　事物都是一分為二的。同行評(píng)議的局限性，也是需要我們認(rèn)真對(duì)待的問題。

　　1962年1月毛澤東同志明確指出：“歷史上常常有這樣的事實(shí)，起初，真理不是在多數(shù)人手里，而是在少數(shù)人手里。馬克思、恩格斯手里有真理，可是他們?cè)陂_始的時(shí)候是少數(shù)。列寧在很長(zhǎng)一個(gè)時(shí)期內(nèi)也是少數(shù)?！薄皻v史上的自然科學(xué)家，例如哥白尼、伽利略、達(dá)爾文，他們的學(xué)說曾經(jīng)在一個(gè)長(zhǎng)時(shí)間內(nèi)不被多數(shù)人承認(rèn)，反而被看作錯(cuò)誤的東西，當(dāng)時(shí)他們是少數(shù)?！?

　　1978年華羅庚提出“早發(fā)表，晚評(píng)價(jià)?！薄芭υ谖?，評(píng)價(jià)在人?！睆?qiáng)調(diào)科學(xué)工作要經(jīng)過歷史檢驗(yàn)才能逐步確定其真實(shí)價(jià)值。

　　2014年丁肇中說，科學(xué)是多數(shù)服從少數(shù)，只有少數(shù)人把多數(shù)人的觀念推翻以后，科學(xué)才能向前發(fā)展。因此，專家評(píng)審并不是絕對(duì)有用的。因?yàn)閷＜以u(píng)審依靠現(xiàn)有的知識(shí)，而科學(xué)的進(jìn)展是推翻現(xiàn)有的知識(shí)。

　　在更早些的1948年，著名物理學(xué)界普朗克(Max Karl Ernst Ludwig Planck，1858—1947)死后留下定理：“一個(gè)新的科學(xué)真理的勝利，不是通過說服其反對(duì)者讓他們明白過來而實(shí)現(xiàn)的，而是由于其反對(duì)者最終死去，與此同時(shí)熟悉這個(gè)真理的新一代成長(zhǎng)起來了?！?

　　簡(jiǎn)單地說：同行評(píng)議是依靠舊知識(shí)來評(píng)價(jià)新知識(shí)，本身就具有誤判的可能性。當(dāng)代科技分工越來越細(xì)，還造成專家知識(shí)的主觀性和有限性，進(jìn)一步造成了同行評(píng)議局限性。

　　近年來國(guó)外一些基于大數(shù)據(jù)的實(shí)證定量研究，大體上證實(shí)了上面的看法。一些代表性的研究結(jié)果有：

　　(1)2012年《Nature》的“Conform and be funded”。該文對(duì)本世紀(jì)美國(guó)國(guó)立衛(wèi)生研究院(US National Institutes of Health，NIH)資助的項(xiàng)目研究表明，大多數(shù)NIH的項(xiàng)目評(píng)審人得到了NIH資助，卻沒有發(fā)表高引用論文。反之，大部分高引用論文并沒有得到NIH資助。

　　(2)2015年《PNAS》的“Measuring the effectiveness of scientific gatekeeping”。該文對(duì)1,008份頂級(jí)期刊的稿件評(píng)審意見分析后發(fā)現(xiàn)，同行評(píng)審能夠識(shí)別出良好的研究論文，但一般不能識(shí)別出高創(chuàng)新性的稿件。高創(chuàng)新性稿件，往往被高影響因子期刊拒絕，之后發(fā)表在低影響因子期刊上。

　　(3)2016年《Management Science》的“Looking across and looking beyond the knowledge frontier: intellectual distance, novelty, and resource allocation in science”。該文用“知識(shí)距離(intellectual distance)”作為評(píng)審人和申請(qǐng)書之間的“同行”量化指標(biāo)，對(duì)隨機(jī)挑出的2,130對(duì)“評(píng)審人—申請(qǐng)書”(evaluator–proposal pairs)分析的結(jié)果表明：知識(shí)距離越近，評(píng)審人給申請(qǐng)書的評(píng)分越差;新穎性中等的申請(qǐng)書得分最高，高新穎性申請(qǐng)書的得分遠(yuǎn)低于沒有新穎性的申請(qǐng)書得分。

　　(4)2016年《PNAS》的“Peer review and competition in the Art Exhibition Game”。該文構(gòu)造了一個(gè)由23,627評(píng)審者參加的the Art Exhibition Game試驗(yàn)。結(jié)果表明：同行之間的競(jìng)爭(zhēng)，使得更多高質(zhì)量的作品被故意拒絕。這個(gè)結(jié)果，有可能解釋眾多的突破性的科技成果只能在低影響力期刊發(fā)表。

　　(5)2016年《Nature》的“Interdisciplinary research has consistently lower funding success”。該文以澳大利亞研究理事會(huì)(Australian Research Council Discovery Programme)2010—2014年間受理的18,476申請(qǐng)書為例，采用跨學(xué)科距離(interdisciplinary distance，IDD)作為“創(chuàng)新性”的量化指標(biāo)，發(fā)現(xiàn)創(chuàng)新性越高，獲得資助的概率越低。

　　(6)2017年《Nature》的“Blinkered by bibliometrics”。該文認(rèn)為，大家嘴上都鼓勵(lì)高創(chuàng)新的研究，而評(píng)審過程卻是鼓勵(lì)保守的、安全的研究。高創(chuàng)新性論文也傾向于發(fā)表在影響因子較低的期刊上。

　　(7)2017年《Research Policy》的“Bias against novelty in science: A cautionary tale for users of bibliometric indicators”。該文以2001年Web of Science收錄的百萬篇論文為例，以“組合新穎性”作為創(chuàng)新性的量化指標(biāo)，分析后發(fā)現(xiàn)：在論文刊出的頭三年里，高新穎性和其他論文的引用量差別不太明顯。在刊出后的第15年，高新穎性論文在學(xué)科內(nèi)和對(duì)其他學(xué)科的影響力會(huì)明顯高于其他論文。主要結(jié)論：短期評(píng)價(jià)指標(biāo)(如三年以內(nèi))阻礙了科技創(chuàng)新。

　　(8)2018年《Science》在“Science of science”一文中，確認(rèn)了上面第(3)(5)(7)項(xiàng)的發(fā)現(xiàn)。

　　(9)2019年《Nature》的“Large teams develop and small teams disrupt science and technology”。該文對(duì)1954—2014年間超過6,500萬篇論文、專利和軟件產(chǎn)品，以顛覆性指標(biāo)(Disruption)作為科技成果的創(chuàng)新性量化指標(biāo)，分析后發(fā)現(xiàn)：3人以下的小團(tuán)隊(duì)創(chuàng)新性明顯比大團(tuán)隊(duì)高，即提出新的想法、發(fā)現(xiàn)新的機(jī)會(huì);反之，大團(tuán)隊(duì)往往跟隨在小團(tuán)隊(duì)后面進(jìn)行后續(xù)的研究。進(jìn)一步對(duì)2004至2014年發(fā)表的論文分析發(fā)現(xiàn)：小團(tuán)隊(duì)得到資助后，其論文的創(chuàng)新性變得和大團(tuán)隊(duì)類似。這可能是保守的資助評(píng)審過程(conservative review process)扼殺了小團(tuán)隊(duì)的創(chuàng)新性。

　　簡(jiǎn)言之，同行評(píng)議的局限性在于：(1)是用舊知識(shí)來評(píng)價(jià)新知識(shí)，具有鼓勵(lì)保守(而不是鼓勵(lì)創(chuàng)新)的先天特性;(2)“評(píng)審—被評(píng)審”人之間潛在的利益沖突，會(huì)限制評(píng)審意見的科學(xué)性和客觀性;(3)評(píng)審的時(shí)間太短，評(píng)審專家只能依據(jù)“不全面”的信息進(jìn)行主觀的推斷或猜測(cè)。

　　回顧一下人類的科技史，不難發(fā)現(xiàn)：人類科技史上的3個(gè)“奇跡年Annus mirabilis”，作為現(xiàn)代科學(xué)誕生年的1543年(維薩里的《人體構(gòu)造》和哥白尼《天體運(yùn)行論》)、1666年(牛頓)和1905年(愛因斯坦)，科學(xué)巨人們所創(chuàng)造的科學(xué)奇跡，以及構(gòu)成現(xiàn)代科技體系的大多數(shù)重大科技成果，都不是在同行評(píng)議下完成的。

　　二戰(zhàn)之后，人類的科技增長(zhǎng)進(jìn)入相對(duì)平緩的時(shí)期，明顯表現(xiàn)出重大創(chuàng)新減少但一般性創(chuàng)新活躍的特征(Dong J、Li W、Cao Y等，2016)。能夠基本上識(shí)別出良好科技成果的同行評(píng)議，在此條件下充分發(fā)出了積極的作用。這也引出一個(gè)問題：同行評(píng)議的制度化、社會(huì)化，和此時(shí)科技增長(zhǎng)的平緩期出現(xiàn)，有沒有內(nèi)在的因果關(guān)系?換言之，同行評(píng)議是否扼殺或阻礙了重大科技成果的出現(xiàn)?

　　為保障人類科技工作的可持續(xù)發(fā)展，應(yīng)該充分利用同行評(píng)議的優(yōu)點(diǎn)，竭盡全力避免同行評(píng)議的缺點(diǎn)。

　　上述實(shí)證研究提示我們，對(duì)高原創(chuàng)、高新穎的研究工作，彌補(bǔ)同行評(píng)議“守舊、不客觀、短時(shí)”局限性的可能改進(jìn)之策有以下幾點(diǎn)。

　　(1)不使用通常的同行評(píng)議，或引入一定程度的“外行評(píng)議”。

　　將市場(chǎng)經(jīng)濟(jì)中的“反壟斷法”、司法中的“民眾陪審團(tuán)”制度進(jìn)行某種改造，都可能形成新的評(píng)審機(jī)制，以期繞過同行專家“舊知識(shí)”的局限性，從而促進(jìn)科技重大創(chuàng)新。

　　(2)采用公開性的數(shù)輪對(duì)話式評(píng)審。如各種開放同行評(píng)議機(jī)制。

　　(3)引入歷史檢驗(yàn)的某些特征來提高同行評(píng)議的性能。如2019年3月Richard N.Zare提出的“同行評(píng)議責(zé)任制 peer-informed review”(Richard N.Zare，2019)。

　　正是認(rèn)識(shí)到同行評(píng)議體系的無效和不公平，荷蘭、美國(guó)、英國(guó)近年都進(jìn)行了“經(jīng)費(fèi)平均分配”之類的新嘗試(張章，2017;李江，2017)。2011年《Nature》“Fund people not projects”一文里也建議了平均主義、隨機(jī)資助、自動(dòng)的影響指數(shù)、科學(xué)公民身份、業(yè)績(jī)?cè)u(píng)估、寬松項(xiàng)目等研究經(jīng)費(fèi)分配的可能模式。

　　不存在完美無缺的科技評(píng)價(jià)方法。正確地認(rèn)識(shí)同行評(píng)議正反兩方面的特性，更加合理地使用同行評(píng)議，是一個(gè)長(zhǎng)期的歷史任務(wù)(楊正瓴，2019)。