摘 要： [目的/意义]科学评价中应用大数据既有优势也有劣势, 既存在机遇也存在挑战。为充分利用大数据环境给科学评价带来的良好机遇, 发现大数据环境下科学评价发生的巨大变革, 强调大数据环境下科学评价需坚守的内容。[方法/过程]首先通过SWOT分析法探讨了大数据给科学评价带来的影响, 随后将大数据本身的特征与人文社科评价特征相结合, 提出了大数据时代人文社会科学评价的变革和大数据时代人文社科评价需坚守的几项内容。[结果/结论]大数据时代科学评价需要变革即由题录评价转为语义评价、由单维指标转为复杂网络、由单一独立要素转为多元要素融合、由静态转为动态;但也需坚守:量化评价的慎用、突出学术批评的重要性、重视体制建设、加强评价理论研究和继续深化同行评议等。
关键词： 科学评价; 人文社科评价; 成果评价; SWOT分析; 评价变革; 评价坚守;
Abstract： [Purpose/Significance]There are both advantages and disadvantages, both opportunities and threats in the scientific evaluation by applying big data. The article aims to find the change of scientific evaluation in the era of big data, and emphasize the contents unchanged.[Method/Process]The article first explores the impact of big data on scientific evaluation through SWOT analysis, and then puts forward the reform of the evaluation of the humanities and social sciences in the era of big data based on combining the characteristics of big data and the characteristics of the humanities and social sciences. Meanwhile, in order to avoid the negative impact of data generalization on the evaluation of the humanities and social sciences.[Result/Conclusion]The article suggest that some reform should be implemented in the era of big data, such as from extra feature evaluation to semantic evaluation, from single dimension to complex network, from single factor to multiple elements, and from static to dynamic, and several contents should be maintained in the evaluation of the humanities and social sciences in the era of big data, including the prudent use of quantitative evaluation, the importance of academic criticism, the emphasis on the construction of the system, the strengthening of the research on the theory of evaluation, and the further deepening of the peer review.
Keyword： scientific research evaluation; humanities and social sciences evaluation; research outputs evaluation; SWOT model; evaluation reform; traditional evaluation; 0
0、引言
计算机与信息技术的快速发展使人们的生活发生颠覆性的变化, 大数据时代的来临更是把数据推上了前所未有的高度, 网络与社交媒体的出现, 智能手机、可穿戴式电子设备以及传感器等智能终端的推出, 实现了数据全面、自动、实时地采集[1], 大数据因此深入到社会生活的方方面面, 各个领域都借大数据的东风带来相应的变革与发展, 科学评价自然概莫能外。就科学评价而言, 有广义与狭义之分, 笔者在这里讨论的科学评价是指以科学研究活动为对象而开展的评价[2]。科学评价就其定量方法与统计分析的本质属性来说, 无疑会深受大数据时代的波及和影响, 这个问题已经引起了国内外相关专业学者的关注和探讨, 他们或从微观角度引入Altmetrics作为应变大数据时代的计量产物[3,4];或从宏观架构上分析大数据时代对于科学评价的积极影响[5,6]。总体而言, 虽对此问题有所关注和涉略, 但都缺乏系统而深入地解决大数据环境下, 科学评价的发展和走向问题, 甚至只看到了事物发展的单一方面问题, 这显然是片面的。大数据无疑是对科学评价产生影响的, 但是这种影响有积极的一面, 也有消极的一面, 我们既要看到科学评价在大数据时代应有的变革, 也要警惕在大数据时代依然应该保有的坚守。在轰轰烈烈的大数据环境下, 科学评价是应该做个积极的吹鼓手而随波逐流, 还是要冷静地站定下来分析自己的变与不变, 也许这才是科学评价在大数据时代下应有的科学思考。
1、 基于SWOT分析的大数据环境对科学评价的影响
大数据时代, 这种以数据为基础, 以量化为手段的统计模式对于科学评价而言并不陌生, 这个时代无疑对评价是有影响的。就大数据本身的特征而言, 优缺点共有, 所以大数据时代对于科学评价的影响也是机遇与挑战并存。
1.1、 S:大数据对科学评价影响的优势分析
大数据是信息技术发展的产物, 大数据时代带来了开源数据的兴起, 这两者的交叉使得数据处理从结构化数据向非结构化数据拓展, 使人文社科评价的社会需求与价值判断不再只依赖于同行评议这种进展缓慢的主观性评判。数据之间的关系从线性关系向非线性关系转化, 使各评价要素进行复杂的关联, 评价结果趋于精准。数据分析的思维方式由相关分析对传统的因果分析加以补充, 突破传统的科学评价刻板的一锤定音的判断, 使预测评价成为可能。大数据时代处理的数据体量虽大, 但是数据粒度小, 使获取的信息更加细化和具体, 带来的分析结果也愈加精准;全数据的特征使整体的宏观把握更为全面, 对于科研评价对象可以从不同的视角进行全面考核和彼此校验, 突破了传统评价的单一维度的评价思维局限;对各种实时性数据类型的把握, 使科研评价不再局限于“点”而扩展到“链”及“面”, 针对评价对象进行动态性的学术生涯的全生命周期的判断。
1.2、 W:大数据对科学评价影响的劣势分析
大数据时代固然是种推进式的革新, 但是也易沦为“数据万能”的假象, 如何利用好“大数据”这把双刃剑, 是科学评价不得不首要思考的问题, 避免“泛大数据化”倾向。追求大而全的数据样本, 必然会以牺牲数据源的甄选作为代价, 那么随之而来的就是数据质量、信度及隐私的问题。劣质的数据、全数据的理想概念及法律边缘游走的问题会让大数据成为科研评价的鸡肋, 不处理好数据质量、全样本的相对量及安全隐患的问题, 大数据的优势即会变成弊端。大数据的扫描关联分析, 不排除会产生对既有事实及现象的推理预测分析, 造成预测已知和忽视未知的资源成本浪费。在数据基础上建立起来的大数据时代, 究其根本仍然是对数据量化的统计预测, 对于科研评价, 尤其是人文社科评价的实践作用发挥依然有其局限性。此外, 大数据的全样本量的获取、甄选、处理及分析对于现在而言仍然有着不可忽视的成本问题, 对于科研评价, 尤其是人文社科评价的多维, 多角度的时间、进程的跟踪分析同样存在人力、财力、物力及时间的成本问题, 这是追求全程、多维、精准的分析所必须付出的高昂代价, 也是大数据时代不可忽视的本质的缺陷。
1.3、 O:大数据对科学评价影响的机遇分析
传统的科学评价陋习积重难返, 单一、线性思维的评价理念难以深入到人文社科类评价的社会价值层面的评判, 对于其评价成果滞后性和非显性等特征更是难以把握。另外, 同行评议与第三方评价机构在科学评价实践中始终各自为政, 同行评议的主观、低效及第三方评价机构非专业的“数据游戏”等弊端始终得不到彻底的解决。而大数据时代, 对于非机构化数据处理的介入及引入相关关系的分析理念, 使科学评价成果的社会效益和价值判断得以深入挖掘, 对于数据全程的动态跟踪也有利于揭示人文社科成果的滞后及非显性特征, 大数据正用数据运算模式颠覆着传统的经验主义判断。此外, 社交媒体平台及大量非传统出版物的出现, 一方面丰富了科学评价的数据资源, 另一方面也拓展了科学评价的主体及对象, 把社会大众及在线科研数据补充进来, 进一步挖掘学术成果的社会效益价值及社会影响力, 同时还能兼顾成果的后期研发及反馈。这些问题的解决无疑为大数据对于科学评价的介入带来机遇。
1.4、 T:大数据对科学评价影响的挑战分析
大数据时代, 数据的获取与处理是其首要面临的挑战。个人、企业及各种社会组织所获取的数据不是真正意义上的“大数据”, 大数据所需的社会公众生活数据、各种用户行为数据及与科研活动相关的数据都由政府直接掌控, 那么, 使政府摆脱垄断及保密的思维方式, 在确保隐私、机密和国家安全的前提下带头开放数据, 降低数据资源利用和获取的难度和成本[7], 是大数据助力于科学评价的首要挑战。另外, 大数据的数据体量大, 价值密度低, 对于大量冗余数据的筛选、聚类、分类、关联等分析需要较高的技术分析手段和人力物力资源, 因此, 大数据应用的成本也是不小的挑战。大数据的应用理念目前也正处于从理论向实践的过渡阶段, Altmetrics的应用也正处于摸索阶段, 目前还在究竟是对原有计量评价的“补充”还是“替代”作用的质疑声中艰难前行。科研评价是立体和全方位的科研活动, 涉及人、力、物、方法、工具等方方面面, 大数据究竟在这各种要素中起到哪些作用还有待于进一步的摸索实践, 用数据这一对象力图解决所有评价问题是不现实的。
2、 大数据环境下科学评价的变革与坚守:基于SWOT分析的策略
2.1、 强化优势、掌控机遇:实现大数据时代科学评价的变革
2.1.1、 由“题录”的形式化评价向“内容”的语义化评价转变
当前的主流科学评价方法是行政思维的简单化的“一刀切”, 即不区分人文社科与自然科学的学科差异性, 统一通过三大引文索引的文献收录来计量科研成果。先不言三大引文索引的涵盖率缺陷及马太效应、收录偏好等自身的缺陷, 仅引文动机、不同学科被引情况差异显着等特征, 就足以见得这种统计方式对于科学评价, 至少是人文社科评价成果的长效性特征的揭示是力不从心的。M.H.MacRoberts[8]认为, 引文分析仅限于描述科学交流的一个层级。实际上, 引文动机是一种复杂社会心理的综合作用, 可根据个人的习惯、专业操守、好恶带来引文活动, 这种引文活动会导致避开有影响力的文章或未阅读的二次引用等问题, 带有浓厚的主观倾向性, 因此, 引文分析具有不可靠性[9]。大数据时代对于非结构化数据的处理, 推进了“语义化”的发展, 在完善传统量化指标和分析方法的基础上, 大数据进一步在评价对象的内容上进行语义层面的挖掘和处理, 带来了引文的语境分析, 也即是引文内容、引文上下文分析。对于引文内容、引文位置的语境、情感及行为的非结构化数据进行量化处理和分析, 微观化数据粒度, 并拆解成相应的知识单元, 有利于知识发现及知识关联, 带来更深入的引文内容分析。这种深入引文内容的分析方法, 一方面可以完善和弥补传统引文分析“大一统”的评价模式, 挖掘引文的真实动机和引文的影响力, 从多角度综合考察科研成果的隐性价值及长效性的作用, 满足人文社科评价对于成果的科学、技术、经济、社会及文化价值的评价需求[10]。另一方面, 也带来了传统评价理念的变革, 突破以往基于文献引证关系信息识别的单一层面的局限, 向深入内容的对语料进行挖掘处理的知识发现递进, 使科学评价的理念内涵从过去兼顾发文与引文数量的思维模式延伸至对引文质量的精细化识别与权重化区分, 评价理念也正经由“数量化”到“质量化”, 再到“深度质量化”的演进历程[11], 大数据时代, 也由此迎合和推进了当前定量化学术评价领域的深度质量化和语义化的发展趋势[12]。
2.1.2、 由单维的指标分析向复杂的社会网络分析转变
从引文质量层面纵向延伸发展的同时, 大数据时代, 科研评价也向复杂网络化的横向、集成化趋势发展。传统的科学评价对象无论是对期刊、成果、学者还是专业、机构的测评, 都是各自为政, 互不干涉的独立评价, 忽视了不同评价对象内在的关联性。而大数据时代注重相关性分析的理念正是对这种因果分析的有利补充, 使各个评价对象关联为一个社会网络加以分析, 挖掘其内在联系, 通过网络信息流动及动态传播的模式, 判断个体对象在集合群体中的地位和贡献, 不仅可以对就有的评价对象进行完善、引证及补充, 还可以通过社会网络的扩散效应, 观察网络节点对后继节点的影响, 挖掘评价对象的影响力及创新趋势, 揭示人文社科成果价值的滞后性及非显性特征, 以及体现学科交叉发展的现状及趋势。大数据时代利用复杂社会网络的关联思维对于仅关注“引文数量”的传统影响因子的核心指标而言, 无疑是显着的超越, 这得益于大数据时代信息网络技术及复杂网络理论的发展和引进, 本质上完成了科学评价在理论层面的更新换代。此外, 网络的扩散传播速度是任何传统媒体望尘莫及的, 对于人文社科评价的成果效应评估问题, 复杂社会网络的即时性指标可以克服传统指标的时滞性缺陷, 对成果未来的转化效果及社会价值进行实时动态的监测和跟踪, 这种通过复杂社会网络分析方法一方面揭示文献互引产生的知识流动和信息传播, 突破了传统引文分析评价的静态局限;另一方面利用各个评价对象之间表现出来的趋同性, 印证大数据时代, 科学评价活动经历着从简单评价到综合评价再到复杂评价的发展趋势[13]。
2.1.3、 由单一独立的评价要素向多元融合的评价要素转变
传统的科学评价主体、对象、方法、指标等评价要素始终基于单一来源, 单一思维的评价模式相互独立地服务于科学评价机制。大数据时代, 以往只针对于同行评议、对期刊论文的影响因子指标分析的评价模式已经渐渐无法满足新的时代对于科学评价和科学交流的需求。大数据带来多源融合的数据理念也应渐进渗入到科学评价中来。首先, 传统的评价主体始终在第三方评价机构的专业性和同行评议低效的主观倾向等方面存在争议, 它们各自为政, 互相排斥又很难做到客观、高效、精准及公正, 因此, 评价主体的局限终究使得科研评价的结果差强人意。
大数据时代, 一方面, 可以将评价主体横向拓展为学术研究者、学术成果采纳者以及学术社区中的“学术大众”等多元主体, 处理好各主体的关系和重要性序列, 根据各评价主体的社会地位、权威性、经验性等对他们的评价进行赋值, 通过关联性分析佐证各主体评价的合理性。另外, 借助社会网络平台的兴起和信息技术的发展, 由传统的行政、同行及三方机构主导的科研评价, 引入社会大众参与成果价值及影响力的判断, 这种融入政府、专家、产品受众及社会大众的多元主体评价模式, 尤其适用于人文社科评价成果的社会效益及公众认知的考量, 这方面Altmetrics已经作为先驱在摸索的实践中前行。另一方面, 对于结构化数据和非结构化文本的深入内容的统一处理和量化, 使得可分析的对象趋于多样化和数据化, 这不仅是对同行评议工作效率的提升, 而且数据的运算模式评价思维也是对传统凭借经验和直觉进行主观判断的变革, 使评价结果在融合补充, 交叉印证的基础上又多了一层精准的判断和预测保障。此外, 还可以在纵向上对各评价主体因时间积累而进行的反馈性评价、重复性采用、进一步传播的范围等进行跟踪动态评价, 以进一步验证各主体评价的客观性。其次, 大数据时代, 对全网范围的数据分析和处理, 使非正式出版物, 通过网络平台发表的个人研究成果, 在线科研活动, 学者的线上学术交流活动和自媒体的学术成果推介等数据都网罗进来, 这里的学术成果不仅限于传统的期刊、论文等研究单一的成果来源, 还包括开发的软件、PPT、博客日志、BBS论坛发表的言论及实物产品等多种成果类型, 扩充了数据资源, 丰富了评价对象。此外, 通过多种评价对象的关联匹配, 还可以整合评价数据资源, 提高评价的精准度。最后, 大数据时代是信息技术发展的产物, 大数据进行分析和处理的方法和技术对原有的基于样本数据处理的方法和技术起到了迭代更新的作用, 它对文本、观点、话题演化的分析和知识发现, 以及从时间序列、时空数据的多元统计分析、对高维数据降维分析及多源数据融合分析等方法[14], 可突破传统评价手段和指标在时空、效用、价值等层面的评价局限, 对于传统的评价指标是全方位变革及补充。大数据时代对传统评价元素的拓展和改进迎合了科研评价向经济价值导向、多种评估手段结合、评估系统化、自主化、评价指标多元化的发展趋势[15]。
2.1.4、 由静态阶段性的成果评价向动态全过程的学术生涯评价转变
大数据时代, 社会媒体平台的科研活动数据得以利用和挖掘, 使网络平台的分布式评价活动成为可能。对学者静态及动态的在线科研活动、行为轨迹、合作继承情况等“非结构化”文本进行数据挖掘、组织与关联, 建立时间轴线的“成果存量”与“成果流量”融合分析与跟踪机制, 利用大数据的相关性分析理念, 突破传统因果关系的单一线性局限, 从全景扫描相关的评价对象加以全数据模式的关联分析和动态跟踪, 在全程精准评价的基础上增加预判分析功能, 既可以深入发现其当下的学术成果现状, 又可预测其未来的研究走向和发展空间。同时, 对于实时数据的处理和存量数据的挖掘, 融合不同时间窗口的引文数据, 拓展了科学评价的视角, 传统的“睡美人”文献、延迟承认等现象进入了研究者的视线, 学术价值滞后性、非显性等特征的揭示也愈加迫切。由此, 大数据环境下的评价视角从科研产出及学术影响力的指标中, 渐渐深入到科研合作的议题上, 包括合着排序与学术贡献、合着网络及中心性分析、学术生涯追踪等[16]。网络指标所采用的数据集的复用与即时特性, 有助于全程动态跟踪科研成果, 规避传统的评价指标所带来的时滞性的缺陷, 有利于全面解读及持续关注科研成果的社会价值及影响力。此外, 对于海量异构数据的组织利用也是大数据时代的特色, 多元个性化数据平台的建设可为有效的计量指标提供数据储备和支撑。传统的科学评价在面临项目成果的效用及价值评估总是由于机制弊端和经费成本显得后继乏力, 大数据时代可构建指标类的事实数据库, 积累历年科研成果评价指标的得分, 这种历时性和原始性可支撑项目成果的后续效用和质量评价, 避免其因时间的变动而造成的评价失真, 可有效解决科研成果社会效益的“滞后性”缺陷。传统的同行评议专家沿袭学者声望机制, 专家更新缓慢, 思维方式老旧, 陋习难返的轮换机制难以带动新鲜的科研成果问世及激进的青年学者发展。大数据时代, 可为这种大同行专家及小同行评审构建专家数据库平台, 通过多源数据及跨学科的融合补充, 从更广域和多维的视角解决同行评议大同行学者的专业短板, 充实小同行的网络评审数据库, 解决科学评价的点对点的专业性及专家遴选机制的更新问题。在构建这些事实及专家的实时动态书库的基础上, 大数据的时空分析技术也使事前、事中及事后的可持续性的全程动态的学术生涯评价成为可能。
2.2、 弱化不足、克服挑战:强化大数据时代科学评价的坚守
2.2.1、 避免量化评价的过度使用
由上文中大数据的劣势分析中我们已经认识到, 大数据的本质仍是量化评价, 这就无法逃避其非定性本质所带来的“间接性”衍生的一系列问题。大数据的数据体量虽大, 但价值密度低, 数据并非就是客观事实, 对数据进行挖掘和分析的同时易受主观先验经验的影响而陷入由“已知”探索“未知”的循环怪圈里。即便是自然科学评价, 也不能完全符合量化评价的三个前提条件, 更何况研究成果和效用不可测, 理论方法不可逆的人文科学评价。人文学科的特点不仅是多元而复杂的, 更是不断变化的, 严格意义上来讲, 根本不存在如同自然科学意义上的统一研究范式, 因此不能单纯的用量化评价来衡量具有“批判”意味的人文学科价值。而社会科学的成果和效用相对而言是可测量的, 与量化评价在理论逻辑层面具有一致性, 但其理论方法也是相对可逆的, 会因为行为的改变而失效。简而言之, 科学评价的本质是应用社会研究而非科学理论, 量化评价并非一个普适性的科学评价模式[17]。大数据环境下, 会不自觉地放大数据统计的量化效果, 应警惕过分神话量化评价的效果, 评价主体要慎用数据语言, 而过多地采用质量语言来抑制短视性及功利性的“唯数量化”的科学评价行为[18]。
2.2.2、 强调学术批评的重要性
对于科学评价而言, 尤其是人文社科评价, 不论是前大数据时代还是大数据时代, 一锤定音的评价是不存在的, 学科发展正是在科学评价的不确定性和反复性中曲折前行。我们都知道科学评价重在内容评价, 而最好的最有利于评价对象获益和发展的内容评价则源于学术共同体的学术批评, 学术民主的程度取决于是否有健康正常的学术批评, 不论是否处于大数据时代, 皆是如此。大数据时代, 深入内容的数据分析和对“非结构化”数据的处理, 无疑是可以助力于学术批评的, 但前提是由谁来做学术批评?这个问题不解决, 没有先行的学术批评作为数据来源, 再深入的技术也无法挖掘科学评价的内容本质。学术批评的缺失导致同行评议无法走出异化的困境, 失去基本的依据和有效的监督[6]。这种学术批评缺失的现象在大数据时代尤其值得警醒和关注, 科学评价应该在数据和量化中坚守住这一方基本底线, 否则, 在传统的“封闭评价”中被学术界忽视的学术评价, 在大数据时代, 更看不到来自学术共同体的“叫好喝彩”或“当头棒喝”, 长期缺失学术批评会导致学术生态的严重失衡, 产生泡沫化的学术成果。
2.2.3、 完善评价体制
所谓:“上有所好, 下必甚之”, 有什么样的科学评价体制, 就有什么样的科学评价结果。可见, 无论是否缘于大数据时代, 评价体制都是独立于数据外的对科学评价起导向作用的要素, 评价体制不健全, 再大量的数据都改变不了评价结果的缺陷。大数据时代, 一方面要坚守住健全、科学、合理的评价体制, 使大数据更好地服务于科学评价;另一方面, 也要利用大数据带来的科研评价的变革, 倒逼科学评价体制的改革。2013年, 中国社会科学评价中心 (CECHSS) 正式成立, 旨在推动构建中国社会科学权威评价体系, 这是在人文社会科学评价体系方面的有益尝试, 但如何进一步明确评价主体、科学合理地预设评价目的、规范评价方法, 仍亟待探索。这些本质问题不明确, 不解决, 大数据时代带来的变革只会成为包装华丽的空中楼阁。如, 针对当前的学科发展现状, 是否要考虑评价体系的复杂化、多元化及综合化的特点, 归类限制研究类别?如何合理地搭配引文指标于同行评议的流程, 加权评价结果, 考虑不同学科门类研究成果类型的比重问题, 以及同一成果类型的权值设置问题[19]?是否要引入定量指标为参考, 同行评议为主体的代表作制度?科研评价的目的到底是用于奖惩, 还是促进学者的未来发展, 对于学科的发展是以考评为最终目的, 还是致力于解决社会问题, 并推动其发展?这些问题的解决亟待评价体系的完善, 在前大数据时代如此, 在大数据时代依然不变。
2.2.4、 加强大数据时代评价理论研究
科学评价是一套完整的体系, 不管面对什么样的评价主体和针对什么样的评价对象, 或者说不管至于何种环境中, 都要受到相关理论的指导和科学流程的规范。具备成熟的, 业界认可的评价理论是开展一切评价活动的前提, 这一原则, 不管是否置身于大数据环境下, 概莫能外。反而, 大数据环境的科学评价, 更需要理论的推进和发展。大数据若想在科学评价领域有用武之地的一个重要前提, 就是它所采用的评价理论是否能得到学界的认可和信服, 它所采用的评价方法是否在其理论的指导下, 经过合理的验证。若失去了对评价理论的执着坚守, 那么大体量的数据分析, 高效率的技术方法, 只会引领科学评价在公正、科学、客观、合理的道路上渐行渐远。尤其是对于人文社科评价来说, 其产出的成果多是个性化的学术产品, 若想以量化手段精准地评价其内容质量的优劣, 大数据就势必依赖于评价理论的跟进, 找到一条让个性化的人文社科成果产品能利用大数据的相关技术和方法对其质量进行量化类比的路, 通过这条路来突破既有问题的解决才是应用的关键, 否则, 大数据时代与科学评价依然是格格不入。
2.2.5、 重视同行评议的应用
前大数据时代, 定性评价以学术共同体为主, 定量评价以专业机构为主。定量评价始终以客观的有限性、公平公正性、专业的缺位性和结论的简单性饱受诟病, 无法独自垄断科学评价活动。大数据时代的本质依旧是量化评价, 同样少不了同行评议的依托, 若放弃对同行评议的坚守, 势必沦为“泛大数据化”的评价倾向。大数据时代, 对于数据扩展、挖掘、运算等技术已有了飞跃性的进展, 但若把这种优势发挥到科学评价领域还有两条必经之路, 即对数据意义的界定, 以及对运算结果的解读。这两条路显然不是技术和方法问题, 而且相关学科的专业问题, 这是量化评价的壁垒和盲点, 专业的问题还是交给专家来处理。即使基于行政目的的科学评价, 其最终目的仍然是让被评对象有所获益和发展, 缺失专业性的简单评价结论很难满足这一要求, 可以说, 目前没有一个通用性的评价指标可以通过量化的手段揭示由衷的赞美和尖锐批评背后的深层次意义, 对统计结果的数据及信息的解读显然是学术共同体主导的同行评议的最擅长的本行工作。大数据时代尤其更是不能失去同行评议的坚守, 若没有同行评议主导的学术评价, 大数据就只剩下做工更为精细的工具, 工具当然无法取代人为的操作, 否则, 只会在原有评价的基础上, 上演一出复杂的数字游戏罢了。《莱顿宣言》的十条原则秉持的态度是同行评议是第一位的, 起主导作用的, 定量评价是第二位的, 辅助性的。那么, 在大数据时代也让我们坚守住这条原则, 让“大数据”专心地做数据, 把对数据的解读权力, 交还给同行评议。
3、 结语
美国舆情分析家Nate Silver曾于2008年开始利用大数据分析连续两次准确地预测了美国总统大选的结果及2012年大选中美国50个州的得票率[20]。这种精准的预测分析, 使人们看到大数据应用于科学评价的可能性。诚如上述分析, 大数据时代对科学评价在数据化、知识化、语义化、精准化等层面皆有变革性的影响, 这些影响使科学评价从形式化评价转向内容评价, 从单维指标层面转向复杂网络层面, 从单一独立要素转向多要素融合, 从静态阶段性转向动态过程性, 这些积极影响对科学评价的方法和对象等具有变革性的意义。与此同时, 我们也需冷静地看到, “泛数据化”的评价也存在风险和弊端。正如Altmetrics应用于科学评价饱受质疑:Phil Davis认为Altmetrics缺少精确、可靠、基于标准的效度检验, 它的内涵模糊、缺乏操作规范, 测量的可能只是关注度和流行度, 不代表科学质量和科学意义[21]。除此之外, 不同学科的Altmetrics数据不具有可比性。即便Altmetrics测量的是关注度, Altmetrics的数据也不能反映关注度的全貌[22], Altmetrics数据的标准化和规范化仍需要一个过程。而对于具有复杂性、不可重复性、不确定性特点的人文社科类学科更是如此。这就要求我们要坚守科学评价的本质问题, 特别是避免科学评价的“唯数据论”、鼓励学术批评、完善评价体制、加强大数据环境下评价理论研究和继续强调同行评议的重要性。值得我们思考的是, 科学评价本身也要受与时俱进的评价理论、公平纯净的学术环境、具备公信力的评价主体、准确有效的评价信息、有效的信息处理和专业的信息解释能力等因素的制约, 这无关乎大数据时代与否, 皆是如此。可见, 大数据应用于科学评价, 尤其是针对人文社科的评价, 仍是任重而道远的, 但其可以从优化学术生态环境起步, 逐渐达到服务于科学评价的最终目标。
***总书记在两院院士大会上强调:“要改革科技评价制度, 建立以科技创新质量、贡献、绩效为导向的分类评价体系, 正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值。”苏新宁教授认为, 从实施国家大数据战略的角度, 我们可以结合下载、收藏、推荐、标签、注释、排名等客观数据以及讨论、评价等主观信息, 构建起论文多维度、多层面的立体评价大数据知识库, 从而更加精准地探究科研的发展规律[23]。大数据给科学评价带来了巨大的发展机遇, 未来的科学评价可以借助大数据在自然语言处理、图像识别、语义关联、信息融合等方面的新技术与新方法, 完成对学术论文内容层面深度解析和评判, 对学术成果社会价值层面的洞察与理解, 从而可以避免仅靠题录为主的单一信息的科学评价的种种缺陷。但我们需认识到, 大数据对于科学评价的实践应用还有很长的路要走, 而当前的首要任务是加强科研相关信息资源库的建设, 尽可能完备的将科研行为相关信息集中在一个统一的科研信息平台中, 建立统一的元数据标准, 推动各相关数据库的互操作, 打通各学术交流网络平台的界限等等。在此过程中我们应始终牢记的是, 学术评价的目标是尽可能发现学术成果的学术贡献和社会价值, 为科研管理提供科学导向, 而不是“排行榜”, 尤其是人文社科学术成果更不可能通过排行榜展示其多维度、复杂性的学术价值。
参考文献：
[1]涂子沛.数据之颠:大数据革命, 历史、现实与未来[M].北京:中信出版社, 2014.
[2]邱均平, 柴雯, 马力.大数据环境对科学评价的影响研究[J].情报学报, 2017, 36 (9) :871-877.
[3]Piwowar H.Altmetrics:Value all research products[J].Nature, 2013, 493 (7431) :159.
[4]Priem J.I like the term articlelevelmetrics, but it fails to imply diversity of measures.Lately, I'm liking altmetrics[EB/OL].[2018-04-20].https://twitter.com//jasonpriem/status/25844968813
[5]蒋玲, 杨红艳.大数据时代人文社科成果评价变革探析[[J].情报资料工作, 2015 (3) :92-97.
[6]朱剑.大数据之于学术评价:机遇抑或陷阱?-兼论学术评价的"分裂"[J].中国青年社会科学, 2015 (4) :66-78.
[7]刘红霞, 白万豪.大数据背景下的应用情报学研究[J].情报资料工作, 2014 (1) :27-30.
[8]Macroberts MH, Macroberts B R.Problems of citation analysis:A study of uncited and seldom-cited influences[J].Journal of the American Society for Information Science and Technology, 2010, 61 (1) :1-12.
[9]万昊, 谭宗颖, 朱相丽.同行评议与文献计量在科研评价中的作用分析比较[J].图书情报工作, 2017, 61 (1) :134-152.
[10]李沂蒙, 赵良英, 柯岚馨, 等.国内人文社会科学评价研究评析[J].情报科学, 2017, 35 (7) :107-113.
[11]赵丹群.学术期刊评价理论的演变分析[J].情报资料工作, 2013 (2) :58-61.
[12]赵丹群.定量化学术评价研究的最新进展[J].情报理论与实践, 2017, 40 (4) :133-137.
[13]赵丹群.集成化学术评价模型的构建分析[J].情报理论与实践, 2014, 37 (2) :45-49
[14]彭知辉.数据:大数据环境下情报学的研究对象[J].情报学报, 2017, 36 (2) :123-131.
[15]张树良, 张志强, 王雪梅.国际科研评价体系现存问题及发展新趋势分析[J].科学学研究, 2015, 33 (8) :1127-1133.
[16]Deville P, Wang D, Sinatra R, et al.Career on the move:Geography, stratification, and scientific impact[EB/OL].[2018-06-08].http://www.nature.com/scientificrep-orts/.
[17]李冲, 苏永建.学术评价:量化模式的反思与超越[J].自然辩证法研究, 2017, 33 (2) :59-63.
[18]谭春辉.人文社会科学研究的创新论与质量观及其评价机制[J].重庆大学学报 (社会科学版) , 2017, 23 (3) :63-69.
[19]宋歌, 孙建军.科研项目学术质量评价关键问题研究[J].图书与情报, 2016 (5) :105-109, 104.
[20]Daniel T.Obama's win a big vindication for Nate Silver, king of the quants[EB/OL].[2018-6-16].https://www.cnet.com/news/obamas-win-a-big-vindication-for-nate-silver-king-of-the-quants/.
[21]Phil Davis.Social media and its impact on medical research[EB/OL].[2018-06-12].http://scholarlykitchen.sspnet.org/2015/O1/14/social-media-and-its-impact-on-me-dical-research.
[22]杨柳, 陈铭.常用替代计量学工具之比较研究[J].情报理论与实践, 2015, 38 (9) :114-119, 144.
[23]苏新宁.完善评价体系推动科技创新 (凭栏处) [EB/OL].[2018-07-19〗.http://edu.people.com.cn/n1/2018/0621/c1006-30070180.html.
