中华人民共和国国家标准(GB7713—87)明确指出:“学术论文是某一学术课题在实验性、理论性或观测性上具有新的科学研究成果或创新见解和知识的科学纪录;或是某种已知原理应用于实际中取得新进展的科学总结,用于提供学术会议上宣读、交流或讨论;或在学术刊物上发表;或作其他用途的书面文件。”
一篇学术论文提出新颖的学术观点、形成新的知识或新的研究成果,对探索学科发展或推动产业进步具有重要科学意义、深远应用前景,或随着研究成果的应用相继产生显著的经济效益和社会效益时,一般来说其学术价值就会得到社会承认,论文也必然引起同行专家、出版界以及社会有关方面的关注和引用(即产生一定的学术影响)。从文献学角度来说,论文的被引用次数和被收录数能反映论文的学术价值和文献价值。因此,目前学术论文的被索(索引)量、被摘(文摘)量、被引(引用)量已成为评价一个国家、一个地区、一个机构乃至个人的科研水平和学术影响极为重要的工具。
对学术论文进行评价不仅是对作者科学创作及其学术作品的客观肯定,而且科学、公正的评价对我国科学研究项目的选择、人才评估体系的建立、研究基金的申请、科学研究计划和政策的制定、科研产出绩效的评估等科学研究及管理工作具有十分重要的指导意义。
一、目前我国学术论文的评价思路与方法
对个人或机构来说,学术论文无论是通过学术会议还是以期刊、研究报告等形式发表,均存在数量与质量的问题。虽然论文的数量不一定能完全证明个人或机构的学术水平,但至少从某些方面可反映出个人或机构进行科学研究活动的概况、频率,以及因此而形成的在某些区域的学术影响。例如:据有关资料统计,哈佛大学因拥有一批进入国际前沿、在世界上有较大影响的基础学科和一些新兴学科和边缘学科,每年被《ScienceCitationIndex》(《科学引文索引》,简称SCI)收录论文近9000篇。由于该校是国际上学术论文高产的大学之一,因此在全球具有广泛的学术影响,是世界公认的一流大学。
对论文的评价最重要的还是学术论文的内在质量,也就是论文的学术价值、创造性、科学性、实用性、表达效果等。按照各级组织、机构或团体对学术论文的不同创作要求,这方面的评价指标或体系有所不同,但大体上评价框架不外乎从选题(是否具有较大的理论意义和现实意义);研究理论或方法上的创新性(能否通过合理的研究方法或试验步骤,得出科学的结论和数据);论文所体现的作者在基础理论、专业知识及科学研究方面的能力(表达是否准确,推论和结论是否严谨);论文的写作水平(如:书写的系统性、层次性,观点、重点是否突出,文字是否精练,图表、著录格式是否规范);以及论文所形成的成果和效益等方面来考察学术论文的内在质量。论文的学术影响与学术质量虽不能等同,但从一般意义上说论文的学术质量愈高,其学术影响也相应较高(当然也有一些例外的情况)。除此之外,论文的学术影响还与论文的发表方式及载体、出版社有关。
由于论文的学术质量与学术价值、文献价值、学术影响是密切相关的,因此将论文的学术质量评价简化为对便于统计分析的期刊文献价值、学术影响的评价,是目前对学术论文进行评价的一般思路。即通过文献价值和学术影响的评判,近似地实现对论文学术质量的评价。
我国目前对学术论文进行的评价,可归纳为【turnitin】三种方式,即:期刊评价、专家评价和两者结合的综合评价方式。
期刊评价方式主要侧重于通过对期刊整体水平的评价来界定期刊上刊载学术论文的水平。例如:国际公认的两种顶尖级学术期刊———美国的《科学》(Science)和英国的《自然》(Nature)上刊载的论文;美国科学信息研究所(InstituteforScientificInformation,简称ISI)出版的《科学引文索引》(ScienceCitationIn2dex,简称SCI)或《科学引文索引》的扩展版(ScienceCitationIndexExpanded,简称SCI-E)《,科技会议录索引》(IndextoScientificandTechnicalProceedings,简称ISTP),以及由美国工程信息公司(EngineeringIn2formationInc.)编制的《工程索引》(TheEngineeringIn2dex,简称Ei)收录或引用的论文;人文社会科学被美国科学信息研究所出版的《社会科学引文索引》(So2cialSciencesCitationIndex,简称SSCI)《,艺术与人文科学引文索引》(Art&HumanitiesCitationIndex,简称A&HCI)和《社会科学及人文科学会议录索引》(IndextoSocialSciences&HumanitiesProceedings,简称IS2SHP)收录和引用的论文。国内论文则由中国科学院文献情报中心出版的《中国科学引文数据库》(简称CSCD),南京大学出版的《中文社会科学引文索引》(简称CSSCI),中国科学文献计量评价研究中心出版的《中国人文社会科学引文数据库》(简称CHSS2CD)收录或引用;在国务院学位办发布的《学位与研究生教育中文重要期刊目录》,教育部高校哲学社会科学名刊(首批11种)上发表的论文;全文发表在《人民日报》、《光明日报》学术版,被《新华文摘》、人大复【论文检测】印资料转载的学术论文;在国外科学技术核心期刊,国外人文社会科学核心期刊,中文核心期刊,中国人文社会科学核心期刊上发表;论文发表的期刊为中国科技论文统计源期刊、中国数字化期刊群入网期刊等;以及在国际性学术会议、国内学术会议上发表的论文均被认为具有一定的学术水平。
专家评价是一种由相关学科或专业的学者,利用专家的知识和经验采用一定方法来评定学术论文的价值和重要性的方法,其评价的效果和准确性主要取决于专家组的选择和评价方法的确定。综合评价则是上述二者的结合,例如:部分高校通过专家咨询从中国科学技术协会一级学会主办的期刊和核心期刊中优选出部分载文水平较高,编辑水平较好,报道学科前沿研究动态和成果的学术期刊称之为重要期刊或一级学术期刊。对在前面论述的各种期刊评价方法中遴选出的期刊上发表的论文,在职称评定或项目申报前,再通过同行评价(包括盲评)来确定其学术水平等。
二、对若干学术论文评价方法的分析
引文评价是用引文索引作为论文评价的主要工具,这种方法曾引起很多异议,因为引文索引产生的初衷只是使其成为一种便于科研的独特的检索工具。利用引文索引,通过对文献的引文研究可以追溯出鼻祖是谁;通过研究前人完成的基础,可以分析出你能用到那些知识,你能做些什么;利用引文索引检索可由一篇文献连带出多篇相关文献。以发表的学术论文被引文索引收录或以同行引用的情况及次数来衡量该论文的影响力及其重要性,是目前评价学术论文质量最常用的一种重要方法。实际上,引文评价更能准确反映的是论文的学术影响力而不能完全涵括论文的学术价值。#p#分页标题#e#
同样,用期刊影响因子、统计源期刊目录、核心期刊目录、重要期刊目录以及利用一些著名数据库收录的来源期刊来评价论文水平也存在许多局限性和片面性,缺乏一定的权威性,易引起学术界的争议。
影响因子作为国际通行的期刊评价指标,是E.加菲尔德博士于1972年提出的,是对文献或文献集合获得客观响应,反映其重要性的宏【知网】观度量。由于它是一个相对统计量,所以可用来评价和处理各类期刊。一般情况下期刊的影响因子越大,它的学术影响力和作用也相应增强。但是由于客观存在的期刊出版、发行形式的不平衡(综合性期刊与专业性期刊发行量的差异;高水平期刊严格的论文评审制度和较长的审稿周期,以及载文量较少等因素);读者群的不平衡(尖端技术或新兴学科的读者一般少于普通学科的读者;各类图书馆和信息研究机构的馆藏、服务方式以及读者利用能力等因素)有可能使某些高水平的期刊出现影响因子偏低甚至落选的情况。因此,采用评价期刊影响因子来评价该刊刊载学术论文的水平的方法,难免会造成部分学术论文的过高评价(因为影响因子高的期刊,未必每篇学术论文的质量和影响力都大),也会使一些高水平的学术论文因此而得不到客观的评价。
核心期刊筛选的理论依据主要是布拉德福定律(论文在期刊中的分布定律)。最初布拉德福发现某一学科的2P3的论文刊载在少数期刊上,而其余1P3的文章则分散在大量期刊上,因此,利用文献计量学方法分析得到少数信息密度大、载文量多的期刊就被称为核心期刊。而现实情况是期刊载文量与学术论文质量之间正在出现愈来愈大的偏差。核心期刊反映的是某一学科的文献分布量的测度,而未涉及质的评价,用核心期刊来评价论文质量必然存在一些误解和偏差。
用统计源期刊以及一些著名数据库收录的期刊来评价论文水平也同样存在一定的问题,由于不同的数据库对入选期刊有较明确的学科要求和存在一定的文种选择。如:中国科学技术信息研究所每年通过对1500种左右来源期刊(中国科技论文统计源期刊)的分析研究形成《中国科技期刊引证报告》。
这1500种左右来源期刊均为科技期刊,仅占全国期刊的一部分(2003年3月由新闻出版总署报纸期刊管理司和中国出版杂志社编辑出版的《中国期刊名录》中就收集了全国8495种经新闻出版总署审核批准,公开发行的期刊信息),且偏重于中文科技期刊。这种学科、报道文献文种的偏重都会对学科的学术论文【维普】全面、客观、正确的评价带来一定的负面影响。
各级科研管理部门为了提高论文评价和奖励的严肃性、公正性、准确性和权威性,采取了不少措施,也制定了一系列管理办法和规定,同行专家评价便是其中的一种方法。但目前存在的问题是,随着科学技术日新月异的发展,学科、专业越分越细,且又交叉渗透,不可能要求专家对所评议论文的方方面面以及国内外研究情况都有较深入和全面的了解;另一方面,由于专家评价方法的主观性较强,社会上一些不正之风的干扰,也使某些被评议的论文不能得到客观的评价。
三、思考与建议
客观上讲,论文评价体系应是多角度,多方位的。对目前学术论文评价体系的分析,并不是要全面否定目前的一些机构对科研绩效评价方法的研究。我们认为由于学术论文在形成和产出、报道、引用中出现多种形式的传播和客观造成的不平衡,难以用一些简单的指标对其进行科学地评价。因此,我们建议有关科研管理部门应通过深入细致的研究,根据管理要求,借助专家的咨询,建立相应的模型,对论文的学术价值、文献价值和学术影响等进行较全面的评价(有关这方面的内容我们将另文进行较详细的探讨)。在现阶段可先从统计分析入手,尽可能在我国联合著名期刊论文分析和评价单位,以中国科学院、中国社会科学院、中国科技信息研究所、清华大学、北京大学、南京大学等单位为核心研究机构,对我国目前经新闻出版总署审核批准正式出版的近9000种期刊进行统一建库,分工输入数据和集中分析研究。通过联合研究,确定和统一标准,逐步建立我国统一的期刊论文评价体系。
在研究中,除采用目前国际通用的一些文献计量分析方法外,还应注意加强对读者原文传递申请情况的分析;电子版与纸质期刊对读者阅读和利用影响的分析;以及在中国科学院、中国社会科学院、国内外著名科研机构、高等院校中开展对我国期刊学术影响力的综合调查和分析。通过对分析期刊进行学科或专业的标准分类,多方面地听取有关科技专家、出版部门、文献工作者、情报研究人员和科技管理等相关部门的意见,使期刊论文的分析研究成果真正与同行专家评议、科研管理、项目管理相结合,并逐渐加强对其应用效果和反馈信息的研究和讨论。在对期刊论文的评价中,除关注论文刊载的期刊外,还要注意对被评价论文内容的具体分析,通过实践不断完善,克服片面性,增强学术论文评价的科学性和权威性。
