,*, 汪洋,中国科学院计算机网络信息中心,北京 100190Research and Practice on Evaluation System of Science and Technology Competitiveness
WEI Xin,*, WANG Yang,Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China通讯作者: 魏鑫（weixin@cnic.cn）
收稿日期:2020-10-23网络出版日期:2021-02-20
| 基金资助: |
Received:2020-10-23Online:2021-02-20
作者简介 About authors
魏鑫,中国科学院计算机网络信息中心,信息化发展战略与评估中心,硕士,工程师,主要研究方向为信息科技、信息化的战略研究及规划编研,态势感知系统。先后参与了中国科学院信息化专项、烟草大数据重大专项等科研项目。本文中负责文章主体内容撰写。
WEI Xin, master, is an engineer of Center of Information Strategy and Evaluation, Computer Network Information Center, Chinese Academy of Sciences. Her major research areas are information technology, strategic research and planning compilation on e-Science, and situational awareness system.In this paper, she is responsible for completing the main contents of the article.E-mail:
汪洋,中国科学院计算机网络信息中心,信息化发展战略与评估中心主任,博士,专业方向为信息化发展战略研究、大数据分析、态势感知系统。先后主持、参与了中国科学院信息化专项、烟草大数据重大专项等科研项目以及国家信息化专家咨询委、中国互联网发展基金会、中国科学院学部咨询等软课题10余项,参与《中国科学院“十三五”信息化发展规划》、中国科学院“数据与计算平台”规划、“国家科研信息化发展战略研究”等规划、报告编制工作;在SCI/EI、中文核心等刊物上发表学术论文20余篇。本文中负责文章架构及总体统稿。
WANG Yang, PhD, is the head of Center of Information Strategy and Evaluation, Computer Network Information Center, Chinese Academy of Sciences. His major research areas are big data analysis, situational awareness system, and strategy research on e-Science.In this paper, he is responsible for the article structure and final compilation.E-mail:
摘要
[目的]随着科学技术在社会生产中的地位日益提升,科技竞争力评估成为世界关注的领域。为综合评估我国科技发展现状,以中国科学技术最高学术机构中国科学院为研究对象,设计了表征中国科学院科技发展态势的指标体系与评估模型。[方法]从科技竞争力评价内涵出发,对国内外科技评估现状进行对比分析。通过梳理国际主流科技竞争力评价方法与评估体系,并充分结合我院科技发展中各方面因素,研究设计中国科学院科技态势感知指标体系与评估模型。[结果]本文从中科院整体宏观态势及各个研究所态势两个方面,设计了中国科学院科技态势感知指标体系与评估模型,为院内乃至全国科技发展态势评估提供决策参考。[结论]目前中国科学院科技态势感知指标体系已在科研管理态势感知系统中初步应用,辅助院领导进行院内科技态势发展评估。评估模型目前仍处于初步设计阶段,后续需根据数据验证情况进行模型指标与参数调整,以便更好地评估科技竞争力,推进科技评估工作发展。
关键词：
Abstract
[Objective] With the increasing importance of science and technology in social and economic development, the evaluation of science and technology competitiveness attracts the world’s concern. In order to comprehensively evaluate the current situation of China’s science and technology development, the Chinese Academy of Sciences, one of the best academic institutions of science and technology in China, is taken as the research object, and the index system and evaluation model representing the development status of science and technology at Chinese Academy of Sciences is designed. [Methods] Starting with the connotation of science and technology competitiveness evaluation, this paper makes a comparative analysis of the status of science and technology evaluation domestically and abroad. By associating various factors in the development of science and technology at CAS with the international mainstream evaluation methods and systems, this paper designs the index system and the evaluation model for awareness of the science and technology development situation at CAS. [Results] This paper designs the index system and the evaluation model for perception of situation of the overall CAS and the individual CAS institute, which cab serve as a reference in decision making for promoting the science and technology development at CAS and in the whole country. [Conclusions] At present, CAS science and technology situation awareness index system has been initially applied in the scientific research management to assist the leaders to evaluate the development situation at CAS. The evaluation model is still at the preliminary design stage. In order to accurately evaluate the competitiveness of science and technology and promote the work of evaluation, it is necessary to adjust the indicators and parameters of the model based on the result of data validation.
Keywords：
PDF (8570KB)元数据多维度评价相关文章导出EndNote|Ris|Bibtex收藏本文
本文引用格式
魏鑫, 汪洋. 科技竞争力评估体系研究与实践. 数据与计算发展前沿[J], 2021, 3(1): 74-67 doi:10.11871/jfdc.issn.2096-742X.2021.01.006
WEI Xin, WANG Yang.
引言
近年来,科学技术在社会生产中的地位日益提升,世界各国越来越清楚地认识到科技竞争力评估工作的重要性,不仅开发了适用不同应用场景的科技评估方法与评价指标体系,并将科技竞争力评估工作系统化、法制化,确保评估工作顺利进行。本文从科技竞争力评价内涵出发,通过对国内外科技评估现状进行对比分析,并梳理国际主流科技竞争力评价方法与评估体系,从中国科学院整体宏观态势及各个研究所态势两个方面,设计了表征中国科学院科技发展态势的指标体系与评估模型,实现院内外不同单位之间的科技竞争力量化比较分析。
1 科技竞争力评价内涵
科技竞争力虽尚无统一定义,但本质是考察对象利用内外部资源条件在科技领域获得比其他竞争对手更高更强的竞争优势[1]。从研究范畴上,主要从两个层面上展开：（1）国家层面,如国家科技竞争力、城市科技竞争力;
（2）机构层面,如企业科技竞争力、大学评价、科研机构评价等。
不同的研究范畴使得考虑的宏微观层面相异,但关注的本质一致,即考察对象利用内外部资源条件在科技领域获得比其他竞争对手更高更强的竞争优势。
例如,国家层面上,国家科技竞争力是国际竞争力的重要组成部分,是国际竞争力发展的动力和核心[2]。国家科技竞争力研究中影响力比较大的有世界竞争力年鉴（WCY）、全球竞争力报告（GCR）、全球创新指数（GII）以及欧洲创新记分牌（EIS）。国家科技竞争力包括多种影响要素,不同国家/地区组成因素不尽相同。“美国竞争力计划”中,将科学技术和国民素质作为美国核心竞争力的决定性因素,指出生产和利用最新科学技术开发成果的能力在很大程度上影响了国家的经济实力,包括科学研究、教育体系和创新社会环境。
机构层面上,高校科技竞争力是指高校利用内外部资源在科技领域做出比竞争对手更高水平更强科研成果的能力,是其科研资源、科研水平、科研潜力及科研环境等各方面的综合体现。
2 国内外科技评估现状
国外科技评估工作始于20世纪20年代[3-4]。20世纪初,美国国会研究服务部(CRS) 成立,开始针对包括科技活动在内的各类问题进行分析、研究和评估。经过不断的发展,该项工作已逐渐制度化、系统化,科技评估支持系统也逐渐完善。德国政府性质的科技评估工作开始于1957年,德国科技评估执行机构——科学委员会的成立。70年代末德国开始对科学研究计划和政策进行评估,90年代初开始对科研项目进行评价和对比分析,目前已建立较完善的科技评估体系与标准规范。科技评估对德国的科研教育发展起到了至关重要的作用,为德国科研计划与项目决策提供基础依据,成为德国提升科技竞争力必不可少的方法和程序。
20世纪40年代末日本开始进行科技评估。50年代日本政府和企业建立了技术评估体系及其支持系统,把技术评估作为管理和推进研发活动的手段,60年代初建立了较完善的科技审议制度,80年代设立技术评估分委会,90年代实现科技评估法制化。
我国科技评估工作起步较晚,1984年开始对科研机构、科研项目进行评估,20世纪末将科技评估作为国家科技宏观管理的重要环节,21世纪初开始颁布科技评估管理技术规范,并在实践中不断完善。经过几年的实践与发展,我国建立了初步的科技评估体系,但评估价值导向不规范、评估结果实际效用不明显等问题日益显现,科技评估工作仍处于不断探索阶段。
3 科技领域主要评估方法
根据评估对象不同,科技评估可分为五类：科技政策评估、科技机构评估、科技人员评估、科技计划评估及科技项目评估。根据评估对象不同,各国的科技评估范围也不尽相同[4]。科技领域的主要评估方法包括：同行评议法、特尔斐法、文献计量学法、层次分析法、案例研究法、回溯法及经济计量法等。在实际应用中,可以单独使用一种方法,也可几种方法综合运用,以达到良好的评估效果[3-4]。
3.1 同行评议法
同行评议是科学界公认的科技评估应用最广泛、最重要的方法,其可信度也较高。为了减少政治和宗教对科技评估工作的影响,同行评议由各分支领域的专家对学术问题进行决策。理论上专家客观公正的评估基本能反应科技发展现状,但主观因素影响难免会高估权威科技成果价值,忽略甚至扼杀新生力量,这就是科技评估中的“马太效应”,也是同行评议不可避免的问题。3.2 特尔斐法
特尔斐法由美国兰德公司于50年代末提出。它是通过征求相关领域的专家（一般为20-50人）对待评估问题的意见,做出决策判断。特尔斐法采取匿名方式进行,评估专家可以在没有任何心理负担的情况下为多种预测方案给出明确的概率答案。但它的评估周期较长,当某一评估意见分散程度较大时,易造成评估专家草率行事,影响评估效果。3.3 文献计量学法与经济计量法
文献计量学法和经济计量法均属于定量科技评估法。文献计量学法是指利用出版物（专著）、专利、引文等科技指标进行评估的一种定量评估方法。它的局限在于引文率等定量指标只有在大样本的前提下才有意义,而且并非所有引用都同等重要,一篇论文受到多次引用并不是其自身科学质量的充分证据。经济计量法主要有成本效益法和生产功能分析法。其中成本效益法主要用于产业界,主要考虑成本、效益、净现值和回报率。3.4 层次分析法（AHP）
层次分析法把复杂的问题进行分解,将分解后的组成要素按支配关系分组形成梯阶层次结构,并将各层次中的各要素进行两两比较确定其相对重要性,最后结合专家的主观判断确定各要素的相对重要性。其核心功能是通过排序的方式对方案进行优选,优点是充分利用人的经验与判断,但其主观成分较大,并且得出的结果为粗略的方案排序。3.5 案例研究法与回溯法
案例研究是对导致关键事件发生的社会因素和科学内部发展规律做出历史性解释的方法。主要说明促成事件发生的各个因素 （如：体制、人员、组织结构、技术条件等）,事件的重要性及对以后的影响。回溯法可以看成是一种特殊的案例研究,它通过对要评估的事件进行时间回溯/推移,寻找导致该事件的关键因素/鉴定该事件产生的影响。案例研究法与回溯法是介于定性与定量评估之间的一种半定量评估方法,其能够就某一问题或事件做较为彻底的分析,但因为调查分析时间较长,成本过高,并且是针对特定历史条件下的特定事件展开,导致其应用推广范围受限。4 国内外主流科技竞争力评价体系与评估模型
4.1 国家科技竞争力研究
国家竞争力的概念和研究始于20世纪70年代末80年代初,科技竞争力作为国家竞争力的重要组成部分,是国家竞争力发展的动力和核心。国家科技竞争力研究中影响力比较大的有以下四种：世界竞争力年鉴（WCY）、全球竞争力报告（GCR）、全球创新指数（GII）以及欧洲创新记分牌（EIS）。4.1.1 世界竞争力年鉴（WCY）
《世界竞争力年鉴》自1989年起每年发布,在我国常被称为《洛桑报告》[5-6]。它以经济学为主要理论基础,通过构建评价指标体系,对全球经济实体综合竞争力进行评定。其评价指标根据数据来源分为两类,一类是来源于统计数据的硬指标,一类是来源于调查问卷的软指标。IMD评价指标体系自创建以来经历了三次较大的变化,包括1989年-1991年的十大要素评价指标体系,1992年-2000年的八大要素评价指标体系及2001年至今的四大要素评价指标体系。
科技指标在八大要素中被首次提出,体现在第七要素“科学技术”中的R&D支出、R&D人员、技术管理、科学环境和知识产权子要素中。在四大要素评价体系中,“科学技术”要素被拆分为“科学指标”和“技术指标”两类,包含在第四要素“基础设施”中的技术基础设施和科学基础设施子要素二级评价指标中。IMD评价体系中科技指标体系架构如表1所示。
Tab.1
表1
表1IMD评价指标中科技指标体系架构
Tab.1
 |
新窗口打开|下载CSV
WCY的竞争力模型采用底层等权加和法,其假定各评价指标对整体竞争力的影响作用相同,采用要素等权、子要素等权、子要素下硬指标等权、调查指标等权的指标权数设定原则,不管每个二级指标含有多少指标项,均赋予其5%的权重,以提高评价结果的可靠性,同时也有助于确保与过去评价结果之间的高度兼容性。
4.1.2 全球竞争力报告（GCR）
《全球竞争力报告》由总部设在瑞士日内瓦的世界经济论坛（World Economic Forum）于1979年开始
发布。报告以全球竞争力指数（Global Competitiveness Index,GCI）为基础对全球主要经济体国家竞争力进行全面评估,受到世界各国关注[7-10]。
全球竞争力指数将竞争力定义为政策、制度及决定一个国家生产力水平的各影响因素的集合。它由12项竞争力要素指标组成,每个要素指标下又包含多项细分指标项。考虑到世界各国经济发展所处的不同阶段因素,全球竞争力指数将国家分成“要素驱动”、“效率驱动”、“创新驱动”三个不同的经济发展阶段（如图1）,并赋予每一阶段不同的复杂性等级。
图1
新窗口打开|下载原图ZIP|生成PPT图1全球竞争力指数中科技相关指标梳理
Fig.1Framework of Global Competitiveness Index
全球竞争力指数中科技相关指标分布在12项竞争力要素中,并包含若干二级、三级指标。全球竞争力指数中科技相关指标如表2所示。
Table 2
表2
表2单因素分析（n=832）
Table 2
 |
新窗口打开|下载CSV
GCR的竞争力模型按类型进行线性设定。它将经济体分成“要素驱动”、“效率驱动”、“创新驱动”三个不同的发展阶段,并利用历史数据建模估算不同发展阶段各竞争力要素的贡献程度,确定各项竞争力要素的权重,进而对经济体进行竞争力评估。
GCR竞争力模型：生产率=G（基础条件,效率增强,创新与完备性）。
4.1.3 全球创新指数（GII）
全球创新指数（Global Innovation Index,GII）由世界知识产权组织、美国康奈尔大学和英国国际商学院于2007年开始发布,每1-2年发布一次。它通过评估制度和政策、创新驱动、知识创造、企业创新、技术应用、知识产权与人力技能等,帮助政府决策者与企业领袖了解提升国家或经济体竞争力可能面临的不足与改进方向,并衡量其经济创新能力[11]。
全球创新指数指标体系包含创新投入和创新产出两项二级指标,制度、基础设施、市场与商业成熟度等七项三级指标。其中创新投入指标包括制度、人力资本和研究、基础设施、市场成熟度及商业成熟度五项三级指标,创新产出指标包括知识和技术产出及创意产出两项三级指标,每项三级指标包含三项细化指标[12-15],如图2所示。
图2
新窗口打开|下载原图ZIP|生成PPT图2全球创新指数指标体系
Fig.2Global Innovation Index System
GII总得分是投入和产出次级指数的简单平均数,创新投入次级指数与创新产出次级指数的计算方法是其子指标得分的简单平均数。为了使计算结果具有跨国可比性,多数指标变量通过GDP或人口进行归一化处理。
4.1.4 欧洲创新记分牌（EIS）
随着创新在社会中的作用日益突出,国家创新能力越来越受到世界各国的关注。欧盟国家为了提升自身创新能力,于2001年开始正式发布《欧盟创新指数报告》（European Innovation Scoreboard,EIS）,又称为《欧洲创新记分牌》。它通过建立综合创新评价指标体系,对各指标项进行计算并汇总得出综合创新指数(Summary Innovation Index,SII),据此对欧盟各成员国及欧盟外部分国家（地区）创新绩效进行综合评价与排名,全面反映各国创新能力。SII等于超过欧盟平均值20%的指标数与低于欧盟平均值20%的指标数之差[16-17]。
欧盟委员会每年会对《欧洲创新记分牌》指标体系进行调整,指标数从2001年的18个修改成2017年的27个,框架体系也发生了很大变化。《欧洲创新记分牌2017》从“框架条件”（国家创新的基础和环境）、“创新投资”（国家的创新投入）、“创新活动”（企业层面的创新活动）与“创新影响”（企业创新效果）四个方面,“人力资源”、“财政与支持”、“创新企业”、“就业影响”等十个维度,“新博士毕业生数量”、“25~ 34 岁人口中受过高等教育的人数”、 “终生学习”等27项指标,对欧盟28国的创新表现做了梳理和分析,将各分项表现合成后计算出SII,并依据SII将欧盟成员从高到低依次划分为创新领导者、强力创新者、中等创新者和适度创新者[18-20]。
Table 3
表3
表32017欧洲创新记分牌指标体系
Table 3
 |
新窗口打开|下载CSV
4.2 机构及其他科技竞争力研究
4.2.1 国家重点实验室评估国家重点实验室是依托一级法人单位建设、具有相对独立的人事权和财务权的科研实体。它作为国家科技创新体系的重要组成部分,是国家聚集和培养优秀科学家、组织高水平基础研究和应用基础研究、开展高层次学术交流的重要基地。为了促进国家重点实验室发展,科技部从1990年起对其进行评估,五年为一次评估周期。
近年来,国家重点实验室评估体系逐步淡化定量评估,实现由定量向定性的转变。科学区分代表性成果的类型,实现从对实验室分类到对成果分类的转变。同时加大对人才队伍与管理水平的评价力度,突出人才与管理对实验室发展的影响
4.2.2 学术期刊影响力评估
学术期刊是学术研究成果和学术传承的主要载体,是推动学术创新和理论创新的重要平台。对学术期刊影响力进行科学评价,分析研究其发展规律和增长趋势,对提升学术期刊的内在质量,促进学术期刊发展具有重要意义[21]。
期刊影响力评价指标及方法是学术期刊评估的基础。期刊评价指标从不同角度反映期刊影响力,各类期刊评价指标组合构成期刊评价指标体系。期刊影响力评估方法包括定性评估、定量评估、定性与定量评估相结合三种[21-22]。定性评价主要采取同行评议法,专家通过调研问卷等方式,根据研究经验,对学术期刊综合质量进行评判。定量评价通过对反映期刊价值的定量指标进行统计分析,对期刊进行排序和评价。为了将客观数据与专家主观经验进行有机结合,更好发挥评价体系的综合优势,将定量与定性评价相结合,由行业专家对定量评价结果进行综合评审,纠正定量评价结果中的偏差,实现对期刊影响力更为全面的评估。
5 全院科研、管理、教育态势感知评价指标体系与评估模型
科技竞争力是构成一个国家国际综合竞争力的关键性因素。为解决我国科技发展面临的诸多问题,提升国家整体竞争力,作为科技创新的国家队,中国科学院责无旁贷。通过对国内外科技评价指标体系进行分析研究发现,科技竞争力指标主要包括人力资源、创新投入、创新产出及科学发展四大部分,各部分又根据不同国家与机构特点设置不同细分指标。参照国内外科技评价指标体系,并结合中国科学院科技发展中各方面影响因素,将中国科学院科技态势感知指标体系的一级指标设为科研人才、科研投入、科研产出与科研发展四部分。其中,科研人才细分指标除了包括职工、学生等人力资源基本指标要素,还涵盖了具有中国科学院特色的院士、百千****等高端人才指标。科研投入细分指标除了经费、设备投入情况,还包括院内涉及较多的项目（先导专项、基金委项目等）及交流合作方面的投入指标。科研产出细分指标包括论文、专利的发表、被引等情况,科研发展细分指标主要包括国家科技奖的一些奖项指标。整体来说,指标体系以科技评价指标要素为基础,结合科学院自身发展特点设计而成,包括4个一级指标,18个二级指标,232个三级指标,全面覆盖院所两级领导所关心的主要指标,为综合评判中国科学院整体科技竞争力提供决策依据。中国科学院科技态势感知指标体系（表4）已在科研管理态势感知系统中初步应用[23]。态势感知系统以态势感知指标体系为基础,包括科研投入、科研产出、科研人才、科研发展、教育态势及多维比较六大模块,通过多模态可视化应用展示的实现,从“态”和“势”两个维度,集中展现和预判中国科学院科研和教育发展状态及未来发展趋势,辅助领导决策。科研管理态势感知系统如图3所示。
Table 4
表4
表4科研管理态势感知指标体系
Table 4
 |
新窗口打开|下载CSV
图3
新窗口打开|下载原图ZIP|生成PPT图3科研管理态势感知可视化展示页面
Fig.3Visual display page of scientific research management situation awareness
通过对科技领域主要评估方法与国内外主流科技竞争力评估模型进行对比分析研究（表5、表6）,综合考虑各种评估方法/模型的优缺点及适用场景,为提升评估结果之间的兼容性,减少不同权重可能引起的非议及问题放大,减少主观因素影响,中国科学院科技态势感知评估模型采用底层等权加和法,即将最底层的基础指标以等权的方式相加,之后累计求均值。
Table 5
表5
表5科技领域主要评估方法
Table 5
 |
新窗口打开|下载CSV
Table 6
表6
表6国内外主流科技竞争力评估模型
Table 6
 |
新窗口打开|下载CSV
计算前,首先需要将各指标进行无量纲化,即将不同量纲通过变换,变为无量纲的标准指标。标准指标一般分为两类,一类为正向指标,指标值越大越好,一类是逆向指标,指标值越小越好。无量纲化采用极差变换法,对于正向指标,取
$y_{i j}=\frac{x_{i j}-\min _{1 \leqslant i \leqslant m} x_{i j}}{\max _{1 \leqslant i \leqslant m} x_{i j}-\min _{1 \leqslant i \leqslant m} x_{i j}},(1 \leqslant i \leqslant m, 1 \leqslant j \leqslant n)$
对于逆向指标,取
$y_{i j}=\frac{\max _{1 \leqslant i \leqslant m} x_{i j}-x_{i j}}{\max _{1 \leqslant i \leqslant m} x_{i j}-\min _{k \leqslant i \leqslant m} x_{i j}},(1 \leqslant i \leqslant m, 1 \leqslant j \leqslant n)$
经过极差变换后,标准值均在0-1之间,且正逆向指标均化为正向指标,最优值为1,最劣值为0。
本指标体系共包含三个层级,研究筛选出对科技竞争力有突出影响、且能体现我院特色的指标项进行模型计算,包括学术带头人等5项一级指标,高端人才等8项二级指标,中国科学院院士等46项三级指标,并按类型限定指标方向。模型计算时,首先对三级指标进行数据标准化,然后将标准化的数据平均作为上层指标得分,以此类推,最终得分作为综合科技竞争评估依据。评估模型指标项如表7所示。
Table 7
表7
表7科研管理态势感知评估模型指标项
Table 7
 |
新窗口打开|下载CSV
6 结语
世界经济正在经历翻天覆地的变化,科技创新成为促进经济增长的关键因素[24-26]。借助科技竞争力分析国家/机构间的差距,进而提升其科技创新能力成为世界关注的焦点。本文以中国科学院为研究对象,参考国际主流科技竞争力评价方法与评估体系,设计了表征中国科学院科技发展态势的指标体系与评估模型。目前指标体系仍处于初步试用阶段,评估模型还需进行数据验证,后续将进一步开展相关研究工作,通过汇聚更多科技管理数据对指标体系与评估模型进行不断修正完善,进而更好地对中国科学院科技竞争力进行评估,为管理决策提供数据支撑。利益冲突声明
所有作者声明不存在利益冲突关系。参考文献 原文顺序
文献年度倒序
文中引用次数倒序
被引期刊影响因子
[J].
[本文引用: 1]
[本文引用: 1]
[J].
[本文引用: 2]
[J].
[本文引用: 3]
[J].
[本文引用: 1]
[R].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[R].
[R].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[R].
[R].
[本文引用: 1]
[J].
[本文引用: 2]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[本文引用: 1]
[J].
[J].
[本文引用: 1]
