6月28日，中国科学院心理研究所左西年研究员与合作者在《自然-人类行为》上发表题为《Harnessing reliability for neuroscience research》的评论文章，以神经科学为例，聚焦神经影像技术，提出了个体差异测量信效度统计学框架。在此框架下，个体差异的测量由三部分组成（图1）：研究对象（疾病或特质）特异的变化、研究对象非特异的变化、随机错误，其中前两者是个体间差异测量，随机错误则是个体内差异测量。个体差异测量的信度是个体间差异测量所占比例，而疾病或特质特异变化所占比例则是个体差异测量的效度。由此，测量的信度就像一个瓶子的盖子一样，牢牢地限制住了测量的效度，不可信的测量永远不可能有效；与此同时，测量的个体间差异越大，其信度越高，测量的个体内差异越小，其信度越高；最后，测量信度越高，其检测统计效应所需样本量越小。基于上述的三项测量信效度统计规律，加之效度无法直接测量，因此信度对个体差异的基础研究和应用转化至关重要。
图1：个体差异测量的信效度
近十年来，神经影像领域已经积累了大型数据集，成千上万的数据已经上线并公开，涵盖人类不同发展阶段和脑障碍。由此催生的开放式神经科学，推动了大型化脑科学（比如人工智能和脑疾病生物标记物）研究。个体差异研究的基础是统计力度，其决定了检测实验效应的能力。大样本量是提高统计力度的因素之一，然而如果测量信度不够，就会产生对大样本量的不必要需求。在此评论文章中，研究团队采用蒙特卡洛方法对信度、样本量和效应量之间的关系进行了数值模拟，结果揭示：在神经影像领域，潜在效应量较小，测量的信度局限将会极大地增加研究对样本量的需求（图2）。神经影像测量的信度研究表明：现有数据中极少有足够的个体数据能获得高度可信的脑连接测量。各国推出的各类大型脑计划中，个体差异的基础和转化研究（教育和临床）是中国脑计划的核心和特色，首要解决的基础科学问题是测量信效度，据此优化和标准化大型数据测量规范，防止产生大量的低质量数据样本。
图2：信度、样本量和效应量之间关系
神经影像领域的各类实验所采用测量的信度水平不一。以磁共振成像为例，脑形态测量最为可信，体素或区域信度可达到临床转化研究对信度的要求（大于0.8）；功能磁共振的测量则要低很多，并且依赖于扫描时间长短，其中认知任务功能磁共振测量因为实验设计直接来源于实验心理学领域的行为实验，个体间差异受到局限，导致其测量信度很低。从统计学的角度，低可信度的测量加上小样本将增加科学研究的假阳性率，降低了研究间的可重复性，这在基因组学已经被视为领域挑战并经长期研究来试图克服。反过来讲，高可信度测量的研究结果在科学期刊上出现得更为频繁，比如默认网络和额顶网络的测量可信度更高[3,4]，因此就可能在各类研究中更易于被检测到，这种在各类脑疾病和个体差异研究出现的现象可能只是其测量信度高的一种表现，而并不是其实验效应特异性的体现。
本评论文章的主要目的是推动整个生命科学领域关注测量信度的评测与优化。特别是神经科学领域，通常对这一问题未给予足够重视，无论测量手段是影像、电生理、神经炎症标记物、微生物组学，还是认知神经科学范式、私人穿戴设备等，都应将测量信度及其决定因素作为基本问题来研究。为应对上述挑战，近十年来，心理所与国际合作团队一起，针对个体差异测量理论进行长期而系统的部署，重点培育“心理行为的个体差异及其毕生发展规律与应用”研究方向，领衔建立了“国际信度与可重复性联盟”，提出了大型脑智毕生发展项目“彩巢计划-成长在中国”，参与北京市脑计划，创建并主办双年度“国际人脑发展会议”，为参与和推动国家脑计划做出了具有国际影响力的贡献，更为详细的信度解决方案和未来研究方向请参见评论文章。
神经科学家致力于将基础研究成果转化为临床工具，检测和优化测量的信度必须成为这些转化研究的前提和常规，而这需要科研人员改进当前的研究实践、需要科研基金管理部门的支持，共同产生开放社区资源以用于这些基本特性的定量化。本文基于团队就测量信效度长期研究积累而成，特别是两项大型人脑神经科学计划CoRR和R3BRAIN，受国家科技部973课题2015CB351702支持。
相关阅读和文献：
[1] Harnessing reliability for neuroscience research. Nature Human Behaviour (2019).
[2] Assessment of the impact of shared brain imaging data on the scientific literature. Nature Communications 9: 2818 (2018).
[3] Test-retest reliabilities of resting-state FMRI measurements in human brain functional connectomics: a systems neuroscience perspective. Neuroscience & Biobehavioral Reviews 45: 100-118 (2014).
[4] Individual variability and test-retest reliability revealed by ten repeated resting-state brain scans over one month. PLoS One 10: e0144963 (2015).
[5] An open science resource for establishing reliability and reproducibility in functional connectomics. Scientific Data 1: 140049 (2014).
[6] Human connectomics across the life span. Trends in Cognitive Sciences 21: 32-45 (2017).
[7] 彩巢计划－“成长在中国”. 科学通报 62: 3008-3022 (2017).
[8] The anatomy of reliability: a must read for future human brain mapping. Science Bulletin 63: 1606-1607 (2018).
[9] Editorial: Reliability and reproducibility in functional connectomics. Frontiers in Neuroscience: Brain Imaging Methods 13: 117 (2019).
[10] R3BRAIN: An open science resource for reliability, reproducibility and replicability. OHBM poster (2019).
