朱海腾()

陆军炮兵防空兵学院军政基础系, 合肥 230031

收稿日期:2019-12-06出版日期:2020-08-15发布日期:2020-06-28
通讯作者:朱海腾E-mail:prettypig1990@sina.com

Data aggregation adequacy testing in multilevel research: A critical literature review and preliminary solutions to key issues

ZHU Haiteng()

Department of Military and Ideological Basic Education, PLA Army Academy of Artillery and Air Defense, Hefei 230031, China

Received:2019-12-06Online:2020-08-15Published:2020-06-28
Contact:ZHU Haiteng E-mail:prettypig1990@sina.com

摘要/Abstract

摘要： 组织管理领域的多层次研究经常需要测量共享单位特性构念, 常用方法是将单位内若干个体成员的评分聚合到单位层次, 确保聚合后的分数具有充分代表性的统计前提是通过聚合适当性检验。聚合适当性检验的常用指标是组内一致性r_WG和组内信度ICC(1)、ICC(2), 但目前学界对于这两类指标何者更优、r_WG的原分布选择和数据清理、各指标的划界值等关键问题存在诸多争议。为此, 首先对国内9份管理学、心理学期刊2014年以来发表的166篇包含聚合适当性检验的论文进行内容分析, 并以Journal of Applied Psychology上的85篇论文为对比, 查明常规实践中的共性问题, 进而提出实践建议:(1)明确功能定位, 将r_WG作为聚合适当性指标, ICC(1)和ICC(2)分别作为效度、信度指标。(2)计算r_WG时审慎选择原分布, 排除组内一致性过低的组。(3)为各指标设定更加合理、有适度灵活性的划界值, 停止使用武断、粗糙的经验标准。最后, 强调研究者在模型构建和聚合决策中应加强理论考量, 避免片面依赖统计检验结果。

图/表 10

表1样本文献发表情况

期刊	影响因子a	发表年度及数量						总计
		2014	2015	2016	2017	2018	2019
管理世界	7.260	1	1	1	0	1	2	6
南开管理评论	6.953	1	5	7	2	3	1	19
管理科学	5.158	1	1	4	1	4	3	14
管理评论	4.668	4	5	3	7	4	2	25
科研管理	4.280	4	4	2	2	5	5	22
管理学报	3.813	3	6	3	5	4	12	33
管理工程学报	2.968	0	3	5	3	1	1	13
心理学报	3.285	5	5	3	3	3	6	25
心理科学	1.641	1	1	2	1	1	3	9
JAP	5.067	23	21	16	9	11	5	85
合计	—	43	52	46	35	37	40	251

表1样本文献发表情况

期刊	影响因子a	发表年度及数量						总计
		2014	2015	2016	2017	2018	2019
管理世界	7.260	1	1	1	0	1	2	6
南开管理评论	6.953	1	5	7	2	3	1	19
管理科学	5.158	1	1	4	1	4	3	14
管理评论	4.668	4	5	3	7	4	2	25
科研管理	4.280	4	4	2	2	5	5	22
管理学报	3.813	3	6	3	5	4	12	33
管理工程学报	2.968	0	3	5	3	1	1	13
心理学报	3.285	5	5	3	3	3	6	25
心理科学	1.641	1	1	2	1	1	3	9
JAP	5.067	23	21	16	9	11	5	85
合计	—	43	52	46	35	37	40	251

表2样本文献的rWG结果报告情况

报告项目	报告数量 (按变量计)a		报告数量 (按文献计)b
	n	%	n	%
均值	313c/157	87.43/72.69	138/53	88.46/74.65
中位数	92/76	25.70/35.19	41/29	26.28/40.85
范围	53/13	14.80/6.02	21/6	13.46/8.45
达到划界值的组数或比例	32/4	8.94/1.85	12/3	7.69/4.23
计算依据的原分布	8/31	2.23/14.35	3/15	1.92/21.13

表2样本文献的rWG结果报告情况

报告项目	报告数量 (按变量计)a		报告数量 (按文献计)b
	n	%	n	%
均值	313c/157	87.43/72.69	138/53	88.46/74.65
中位数	92/76	25.70/35.19	41/29	26.28/40.85
范围	53/13	14.80/6.02	21/6	13.46/8.45
达到划界值的组数或比例	32/4	8.94/1.85	12/3	7.69/4.23
计算依据的原分布	8/31	2.23/14.35	3/15	1.92/21.13

表3样本文献中基于均等分布的rWG值的描述性统计

来源	统计量	n	M	SD	Me	范围	达到相应值的变量数量及比例
							≥0.7	≥0.8	≥0.9
中文文献	rWG均值	313	0.871	0.071	0.876	0.572~0.990	311 (99.36%)	265 (84.66%)	134 (42.81%)
	rWG中位数	92	0.908	0.067	0.926	0.750~0.980	92 (100%)	84 (91.30%)	65 (70.65%)
JAP文献	rWG均值	148	0.840	0.084	0.840	0.630~0.990	142 (95.95%)	102 (68.92%)	42 (28.38%)
	rWG中位数	74	0.878	0.089	0.895	0.610~0.990	70 (94.59%)	61 (82.43%)	37 (50.00%)

表3样本文献中基于均等分布的rWG值的描述性统计

来源	统计量	n	M	SD	Me	范围	达到相应值的变量数量及比例
							≥0.7	≥0.8	≥0.9
中文文献	rWG均值	313	0.871	0.071	0.876	0.572~0.990	311 (99.36%)	265 (84.66%)	134 (42.81%)
	rWG中位数	92	0.908	0.067	0.926	0.750~0.980	92 (100%)	84 (91.30%)	65 (70.65%)
JAP文献	rWG均值	148	0.840	0.084	0.840	0.630~0.990	142 (95.95%)	102 (68.92%)	42 (28.38%)
	rWG中位数	74	0.878	0.089	0.895	0.610~0.990	70 (94.59%)	61 (82.43%)	37 (50.00%)

表4样本文献中ICC(1)值的描述性统计

来源	n	M	SD	Me	范围	达到相应值的数量及比例
						≥0.12	≥0.20	≥0.30	≥0.40
中文文献	336a	0.276	0.141	0.250	0.011~0.790	304 (90.48%)	231 (68.75%)	127 (37.80%)	61 (18.15%)
JAP文献	247	0.241	0.157	0.210	0.010~0.851	195 (78.95%)	132 (53.44%)	69 (27.94%)	39 (15.79%)

表4样本文献中ICC(1)值的描述性统计

来源	n	M	SD	Me	范围	达到相应值的数量及比例
						≥0.12	≥0.20	≥0.30	≥0.40
中文文献	336a	0.276	0.141	0.250	0.011~0.790	304 (90.48%)	231 (68.75%)	127 (37.80%)	61 (18.15%)
JAP文献	247	0.241	0.157	0.210	0.010~0.851	195 (78.95%)	132 (53.44%)	69 (27.94%)	39 (15.79%)

表5样本文献中ICC(2)值的描述性统计

来源	n	M	SD	Me	范围	达到相应值的数量及比例
						≥0.6	≥0.7	≥0.8	≥0.9
中文文献	322a	0.695	0.177	0.714	0.047~0.991	241 (74.84%)	185 (57.45%)	93 (28.88%)	35 (10.87%)
JAP文献	232	0.596	0.204	0.630	0.100~0.980	133 (57.33%)	84 (36.21%)	36 (15.52%)	14 (6.03%)

表5样本文献中ICC(2)值的描述性统计

来源	n	M	SD	Me	范围	达到相应值的数量及比例
						≥0.6	≥0.7	≥0.8	≥0.9
中文文献	322a	0.695	0.177	0.714	0.047~0.991	241 (74.84%)	185 (57.45%)	93 (28.88%)	35 (10.87%)
JAP文献	232	0.596	0.204	0.630	0.100~0.980	133 (57.33%)	84 (36.21%)	36 (15.52%)	14 (6.03%)

表6样本文献使用的划界值统计

指标	划界值	被引 次数	主要源文献
rWG	0.7	96/12	James等(1982, 1984, 1993) (41/10)a
ICC(1)	0.05	28/1	Bliese (1998, 2000) (12/28)
	0.1	11/0	LeBreton & Senter (2008) (2/18)
	0.12	32/4	Schneider等(1998) (10/1)
ICC(2)	0.47	10/0	Klein & Kozlowski (2000) (4/3)
	0.5	34/0	Glick (1985) (0/5)
	0.6	7/4	张志学(2010) (3/0)
	0.7	30/7

表6样本文献使用的划界值统计

指标	划界值	被引 次数	主要源文献
rWG	0.7	96/12	James等(1982, 1984, 1993) (41/10)a
ICC(1)	0.05	28/1	Bliese (1998, 2000) (12/28)
	0.1	11/0	LeBreton & Senter (2008) (2/18)
	0.12	32/4	Schneider等(1998) (10/1)
ICC(2)	0.47	10/0	Klein & Kozlowski (2000) (4/3)
	0.5	34/0	Glick (1985) (0/5)
	0.6	7/4	张志学(2010) (3/0)
	0.7	30/7

表7示例数据

分组	评分者A	评分者B	评分者C	评分者D	组均分	组内变异	rWG(1)a
小组1	2	4	3	3	3.00	0.67	0.90
小组2	5	7	5	6	5.75	0.92	0.86
小组3	1	3	1	2	1.75	0.92	0.86
小组4	7	9	9	8	8.25	0.92	0.86
小组5	2	4	6	1	3.25	4.92	0.26
小组6	6	8	8	4	6.50	3.67	0.45

表7示例数据

分组	评分者A	评分者B	评分者C	评分者D	组均分	组内变异	rWG(1)a
小组1	2	4	3	3	3.00	0.67	0.90
小组2	5	7	5	6	5.75	0.92	0.86
小组3	1	3	1	2	1.75	0.92	0.86
小组4	7	9	9	8	8.25	0.92	0.86
小组5	2	4	6	1	3.25	4.92	0.26
小组6	6	8	8	4	6.50	3.67	0.45

表8组织管理研究中常见的反应偏差及原分布

反应偏差	描述	对应的原分布	部分适用情境
社会赞许性	指评定者倾向于按 照他人期望的方式 做出评定	偏态分布 (轻/中/重度偏态)	1.测量的是对工作环境的感知和评价(特别是带有负效价的构念), 如团队负性情绪氛围、团队冲突、辱虐管理等 2.无法保证问卷的匿名性(例如在领导-部属配对调查中使用编号、代号等以便识别评定者的身份)
趋中偏差	指评定者倾向于隐 藏真实态度, 选择中 立的选项	三角形分布 正态分布	1.题项含义模糊、表述不清或过于复杂 2.评定者缺乏专门培训 3.评定者缺乏参与动机, 不愿表明态度 4.做出的回答牵涉到评定者的个人利益且无法保证匿名 5.集体主义文化中的个体评价自己的绩效和工作表现
宽大偏差	指评定者倾向于做 出比自己的真实态 度更加积极的评定	偏态分布 (轻/中/重度偏态)	1.评价主管的积极领导力和其他组织所重视的优良特质时(在进行面对面或非匿名的评价时, 或评定者具有高权力距离取向和集体主义价值观时, 宽大偏差会加重, 导致中度到重度偏态) 2.评价同事和团队的绩效和其他积极特质时 3.主管为了得到部属的支持或展现自己的领导能力, 在评价部属的绩效时会打分偏高

表8组织管理研究中常见的反应偏差及原分布

反应偏差	描述	对应的原分布	部分适用情境
社会赞许性	指评定者倾向于按 照他人期望的方式 做出评定	偏态分布 (轻/中/重度偏态)	1.测量的是对工作环境的感知和评价(特别是带有负效价的构念), 如团队负性情绪氛围、团队冲突、辱虐管理等 2.无法保证问卷的匿名性(例如在领导-部属配对调查中使用编号、代号等以便识别评定者的身份)
趋中偏差	指评定者倾向于隐 藏真实态度, 选择中 立的选项	三角形分布 正态分布	1.题项含义模糊、表述不清或过于复杂 2.评定者缺乏专门培训 3.评定者缺乏参与动机, 不愿表明态度 4.做出的回答牵涉到评定者的个人利益且无法保证匿名 5.集体主义文化中的个体评价自己的绩效和工作表现
宽大偏差	指评定者倾向于做 出比自己的真实态 度更加积极的评定	偏态分布 (轻/中/重度偏态)	1.评价主管的积极领导力和其他组织所重视的优良特质时(在进行面对面或非匿名的评价时, 或评定者具有高权力距离取向和集体主义价值观时, 宽大偏差会加重, 导致中度到重度偏态) 2.评价同事和团队的绩效和其他积极特质时 3.主管为了得到部属的支持或展现自己的领导能力, 在评价部属的绩效时会打分偏高

表9部分条件组合下rWG(J)的临界值

原分布	N	ρ	5点计分			7点计分
			3题	5题	10题	3题	5题	10题
均等	5	0.4	0.74	0.76	0.83	0.75	0.77	0.84
	5	0.6	0.79	0.81	0.88	0.78	0.82	0.88
	10	0.4	0.57	0.63	0.73	0.57	0.64	0.74
	10	0.6	0.61	0.68	0.78	0.61	0.70	0.80
三角形	5	0.4	0.78	0.81	0.86	0.78	0.81	0.86
	5	0.6	0.82	0.85	0.90	0.82	0.85	0.90
	10	0.4	0.65	0.70	0.78	0.64	0.70	0.79
	10	0.6	0.68	0.75	0.84	0.69	0.76	0.84
轻度偏态	5	0.4	0.80	0.83	0.88	0.81	0.83	0.88
	5	0.6	0.85	0.87	0.91	0.84	0.87	0.92
	10	0.4	0.67	0.73	0.80	0.67	0.72	0.81
	10	0.6	0.71	0.77	0.85	0.71	0.77	0.85

表9部分条件组合下rWG(J)的临界值

原分布	N	ρ	5点计分			7点计分
			3题	5题	10题	3题	5题	10题
均等	5	0.4	0.74	0.76	0.83	0.75	0.77	0.84
	5	0.6	0.79	0.81	0.88	0.78	0.82	0.88
	10	0.4	0.57	0.63	0.73	0.57	0.64	0.74
	10	0.6	0.61	0.68	0.78	0.61	0.70	0.80
三角形	5	0.4	0.78	0.81	0.86	0.78	0.81	0.86
	5	0.6	0.82	0.85	0.90	0.82	0.85	0.90
	10	0.4	0.65	0.70	0.78	0.64	0.70	0.79
	10	0.6	0.68	0.75	0.84	0.69	0.76	0.84
轻度偏态	5	0.4	0.80	0.83	0.88	0.81	0.83	0.88
	5	0.6	0.85	0.87	0.91	0.84	0.87	0.92
	10	0.4	0.67	0.73	0.80	0.67	0.72	0.81
	10	0.6	0.71	0.77	0.85	0.71	0.77	0.85

表10共享单位特性构念的信效度检验程序

步骤	推荐做法	不恰当的做法	补充说明
I.准备阶段	1.阐明共享单位特性构念所在的层次及理论依据 2.报告预先设定的各指标的划界值, 需简述理由或引用相关文献	1.忽视对构念所在层次的思考和讨论 2.固守陈旧的不合理的划界值; 无根据地任意选取划界值; 不明确报告划界值; 文献引用不当	对构念所在层次的阐述应置于理论模型构建部分(先于方法部分)
II.聚合适当性检验	1.报告拟使用的原分布(至少2种)及理由 2.分别报告各原分布下全样本的rWG均值、中位数、范围、达到划界值的组的比例、因不达标而被剔除的组的数量	1.只使用均等分布 2.无根据地选取原分布 3.结果报告不全, 如只报告rWG均值 4.对rWG值不达标的组不加处理	应检查每个样本组的rWG值, 将rWG值不达标和过高的组排除出后续分析; 如果不合格的组过多, 建议检查施测过程、补充数据
III.效度检验	1.报告ICC(1)值和方差分析的F检验结果 2.报告多层次验证性因子分析结果	把高层次构念与个体层次构念放在一起, 执行常规的单层次验证性因子分析	1.如果ICC(1)较小, 构念间的关系可能被低估, 应在文中讨论这种局限性 2.如果组数较少, 多层次验证性因子分析容易出现收敛困难或估计偏差
IV.信度检验	1.报告ICC(2)值(聚合信度) 2.如可以实现多层次验证性因子分析, 还应计算组间的Cronbach’s α或ω系数、H系数(心理测量学信度)	忽视组间结构, 以单层次的Cronbach’s α作为整体信度指标	当组内人数较多时, ICC(2)容易膨胀, 需确保ICC(1)足够大; 当组内人数较少时, 如果ICC(1)较大, 略小的ICC(2)亦可接受

表10共享单位特性构念的信效度检验程序

步骤	推荐做法	不恰当的做法	补充说明
I.准备阶段	1.阐明共享单位特性构念所在的层次及理论依据 2.报告预先设定的各指标的划界值, 需简述理由或引用相关文献	1.忽视对构念所在层次的思考和讨论 2.固守陈旧的不合理的划界值; 无根据地任意选取划界值; 不明确报告划界值; 文献引用不当	对构念所在层次的阐述应置于理论模型构建部分(先于方法部分)
II.聚合适当性检验	1.报告拟使用的原分布(至少2种)及理由 2.分别报告各原分布下全样本的rWG均值、中位数、范围、达到划界值的组的比例、因不达标而被剔除的组的数量	1.只使用均等分布 2.无根据地选取原分布 3.结果报告不全, 如只报告rWG均值 4.对rWG值不达标的组不加处理	应检查每个样本组的rWG值, 将rWG值不达标和过高的组排除出后续分析; 如果不合格的组过多, 建议检查施测过程、补充数据
III.效度检验	1.报告ICC(1)值和方差分析的F检验结果 2.报告多层次验证性因子分析结果	把高层次构念与个体层次构念放在一起, 执行常规的单层次验证性因子分析	1.如果ICC(1)较小, 构念间的关系可能被低估, 应在文中讨论这种局限性 2.如果组数较少, 多层次验证性因子分析容易出现收敛困难或估计偏差
IV.信度检验	1.报告ICC(2)值(聚合信度) 2.如可以实现多层次验证性因子分析, 还应计算组间的Cronbach’s α或ω系数、H系数(心理测量学信度)	忽视组间结构, 以单层次的Cronbach’s α作为整体信度指标	当组内人数较多时, ICC(2)容易膨胀, 需确保ICC(1)足够大; 当组内人数较少时, 如果ICC(1)较大, 略小的ICC(2)亦可接受

参考文献 75

[1]	毕向阳. (2019). 基于多水平验证性因子分析的城市社区社会资本测量——实例研究及相关方法综述. 社会学研究, (6), 213-237.
[2]	邓今朝, 喻梦琴, 丁栩平. (2018). 员工建言行为对团队创造力的作用机制. 科研管理, 39(12), 171-178.
[3]	方杰, 邱皓政, 张敏强. (2011). 基于多层结构方程模型的情境效应分析——兼与多层线性模型比较. 心理科学进展, 19(2), 284-292.
[4]	方杰, 张敏强, 邱皓政. (2010). 基于阶层线性理论的多层级中介效应. 心理科学进展, 18(8), 1329-1338.
[5]	韩志伟, 刘丽红. (2019). 团队领导组织公民行为的有效性: 以双维认同为中介的多层次模型检验. 心理科学, 42(1), 137-143.
[6]	蒋丽, 李永娟, 田晓明. (2012). 气氛强度: 理论基础及其研究框架. 心理科学, 35(6), 1466-1473.
[7]	李敏, 周恋. (2015). 基于工会直选调节作用的劳动关系氛围、心理契约破裂感知和工会承诺的关系研究. 管理学报, 12(3), 364-371.
[8]	廖卉, 庄瑷嘉. (2012). 多层次理论模型的建立及研究方法. 见陈晓萍, 徐淑英, 樊景立(编), 组织与管理研究的实证方法(第二版) (pp. 442-476). 北京: 北京大学出版社.
[9]	林钲棽, 彭台光. (2006). 多层次管理研究: 分析层次的概念、理论和方法. 管理学报(台), 23(6), 649-675.
[10]	罗胜强, 姜嬿. (2014). 管理学问卷调查研究方法. 重庆: 重庆大学出版社.
[11]	吕洁, 张钢. (2015). 知识异质性对知识型团队创造力的影响机制: 基于互动认知的视角. 心理学报, 47(4), 533-544.
[12]	马君, 张昊民, 杨涛. (2015). 绩效评价、成就目标导向对团队成员工作创新行为的跨层次影响. 管理工程学报, 29(3), 62-71.
[13]	田雪垠, 郑蝉金, 郭少阳, 贺冠瑞. (2019). 基于多层验证性因素分析的各种信度系数方法. 心理学探新, 39(5), 461-467.
[14]	王孟成, 毕向阳. (2018). 潜变量建模与Mplus应用·进阶篇. 重庆: 重庆大学出版社.
[15]	温福星, 邱皓政. (2015). 多层次模式方法论: 阶层线性模式的关键问题与试解. 北京: 经济管理出版社.
[16]	辛自强. (2018). 心理学研究方法新进展. 北京: 北京师范大学出版社.
[17]	徐晓锋, 刘勇. (2007). 评分者内部一致性的研究和应用. 心理科学, 30(5), 1175-1178.
[18]	杨建锋, 王重鸣. (2008). 类内相关系数的原理及其应用. 心理科学, 31(2), 434-437.
[19]	于海波, 方俐洛, 凌文辁. (2004). 组织研究中的多层面问题. 心理科学进展, 12(2), 462-471.
[20]	张勇, 龙立荣, 贺伟. (2014). 绩效薪酬对员工突破性创造力和渐进性创造力的影响. 心理学报, 46(12), 1880-1896.
[21]	张志学. (2010). 组织心理学研究的情境化及多层次理论. 心理学报, 42(1), 10-21.
[22]	Bartko, J. J. (1976). On various intraclass correlation reliability coefficients. Psychological Bulletin, 83(5), 762-765.
[23]	Biemann, T., Cole, M. S., & Voelpel, S. (2012). Within- group agreement: On the use (and misuse) of rWG and rWG(J) in leadership research and some best practice guidelines. The Leadership Quarterly, 23(1), 66-80.
[24]	Bliese, P. D. (1998). Group size, ICC values, and group-level correlations: A simulation. Organizational Research Methods, 1(4), 355-373.
[25]	Bliese, P. D. (2000). Within-group agreement, non-independence, and reliability: Implications for data aggregation and analysis. In K. J. Klein & S. W. J. Kozlowski (Eds.), Multilevel theory, research, and methods in organizations (pp. 349-381). San Francisco: Jossey-Bass.
[26]	Bliese, P. D., Maltarich, M. A., Hendricks, J. L., Hofmann, D. A., & Adler, A. B. (2019). Improving the measurement of group-level constructs by optimizing between-group differentiation. Journal of Applied Psychology, 104(2), 293-302. URLpmid: 30221952
[27]	Brown, R. D., & Hauenstein, N. M. A. (2005). Interrater agreement reconsidered: An alternative to the rwg indices. Organizational Research Methods, 8(2), 165-184.
[28]	Burke, M. J., Cohen, A., Doveh, E., & Smith-Crowe, K. (2018). Central tendency and matched difference approaches for assessing interrater agreement. Journal of Applied Psychology, 103(11), 1198-1229. URLpmid: 29963898
[29]	Carron, A. V., Brawley, L. R., Eys, M. A., Bray, S., Dorsch, K., Estabrooks, P., … Terry, P. C. (2003). Do individual perceptions of group cohesion reflect shared beliefs? An empirical analysis. Small Group Research, 34(4), 468-496.
[30]	Castro, S. L. (2002). Data analytic methods for the analysis of multilevel questions: A comparison of intraclass correlation coefficients, rwg ( j), hierarchical linear modeling, within- and between-analysis, and random group resampling. The Leadership Quarterly, 13(1), 69-93.
[31]	Chan, D. (1998). Functional relations among constructs in the same content domain at different levels of analysis: A typology of composition models. Journal of Applied Psychology, 83(2), 234-246.
[32]	Cohen, A., Doveh, E., & Eick, U. (2001). Statistical properties of the rWG ( J) index of agreement. Psychological Methods, 6(3), 297-310. URLpmid: 11570234
[33]	Cohen, A., Doveh, E., & Nahum-Shani, I. (2009). Testing agreement for multi-item scales with the indices rWG(J) and ADM(J). Organizational Research Methods, 12(1), 148-164.
[34]	Dixon, M. A., & Cunningham, G. B. (2006). Data aggregation in multilevel analysis: A review of conceptual and statistical issues. Measurement in Physical Education and Exercise Science, 10(2), 85-107.
[35]	Dunlap, W. P., Burke, M. J., & Smith-Crowe, K. (2003). Accurate tests of statistical significance for rWG and average deviation interrater agreement indexes. Journal of Applied Psychology, 88(2), 356-362. doi: 10.1037/0021-9010.88.2.356URLpmid: 12731720
[36]	Dyer, N. G., Hanges, P. J., & Hall, R. J. (2005). Applying multilevel confirmatory factor analysis techniques to the study of leadership. The Leadership Quarterly, 16(1), 149-167.
[37]	Farmer, S. M., Van Dyne, L., & Kamdar, D. (2015). The contextualized self: How team-member exchange leads to coworker identification and helping OCB. Journal of Applied Psychology, 100(2), 583-595. URLpmid: 25111250
[38]	Geldhof, G. J., Preacher, K. J., & Zyphur, M. J. (2014). Reliability estimation in a multilevel confirmatory factor analysis framework. Psychological Methods, 19(1), 72-91. URLpmid: 23646988
[39]	George, J. M., & James, L. R. (1993). Personality, affect, and behavior in groups revisited: Comment on aggregation, levels of analysis, and a recent application of within and between analysis. Journal of Applied Psychology, 78(5), 798-804.
[40]	Glick, W. H. (1985). Conceptualizing and measuring organizational and psychological climate: Pitfalls in multilevel research. Academy of Management Review, 10(3), 601-616.
[41]	González-Romá, V. (2019). Three issues in multilevel research. The Spanish Journal of Psychology, 22(e4), 1-7.
[42]	James, L. R. (1982). Aggregation bias in estimates of perceptual agreement. Journal of Applied Psychology, 67(2), 219-229.
[43]	James, L. R., Demaree, R. G., & Wolf, G. (1984). Estimating within-group interrater reliability with and without response bias. Journal of Applied Psychology, 69(1), 85-98.
[44]	James, L. R., Demaree, R. G., & Wolf, G. (1993). rwg: An assessment of within-group interrater agreement. Journal of Applied Psychology, 78(2), 306-309.
[45]	Jebb, A. T., Tay, L., Ng, V., & Woo, S. (2019). Construct validation in multilevel studies. In S. E. Humphrey & J. M. LeBreton (Eds.), The handbook of multilevel theory, measurement, and analysis (pp. 253-278). Washington, DC: American Psychological Association.
[46]	Jiang, K., Chuang, C.-H., & Chiao, Y.-C. (2015). Developing collective customer knowledge and service climate: The interaction between service-oriented high-performance work systems and service leadership. Journal of Applied Psychology, 100(4), 1089-1106. URLpmid: 25486260
[47]	Kirkman, B. L., Tesluk, P. E., & Rosen, B. (2001). Assessing the incremental validity of team consensus ratings over aggregation of individual-level data in predicting team effectiveness. Personnel Psychology, 54(3), 645-667.
[48]	Klein, K. J., Conn, A. B., Smith, D. B., & Sorra, J. S. (2001). Is everyone in agreement? An exploration of within-group agreement in employee perceptions of the work environment. Journal of Applied Psychology, 86(1), 3-16. URLpmid: 11302231
[49]	Klein, K. J., & Kozlowski, S. W. J. (2000). From micro to meso: Critical steps in conceptualizing and conducting multilevel research. Organizational Research Methods, 3(3), 211-236.
[50]	Kozlowski, S. W. J., & Hattrup, K. (1992). A disagreement about within-group agreement: Disentangling issues of consistency versus consensus. Journal of Applied Psychology, 77(2), 161-167. doi: 10.1037/0021-9010.77.2.161URL
[51]	Kozlowski, S. W. J., & Klein, K. J. (2000). A multilevel approach to theory and research in organizations: Contextual, temporal, and emergent processes. In K. J. Klein & S. W. J. Kozlowski (Eds.), Multilevel theory, research, and methods in organizations (pp. 3-90). San Francisco: Jossey-Bass.
[52]	Krasikova, D. V., & LeBreton, J. M. (2019). Multilevel measurement: Agreement, reliability, and nonindependence. In S. E. Humphrey & J. M. LeBreton (Eds.), The handbook of multilevel theory, measurement, and analysis (pp. 279-304). Washington, DC: American Psychological Association.
[53]	Lance, C. E., Butts, M. M., & Michels, L. C. (2006). The sources of four commonly reported cutoff criteria: What did they really say? Organizational Research Methods, 9(2), 202-220.
[54]	Lang, J. W. B., Bliese, P. D., & de Voogt, A. (2018). Modeling consensus emergence in groups using longitudinal multilevel methods. Personnel Psychology, 71(2), 255-281.
[55]	Lang, J. W. B., Bliese, P. D., & Runge, J. M. (in press). Detecting consensus emergence in organizational multilevel data: Power simulations. Organizational Research Methods. doi: 10.1177/1094428119873950 URLpmid: 25620870
[56]	LeBreton, J. M., James, L. R., & Lindell, M. K. (2005). Recent issues regarding rWG, r*WG, rWG(J), and r*WG(J). Organizational Research Methods, 8(1), 128-138. doi: 10.1177/1094428104272181URL
[57]	LeBreton, J. M., & Senter, J. L. (2008). Answers to 20 questions about interrater reliability and interrater agreement. Organizational Research Methods, 11(4), 815-852.
[58]	Lüdtke, O., & Robitzsch, A. (2009). Assessing within-group agreement: A critical examination of a random-group resampling approach. Organizational Research Methods, 12(3), 461-487.
[59]	Mathieu, J. E., & Chen, G. (2011). The etiology of the multilevel paradigm in management research. Journal of Management, 37(2), 610-641.
[60]	Meyer, R. D., Mumford, T. V., Burrus, C. J., Campion, M. A., & James, L. R. (2014). Selecting null distributions when calculating rwg: A tutorial and review. Organizational Research Methods, 17(3), 324-345.
[61]	Morgeson, F. P., & Hofmann, D. A. (1999). The structure and function of collective constructs: Implications for multilevel research and theory development. Academy of Management Review, 24(2), 249-265.
[62]	Moritz, S. E., & Watson, C. B. (1998). Levels of analysis issues in group psychology: Using efficacy as an example of a multilevel model. Group Dynamics: Theory, Research, and Practice, 2(4), 285-298.
[63]	Newman, D. A., & Sin, H.-P. (2020). Within-group agreement (rWG): Two theoretical parameters and their estimators. Organizational Research Methods, 23(1), 30-64.
[64]	Ng, K.-Y., Koh, C., Ang, S., Kennedy, J. C., & Chan, K.-Y. (2011). Rating leniency and halo in multisource feedback ratings: Testing cultural assumptions of power distance and individualism-collectivism. Journal of Applied Psychology, 96(5), 1033-1044. URLpmid: 21480684
[65]	O’Neill, T. A. (2017). An overview of interrater agreement on Likert scales for researchers and practitioners. Frontiers in Psychology, 8, 777. doi: 10.3389/fpsyg.2017.00777 doi: 10.3389/fpsyg.2017.00777URLpmid: 28553257
[66]	Quigley, N. R., Tekleab, A. G., & Tesluk, P. E. (2007). Comparing consensus- and aggregation-based methods of measuring team-level variables: The role of relationship conflict and conflict management processes. Organizational Research Methods, 10(4), 589-608.
[67]	Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2nd ed.). Newbury Park, USA: Sage.
[68]	Rego, A., Cunha, M. P., & Simpson, A. V. (2018). The perceived impact of leaders’ humility on team effectiveness: An empirical study. Journal of Business Ethics, 148(1), 205-218.
[69]	Schaubroeck, J. M., Shen, Y., & Chong, S. (2017). A dual-stage moderated mediation model linking authoritarian leadership to follower outcomes. Journal of Applied Psychology, 102(2), 203-214. doi: 10.1037/apl0000165URLpmid: 27786498
[70]	Schneider, B., White, S. S., & Paul, M. C. (1998). Linking service climate and customer perceptions of service quality: Tests of a causal model. Journal of Applied Psychology, 83(2), 150-163. doi: 10.1037/0021-9010.83.2.150URLpmid: 9577232
[71]	Shen, J. (2016). Principles and applications of multilevel modeling in human resource management research. Human Resource Management, 55(6), 951-965.
[72]	Smith-Crowe, K., Burke, M. J., Cohen, A., & Doveh, E. (2014). Statistical significance criteria for the rWG and average deviation interrater agreement indices. Journal of Applied Psychology, 99(2), 239-261.
[73]	Smith-Crowe, K., Burke, M. J., Kouchaki, M., & Signal, S. M. (2013). Assessing interrater agreement via the average deviation index given a variety of theoretical and methodological problems. Organizational Research Methods, 16(1), 127-151.
[74]	Van Mierlo, H., Vermunt, J. K., & Rutte, C. G. (2009). Composing group-level constructs from individual-level survey data. Organizational Research Methods, 12(2), 368-392.
[75]	Woehr, D. J., Loignon, A. C., Schmidt, P. B., Loughry, M. L., & Ohland, M. W. (2015). Justifying aggregation with consensus-based constructs: A review and examination of cutoff values for common aggregation indices. Organizational Research Methods, 18(4), 704-737.

相关文章 9

[1]	李铭泽, 叶慧莉, 张光磊. 自恋型领导对团队创造力形成过程的多视角研究[J]. 心理科学进展, 2020, 28(9): 1437-1453.
[2]	王建明, 孙彦. 定制化信息对家庭节能行为决策过程影响的追踪研究[J]. 心理科学进展, 2018, 26(4): 571-583.
[3]	束晨晔, 沈汪兵, 赵源. 禅修对创造性思维的影响[J]. 心理科学进展, 2018, 26(10): 1807-1817.
[4]	买热巴·买买提, 吴艳红. 聚合文化视角下自我构念的动态性特征[J]. 心理科学进展, 2017, 25(7): 1229-1239.
[5]	赵祁;李锋. 团队领导与团队有效性：基于社会认同理论的多层次研究[J]. 心理科学进展, 2016, 24(11): 1677-1689.
[6]	沈汪兵;刘昌;施春华;袁媛. 创造性思维的性别差异[J]. 心理科学进展, 2015, 23(8): 1380-1389.
[7]	左世江;王芳;石霞飞;张啸. 简单情绪感染及其研究困境[J]. 心理科学进展, 2014, 22(5): 791-801.
[8]	王震;仲理峰. 领导-成员交换关系差异化研究评述与展望[J]. 心理科学进展, 2011, 19(7): 1037-1046.
[9]	徐展;张庆林. 关于创造性的研究述评[J]. 心理科学进展, 2001, 9(1): 36-40.

PDF全文下载地址:

http://journal.psych.ac.cn/xlkxjz/CN/article/downloadArticleFile.do?attachType=PDF&id=5138