1978年我国恢复研究生教育制度，同年中央音乐学院开始招收硕士研究生，研究生教育的相关工作由隶属教务处的研究生科负责管理。1981年中央音乐学院被国务院批准为首批具有博士、硕士学位授予权单位，1999年中央音乐学院成立研究生部。研究生部负责学院研究生的招生、培养和学位授予等相关工作。
中央音乐学院涉及研究生教育的部门包括作曲系、音乐学系、指挥系、钢琴系、管弦系、声乐歌剧系、民乐系、音乐教育系、音乐科技部、交响乐学院以及国家人文社会科学重点研究基地——中央音乐学院音乐学研究所。目前拥有博士生导师47人，硕士生导师207人；招收培养音乐学、作曲与作曲技术理论等16个研究方向的博士研究生，和音乐表演艺术、音乐学、作曲与作曲技术理论等62个研究方向的硕士研究生；开设100多门研究生课程。
目前，我院可以招收、培养多层次的博士、硕士研究生，包括统招生、高校教师在职攻读硕士学位研究生、艺术硕士专业学位研究生；同时接受同等学力申请硕士学位；此外，还面向海外招收培养港澳台地区及外籍留学研究生。截止2007年7月，已培养硕士研究生519人，博士研究生88人，开办研究生主要课程进修班11期，是国内培养音乐艺术高层次人才最多的院校。目前各类在校研究生共计482人。中央音乐学院毕业研究生以其全面的知识素养、扎实的专业技能、突出的创作实践能力，受到用人单位的广泛赞誉和好评。
随着社会的需要，研究生教育蓬勃发展，研究生部各项工作与时俱进，目前正在进一步充实机构，规范管理。