物理所的理论研究要追溯到1958年。当年9月物理所开辟了固体理论学科方向，次年6月，固体理论研究室正式成立。主任是李荫远先生，成员有朱砚磬、陈式刚、霍裕平、张绮香、许政一、潘少华、刘大乾、冷中昂等。1960年代初，陈春先、于渌、郝柏林等先后从国外留学回国，和国内的不少大学毕业生加入到了这个队伍中，使固体理论室迅速发展。到文革动荡之前已发展到五个研究组，30多位研究人员，研究方向包括半导体、金属、磁学、超导、激光物理中的理论问题和多体理论、统计物理等。 这些科学前辈志同道合，组织起富有成效的互教互学活动。虽然理论室成立不久就碰上1960-1962年的困难时期，甚至奉命减掉了几位研究人员，但基本上还是日渐壮大。大家劲头十足，学术氛围非常好，每周要组织三、四次学术报告会，一讲就是半天。讨论的问题非常广泛，学术思想很解放，想法很大胆，难的问题也敢碰。从多体形式理论，包括格林函数方法、输运过程理论等，到它们在凝聚态物理中的具体应用，涉及超导、铁磁现象和共振弛豫过程等。大家互相切磋，互相指教，这种自由讨论的学术氛围成就了固体理论室的发展，当时在国内处于领先位置。这个时期的理论室人才济济，他们当中好几位在未来的岁月中因做出突出贡献被选为中国科学院院士。

　　同一时期，物理所在磁学室里还有一个专们从事理论研究的小组。这个磁学理论组在1960年由蒲富恪先生组建，成员先后有郑庆祺、沈觉涟、严启伟、蔡俊道、赖武彦等，工作也很活跃，主要从事自旋位形，稀土磁性和磁性相变等研究。在铁磁共振中的弛豫和线宽的研究中，这个组与磁学室作实验的孟宪振合作，还与理论室的霍裕平合作，做出了优秀的成绩。 1966年夏天文革动荡开始以后，理论研究工作受到很大干扰。1968-1969年固体理论研究室和磁学室的磁学理论组都相继解体，人员全被分散到其它实验室去了。但即使在那个浩劫的时期，这些人还是在各自所在的学科领域里，在各实验室同事的理解下和局部较为宽松的‘小气候’下，尽力做了一些有意义的研究工作。如李荫远先生在晶体实验室里领导开展了碘酸锂的研究；蒲富恪，郝柏林，冯克安，蔡俊道等组织从事了小天线的理论和计算；当时被分散到其它实验室的还有如去激光实验室的杨国桢，霍裕平和顾本源等。他们都取得了很好的成绩。

　　1972年以后，社会上对基础研究又开始关心起来，环境变得宽松了，理论物理也不再被一概扣上‘脱离实际’的罪名。原有的理论研究室和磁学室理论组的部分同志走到一起，重新成立了理论与计算机研究组，成员包括蒲富恪、郝柏林、于渌、沈觉涟、王鼎盛、蔡俊道、冯克安、董富民、禇克弘、金英淑、毕克茜、刘秀英等人。这一时期做的主要工作有：临界现象的重正化群理论、相变中的统计模型、磁性自旋波激发和地震活动的统计分析和预报等。在理论研究的同时，积极引进电子计算机，开始建立计算物理研究。尤其是在相变和临界现象方面的研究成果，在文革后期即将改革开放的前夜，对促进国际交流和开放发挥了很好的作用。1975年美国物理学会组织了一个高层次代表团到中国访问，成员包括巴丁、施里弗、布鲁姆贝格等多位诺贝尔奖得主，他们对这项工作给予了很好的评价。也是在这一时期，身处晶体实验室的李荫远、许政一、李铁城和杨顺华等，在激光实验室的杨国桢、霍裕平、顾本源和潘少华等，在等离子体实验室的陈春先和蔡诗东等，以及相对论研究组(张元仲、吴咏时和文革期间从物理所外并入的戴元本、郭汉英等)，都积极地开展起活跃的理论物理研究，也取得了很好的成绩。不过在文革动荡的十年里，物理所的理论研究的队伍的确变动较大，一些人还因各种原因离开了物理所，如杨顺华、郑庆祺、严启伟、朱砚磬等。
　　到文革动荡结束，尤其是1978年中央召开了科学大会之后，科学研究才受到真正重视。科学院在北京新建了理论物理所，有郝柏林等去参加；在合肥新建了等离子体物理所，有霍裕平等去参加。在物理所里虽然当时还没有把重建理论研究室提到日程上来，但从事理论研究的热情、规模和水平都有了显著的恢复和发展。在接下来的1980年代改革开放前后，许多人先后出国进修，如李铁城、王鼎盛等，接触到新的研究方向；一些人从国外归来，加入了物理所的理论研究队伍，如李家明，林磊，张昭庆等；还有文革后新培养的年青一代，如王玉鹏和刘邦贵等，为不断发展创造了条件。到1990年代我国的科研管理体制和物理所的科研组织的调整大致成型，重新组建理论研究室的问题就提上了议事日程。科学院启动知识创新工程使得在物理所里重新组建理论研究室的要求变得十分迫切了。经过认真酝酿，在2001年7月凝聚态理论与材料计算实验室成立，解散了30多年的理论室得以重新组建。这是一个值得记住的历史时刻。从这一年开始，理论室的发展速度是惊人的。从最初的两个课题组、四个研究人员（王玉鹏、王鼎盛、刘邦贵、李伯臧）开始，这支队伍不断扩大。特别是进入中科院知识创新试点工程基地以来，本着“开放、流动、竞争、联合”的创办方针，积极开展与国际各理论物理中心的交流，吸引了很多优秀的理论物理人才加入到这个团体，努力造就了超越前代的优秀青年理论物理学研究人才的队伍。 2011年初理论室已经有23位科研人员和在读学生74名，其中有于渌、王鼎盛两位院士。主任为向涛研究员。有六位研究员入选中科院百人计划（向涛、方忠、孙庆丰、陈澍、戴希、范桁、周端陆）；五位研究员获得国家杰出青年基金（王玉鹏、刘伍明、方忠、孙庆丰、向涛）。