明崇祯年间余姚沈国模等人所建，初为义学，后改名姚江书院，祀王守仁。王守仁生前曾与弟子钱德洪等在余姚龙山的中天阁讲学，他出征两广之后一直关心龙山的讲会。守仁去世后，嘉靖十七年（1538）由于诸生的要求，在龙山建祠纪念他。多年后，中天阁废为尼寺。可能是因为已有书院之实，无须再立书院之名的缘故，实际命名为姚江书院到崇祯时才出现，继承中天阁的传统。书院成立之后，正值蕺山书院（见证人书院）中刘宗周与陶石梁展开激烈争论，姚江书院的代表也参加了这场辩论，他们坚持守仁的学说，发杨光大，受到世人的好评。清军攻下浙江后，刘宗周殉国，沈国模等人也隐居不出，姚江书院与蕺山书院一样，逐渐凋零。康熙年间为加强儒学教育，在余姚城东南的角声苑重建姚江书院，乾隆年间又予以重修。