忠贤书院是衿川地区唯一的书院，也是君主赐给牌匾的赐匾书院。李元翼先生在活着的时候想要建立供奉姜邯赞和徐甄的二贤祠，但未能如愿。在他去世后，后人们奉他的旨意建造了祠堂，并把他也供奉在一起建为三贤祠。此后，该祠堂被称为忠贤祠。在1676年(肃宗2年)肃宗赐下牌匾后，忠贤祠开始被称为‘忠贤书院’。目前，忠贤书院的建筑全部消失，只留下一部分基石。