从明弘治四年开始,丘浚因年老多病,右眼失明,多次上表乞归,都被孝宗皇帝婉言拒绝。弘治七年,丘浚时年74岁,被提升为太子少保兼武英殿大学士、户部尚书,官至极品。弘治八年(公元1495年)春二月,丘浚卒于任上,享年75岁。皇帝“辍朝一日”,以示哀悼。赠“特进左柱国太傅,谥文庄”。
丘浚官至极品,学富五车。他不光写了《大学衍义补》鸿篇巨著,还编著了《世史正纲》、《朱子学说》、《家礼义节》、《琼台诗话》、《平定交南录》等书。另外还写了四部戏剧以及皇家文献《英宗实录》、《宪宗实录》等著作。明朝《明臣录》称丘浚是“国朝大臣,律己之严,理学之博,著述之富,无有出其右者”。
丘浚非常爱故乡,年老后,他曾十三次上表乞归故里,都没有被批准。明孝宗还亲笔在丘浚奏疏上朱批:“朝廷以卿学行老成特加任用,所辞不允。”丘浚在临终前三个月还写了首思乡诗:“秋来归梦到家园,景物分明在眼前。树挂碧丝榕盖密,篱攒青刺竹城坚。林梢飘叶重堆径,涧水分流乱落田。乞得身闲便归去,看鱼听鸟过残年。”思乡之情跃然纸上。
丘浚辞世后,明孝宗钦命钦差大臣护丧南归,督造坟茔。明弘治八年(公元1495年)清明节,丘浚墓在海口市水头村落成,为夫妻合葬墓。“文革”初丘浚墓遭遇破坏,1986年主墓室按原貌修复。1996年11月24日,丘浚墓和丘浚故居同时被国务院公布为“一点二处”全国重点文物保护单位。