1961年4月13日圖書館落成啟用。3層樓高的紅牆洋樓外觀，已是當時校園內的巍峨建築。
1974年的圖書館，週遭景觀已有些許變遷。
1983年11月26日圖書館擴建工程落成，廣場前前一排大王椰子樹高聳整齊，是許多高醫人的共同回憶。
2005年9月15日圖書館新館正式啟用，定名為「杜聰明紀念圖書館」。以「樹的記憶」為建築主題，大玻璃窗上錯落銀杏葉剪影，功能性與美感兼具。
