古代南京在钦天山设观象台进行天文观测和研究，到了近代转移到紫金山天文台。中华民国国立紫金山天文台于民国十六年4月开始筹建，民国十七年9月，国立中央研究院院长蔡元培聘请高鲁作为成立之初的天文研究所代行所长，高鲁负责选址（钟鼓楼）和向庚子赔款委员会申请资金添置仪器，民国二十年5月紫台动工兴建至民国二十三年9月1日峻工，天文研究所由鼓楼迁到山上办公；民国二十六年8月至民国三十五年5月因抗日战争曾一度撤离至中华民国昆明的凤凰山（及后成立云南天文台），1949年11月中国科学院成立，天文研究所归科学院领导。1950年5月20日政务院任命张钰哲为中国科学院紫金山天文台台长，自此，天文研究所名称取消。
1951年-1954年曾成立中国科学院紫金山天文台、地球物理所上海联合工作站，徐家汇观象台，佘山观象台直属紫台。紫台在文革时亦不能幸免，包括近乎所有原始信件往来纪录被抄走，另外变星仪室碑亦被毁，另其发行刊物《天文学报》亦在1966年至1974年间停刊；文革初期（1966年-1969年）紫台的人卫室为国家“651任务”中东方红一号卫星预报方案，除此外其他项目几乎都瘫痪；70年代起陆续恢复天文观测、拍摄工作；至文革结束后在科研上有更大进展。
由于近二十年来南京城夜间灯光污染严重，紫金山顶上已难以持续观测，原址现已改建成科普教育基地，1996年被列为全国重点文物保护单位。古天文仪器与观测室现开放给游客参观，并收取入场费。
