神乐署坐落北京天坛西门内稍南侧，坐西向东，是天坛五组大型建筑之一，是专司明清两代皇家祭天大典乐舞的机构。始建于明朝永乐十八年（1420年）。神乐署是管理祭天时演奏古乐的机关。明代叫神乐观，当时神乐观的乐舞官、舞生都由道士担任。明朝永乐十八年迁都北京时，有300名乐舞生随驾进北京，以后明代神乐观常保持有乐舞生600名左右。到嘉靖时乐舞生总人数达2200名。

清朝乾隆八年（1743年）神乐观改称神乐所，乾隆二十年（1755年）又改称为神乐署。设置官居正六品的署正一人，从八品的左右署丞各一人，还有正八品的协律郎五人，下面有乐生舞生近500人，这些乐团专门负责祭祀的演奏。平时也研究音乐，而神乐署的官员，北京百姓称他们为“假老道”。所谓假老道，就是指他们没有固定的身份。他们在神乐署内，是头戴花翎顶的清朝官员；离开天坛回到道观，他们又成了穿道袍的道士；晚宿私宅，换上便服，又是妻妾环侍，儿孙绕膝的富室缙绅。

神乐署院内的太和殿，康熙十二年（1673年）改名凝禧殿。五间大殿后面有七间小殿。另外，署内还设有奉祀堂、掌乐堂、协律堂、教师房、伶伦堂、穆佾所和收藏乐生冠服的库房23间，设施齐全，是一个培养宫廷乐舞生的学校。

神乐署建筑总平面呈东西长南北短的长方形，为两重殿宇的三进院落，神乐署大门朝东，前殿五开间，明称太和殿，清康熙年间改名为凝禧殿，用于排演祭祀大典；后殿七开间，原名玄武殿明末改称显佑殿，用于供奉玄武大帝以及诸乐神；殿后还有袍服库、典礼署、奉祀堂等建筑，东跨院由通赞房、恪恭堂、正伦堂、候公堂、穆佾所等建筑，西跨院有掌乐堂、协律堂、教师房、伶伦堂、昭佾所等建筑。据史料记载，天坛神乐署除了上述建筑之外还建有大量的茶棚、酒楼、药铺等建筑，在神乐署围墙内甚至还有一座关帝庙。

神乐署建于明永乐十八年，称作神乐观，顾名思义是一所专司祭祀音乐的道观，神乐观出现的历史背景是这样的，明朝初年的两位重要皇帝明太祖朱元璋和明成祖朱棣都非常虔诚地信奉道教神明真武大帝，认为真武大帝在争夺帝位的战争中保佑了他们[1]，因此在一些重要的祭祀中使用道教音乐，明成祖甚至御制《大明御制玄教乐章》作为祭祀音乐的国家标准,而后者也被收录在道教经典集成《道藏》中。明神乐观的主要负责人为提点，其副手称为左右知观，此外还有协律郎、司乐等职务。

明朝的神乐观不仅仅是一处皇家祭祀机构同时也是市民休闲娱乐的去处，一方面是每年随同皇帝赴天坛祭祀的各级官员会在神乐署赁房居住，另一方面是神乐观中的道士种植花草、配制草药的技术在市民中口碑极好，人们纷纷到这里欣赏花木购买草药，当时神乐署中仅药铺就有保合堂、保龄堂、育生堂、广德堂、天德堂、瑞德堂等数家，久而久之神乐署便成为北京的一大庙会一直繁盛到清朝初叶。据清人《帝京岁时纪胜》的记载“帝京午节入坛内神乐观前摸壁赌墅陈疏肴酌余酒喧呼于夕阳之下竟日忘归”

清乾隆年间由于神乐观游客过多疏于管理，甚至发生了游客翻墙进入天坛禁地的案件，引起乾隆皇帝的不满，他将神乐观改为神乐署，遣散了神乐观原有的道士改由八旗子弟中俊秀者充任，驱散了神乐署的庙会，并且禁止观中道士种植花木，但由于道士们配制的草药在民间颇有口碑因而观中各大药铺得以保留。清神乐署设有署正、署丞、协律郎、司乐等官职。当时京城各个皇家祭坛的祭祀乐舞生皆由天坛神乐署生员中选拔充任。

1900年庚子之变时八国联军驱散了署中人员，据神乐署为兵站，从此神乐署开始了衰败的历史；1914年袁世凯下令迁出了神乐署中所有药铺；此后林艺试验场、燕乐研究院、传染病医院、中央防疫处、生物制作所等机构先后占用神乐署作为办公地点。1937年抗日战争爆发后，日军西村部队(1855部队)将司令部设在署中，并在这里进行细菌战的实验与研究。1949年后，神乐署的建筑逐渐被变为民房，凝禧殿成为仓库，显佑殿变为机关食堂，到2002年整个神乐署仅有凝禧殿、显佑殿、廊房、山门等为数不多的建筑遗存。