上海音乐学院图书馆的前身为国立音专图书室。现图书馆下设办公室、采编部、流通部、阅览部、视听部、数字文献技术部6个部门和“中国当代音乐研究与发展中心”、“校史馆”两个研究机构。初步形成集采编、流通、阅览、资料复制、视听欣赏、电子阅览、文献检索等一体化全方位的服务格局。该馆先后设立了计算机房、音乐文献阅览室、音乐文献专用授课教室以及电子阅览室。合计馆藏文献逾35万件。其中期刊、报刊7165套,计41525册、张;光盘碟片6382套,9565张;录像带、音带共12421套,12448盒;慢转、快转老唱片约8万套;各类图书乐谱共计185609册左右,其中特藏资料约7000册。目前,上海音乐学院图书馆已形成了由“基础馆藏+特色馆藏”,以当代音乐研究与发展中心、特藏室、校史馆三位一体、联动发展的模式,形成了较为完整的馆藏、流通、检索、导航、研究体系。