山阴禹贡冀州北域。春秋北狄所居。战国属越。秦属雁门郡。汉置阴馆县。后魏属神武郡。北齐属太平郡。隋置神武县。唐属马邑郡。五代属寰州。后晋以山后赂契丹，名阴馆。辽初置河阴县，意在桑干河之阴，故名，属朔州。清宁中年改属应州。金大定七年（公元1167年）因与郑州属县同名，改名山阴县，以县在佛宿山之北故名。金贞佑二年（公元1214年）改名忠州，属西京路。蒙古至元二年（公元1265年）并入金城县。故址在今古城镇南十五里故驿村之北。元末于今古城镇复置，仍名山阴县，属应州。明、清俱属大同府。民国属雁门道。1937年，山阴被日寇占领后，移今治岱镇。抗日战争时期县南为抗日根据地，与朔县部分地区组成山朔县，属晋绥边区。1946年全县解放，后属察哈尔县。1952年重归山西省，属雁北专区。1958年应县废入山阴县，属晋北专区。1960年应县析出。1961年属雁北专区。1967年属雁北地区。1988年划归朔州市。