霍州市的“霍”是山西省内最古老的地名之一。早在殷商卜辞中就有“癸未卜在霍贞王旬亡祸”、“贞霍，其霍”的记载。其中的“霍”即指今霍州市一带。西周初，周武王封其弟叔处于霍，建霍国，是为霍叔，与管叔姬鲜、蔡叔姬度同为周初三监之一。到公元前６６１年，晋献公灭霍国，末代霍君霍公求逃到齐国避难，其子孙流亡各地，并皆以祖先封地霍为姓，这便是霍姓的起源。
　　在西周时期，霍国还有个叫“彘”的地方。当时周厉王无道，引起国人叛乱，公元前８４１年周厉王逃亡到彘，至前８２８年便死在这里。
　　西汉因在此置彘县，东汉阳嘉三年（１３４年），改名永安县。隋开皇十八年（５９８年）改名霍邑县。金为霍州治所。明洪武初，霍邑县省入霍州。民国初改名霍县。１９８８年设霍州市。
　　对于“霍”的解释也有多种说法，比较流行的一种认为：霍山又名太岳山，所以霍是“霍然大也”。其实早在东晋郭璞在《尔雅注》中已进行了合情合理的注释，他认为“霍”是先秦方言，义为“大山包围着小山”。郭璞一生集“尔雅学”之大成，并以晋代语词中的古语考见古今语音流变，他的解释无疑最具权威性。
　　郝懿行在注释时也赞同郭璞的说法，他说：“山以霍名者非一，皆本地为义也。”他认为全国有多处以霍为名的山峰，而且都是“大山围小山”式的地形。他举安徽的霍山为例：“天柱山中峰小而四围有大山以绕之，与此合矣。”其实山西的霍山也是这种地形，其中部低平，四周山峰环绕。明代《嘉靖七年九月平阳知府祭告霍山文》中就这样描述了霍山的形势：“抗中条而屹乎如案兮，环群峰而缭焉如墙”。这都证实郭璞对“霍”的诠释是很有见地的。
　　《水经注》中还记载了霍国末代国君霍公求的一个故事。传说晋献公灭霍国后，霍公求逃往齐国，结果这年晋国大旱，民不聊生。掌管占卜的官员说，这是霍山在作祟，山神无人祭祀的缘故。晋献公只好遣使赴齐请霍公求回国专祀霍山，后来晋国才又获得好收成。这一传说是关于祭祀霍山神的最早记载。
　　霍山何时列入祀典？我们已无从考见，但在《周礼·职方氏》记载九州的镇山时，就已把霍山作为冀州的镇山。另外八州的镇山是：杨州会稽山、荆州衡山、雍州华山、豫州嵩山、兖州泰山、青州沂山、并州恒山、幽州医无闾山。隋开皇十四年（５９４年），又诏令祀霍山为中镇。
　　隋末唐太宗起兵太原，过霍邑县受到隋将宋老生顽强抵抗。时有一白发翁，告之以盐商古道，唐太宗根据其指点，弃辎重，巡霍山，出奇兵，于彘水之北大败隋兵，斩杀宋老生。此后唐兵南下，直驱长安，如蹈无人之境。唐太宗即位后，认为霍邑大捷是得霍山神人指点，遂封霍岳中镇为应灵王。同时再次明确了五岳和五镇之封。五岳即东岳泰山、西岳华山、南岳衡山、北岳恒山、中岳嵩山；五镇即东镇沂山、西镇吴山、南镇会稽山、北镇医无闾山、中镇霍山。至此，中镇霍山神崇名美号，历代有加。山中有关举行祀典的建筑及佛道文化建筑如中镇庙、兴唐寺、慈云寺、真武庙、广胜寺、红崖寺、喝石庵等也随之遍布其间。时至今日，霍山仍然是山西著名的风景名胜区。