胶南历史上多分属胶州、诸城,1946年成立胶南县,因地处胶县南部而得名。
早在5000多年前的大汶口文化时期,境内就有人类生活繁衍。春秋时期,境内有琅琊、安陵两城邑。战国初,越灭吴,于公元前468年徙都琅琊,今县域南部沿海一带属越,历224年。后越败于楚,地属楚。战国后期,县域全部属齐。秦统一六国,境内设琅琊郡,并附郭置琅琊县,治所均在琅琊(今夏河城),县域属琅琊县。汉承秦制,并增琅琊国、柜县和祝兹侯国治于境内;晋省琅琊,隋复置琅琊县;唐代又裁,境地归胶州、诸城,此后废置千余年。
1943年,建立抗日民主政府诸胶边办事处,1944年析置藏马、诸胶边两县,属滨海行署。1946年9月,划胶县洋河以南9个区和青岛办事处的薛家岛区建立胶南县,属滨北专区。
1950年5月滨北专区撤销,藏马、胶南两县属胶州专区。1956年3月藏马县并入胶南县。是年胶州专区撤销,胶南县属昌潍专区。1958年10月胶南县改属青岛市,1961年4月复属昌潍专区,1978年11月再度划归青岛市。1990年12月18日,撤销胶南县,设立胶南市。
1991年1月14日,撤销海青乡,设立海青镇;撤销小场乡,设立信阳镇。1992年12月28日,撤销隐珠乡,设立隐珠镇。1993年10月26日,撤销寨里乡,设立寨里镇;撤销张家楼乡,设立张家楼镇;撤销藏南乡,设立藏南镇;撤销薛家庄乡,设立黄山镇。
1995年1月4日,将隐珠镇的广城、豆金河、两河、辛屯、山前、孟家滩、薛家滩、向阳岭、石咀子、烟台前、新建、孙家滩等12个村划出,设立灵海办事处,办事处机关驻上海路孟家滩村;撤销宝山乡、胶河乡、铁山乡,设立宝山镇、胶河镇、铁山镇。1995年4月28日,撤销胶南镇,设立珠海、珠山两个街道办事处。珠海街道办事处机关驻珠海路中心,珠山街道办事处机关驻原胶南镇人民政府驻地。
1996年4月26日,将胶南市灵山卫镇的台子沟、八里庄、荒里、扒山、岔河、戴戈庄、两埠岸、王家港、花科子、薛辛庄、高家台、周家夼12个行政村划归黄岛区长江路街道办事处;将胶南市红石崖镇的张戈庄、龙湾崖、郭家台子、法家园、管家洼、龙凤村、可洛石、龙斗山前8个行政村划归黄岛区黄岛街道办事处