衢州城墙始建于东汉初平三年（192年），原为土墙，大约在唐以后才开始以砖石筑墙。北宋宣和三年（1121年）郡守高至临重修旧城，奠定了后世的规模，当时的城墙“周回四千五十步”，建有六门：东曰迎和、南曰礼贤、西曰航远、北曰永清、小南曰清将、小西曰和丰，城外建有濠沟。此后于南宋绍兴、嘉定、元至正、明弘治、嘉靖、万历、天启、崇祯年间多次重修。

清顺治至民国五年也曾维修20余次。城墙平面呈长方形，东南长，南北稍短，东南角城墙依峥嵘岭南麓而走，周回四千五十步（约6500米），西临天堑衢江，东南北三面皆设宽阔的护城河，共设城门六座：东门迎和、南门礼贤（后又称通远门、光远门）、西门航远、北门永清、小南门清将（后又称前湖门、魁星门、通仙门）、小西门和丰（后又称埭塯门、通广门）。衢州古城墙经历代多次重修，现存城墙基本为明、清和民国时期的遗迹。

府治在今府山之上，县治在今十字街头之右，故城中有县西街，南街（原名县南街或南市大街），县后街等地名，都是以县治方位定名。府县皆有治学，县学在县学街黉序巷，古有鹿鸣书院；府学在府山西麓，故地叫府学里，建有清莲书院（又名正谊书院）。

2006年6月，衢州府城正式被国务院核定公布为第六批全国重点文物保护单位，衢州府城是我国东南重镇的实物依据，是研究府城一级城池格局、规模等方面的实物标本。此外，衢州府城在选址和城台形制等方面皆有独到之处，具有很高的历史、艺术、科学价值。目前，衢州府城的护城河体系保存基本完整，六个城门台基也基本完好，另外还有残破程度不同的数段城墙遗址共2000余米。

城池是中国特有的人文景观，是城市的缩影。衢州是一座历史文化名城，这座城市有着深厚的文化底蕴，城墙和城河就是历史的见证，文化的背景。衢州府城历史悠久，明弘治《衢州府志》云：“今龟峰之城亦不知其初建。州人相传，先址土墙而已。”衢州之城建于何时，史志均无明确的记载，尚难以确定，但比较统一的说法是唐以后衢州的古建筑才正式运用砖石城墙。明嘉靖《衢州府志》云：“唐武德四年（621）置衢州建郡治”。有郭必有城，因为自古以来城郭是相依的。唐崔耿《女楼记》云：“衢之城成于龟峰峥嵘岭上”，说得亦十分肯定。所以可以断定，衢州城墙的初建，其时当在唐武德四年建郡治之后；其址当以龟峰、峥嵘岭为中心。自此以后，城墙历经修筑、扩展，形成保留至今的古城墙。

衢州地处浙西，交通便利，自古有四省通衢之美名，此地能控鄱阳之肘腋，扼瓯闽之咽喉，连宣徽之声势，集百越之精华。这里是南孔圣地、围棋仙境、军事要塞、文化之邦，是钱塘江上游的璀璨明珠。夏商为“扬州之域”，春秋归越，战国归楚，秦属会稽，汉属东阳，三国从吴，建制于唐，兴于宋，昌于明，盛于清。前后近两千年的发展史。

在衢州城内北门街南端的十宇路口，还有一座建于明万历年间（1573—1620年）的古建筑四门塔式钟楼基座。其平面呈正方形，边长约13米，高4.6米，由四道拱券围合中央天井组成，基座上原建有二层古建筑楼阁，后毁于战火。近年来，几座城门周边已修建古城墙遗址公园,并于1999年复建了大西门城楼和钟楼楼阁等古建筑，遗址公园环境古朴幽静，古城整体风貌也得到了一定程度的恢复。此外，在大西门和大南门的维修过程中，先后有“南宋开庆元年、嘉定三年”、“元至正十三年”，以及“明崇桢十三年”等纪年城砖出土，成为鉴定衝州古城历史的重要依据。

衢州府城地处浙西门户，四省通衢，历来是军事重镇，为兵家必争之地，其城防体系是研究我国古代军事思想和城防战略的真实案例，同时，衢州城墙近两千年的修缮历史，也记录了历代修城的工艺特征和材料演变等历史信息。