乾德二年(964年)即南汉大宝七年九月，北宋防御使潘美等率师攻克郴州，随即分兵攻连州。十月，以内常侍邵廷琄率舟师屯洸口以拒宋，潘美等引兵退。三年九月，宋遣潘美发10州兵伐南汉，攻下富州、贺州。十月，取韶州、桂州。十一月，克连州，南汉退保清远。

后梁贞明三年(917年)刘龑据广州称帝，建立南汉国，改广州为兴王府，清远、浈阳、浛洭3县属之。南汉乾亨四年(920年)于浈阳县设英州，领浈阳一县。南汉乾和七年(949年)南汉主刘晟出巡英州，游碧落洞，命侍臣钟允章(南海人，翰林学士)撰《碧落洞天盘龙御室记》(该洞及石室均为刘所命名)。

武德元年(618年)熙平郡守区泽(连州人)举郡附唐。四年撤销熙平郡，在桂阳县复置连州，领桂阳、连山、阳山3县，属江南道。五年在含洭县地复置洭州，领含洭、贞阳、翁源3县。六年 撤销政宾县并入清远县，属广州。

开皇年间(581~600年)清远县始建学宫(又名孔庙、文庙)，为儒学教官的衙署所在。​开皇九年(589年)废始兴郡，改东衡州为韶州，浈阳县属之。十年 废清远郡及其所属的中宿等5县，置清远、政宾县(今清新县滨江一带)，隶属广州。

南朝宋泰始三年(467年)改浈阳县为贞阳县。四年 在今连州城东建慧光塔，造型优美，斗拱平面六角九层，空心可登，高45.5米。六年 在贞阳县西60里置冈溪县，割始兴郡之桂阳、阳山、冈溪、含洭4县立宋安郡(治在桂阳);始兴郡仍领贞阳、中宿、曲江、始兴4县，二郡同属湘州。

吴甘露元年(265年) 从含洭县析出桃乡复置阳山县。期间 分出桂阳郡南部置始兴郡，属荆州(治在曲江)，领曲江、始兴、桂阳、含洭、阳山、浈阳、中宿等县。吴时 《读史方舆纪要》略称今连山西部已置尚安县，属始兴郡。

建武二年(26年)桂阳郡太守卫飒在含洭、浈阳、曲江至郴县一带凿山通道500余里，列亭传，置邮驿，取消原征发民船接送官差的徭役制度，令山民与平民租赋减轻。建安三年和十九年(198年与214年)桂阳郡先后成为刘表和孙权的辖地。

高祖三年(公元前204年)赵佗建立南越国，自称南越武王。市境以阳山关为界，关以南为南越国所据，关以北属中原政权西汉管辖。文帝年间(公元前179~164年)分长沙郡南境置桂阳郡，领桂阳(今连州、连南、连山地)等7县。

始皇二十六年(公元前221年)统一中国，分全国为36郡，今连州、连南、连山及阳山县北部属长沙郡。三十三年 平定百越后置南海郡、桂林郡和象郡，市境三连(连州、连南、连山)及阳山县北部仍属长沙郡，其余地方属南海郡。

市境均属楚，但未设置行政管理机构。其时，在今阳山县境有阳禺小国，是岭南原始部落联盟发展的产物。