赵武灵王设置的云中郡，郡治在云中城，就是现今托克托县古城乡的古城。云中城本应是赵武灵王时所筑，但北魏郦道元误为赵武侯兴筑，一字之差，竞将建城时间提前一百多年。实际上赵武侯时，赵图势力还不可能扩张到这片地方。有人引用司马迁所提供的史料。其中一些追述赵国历史的议论来证明，认为赵武侯时曾一度占领过这片地区，但考古资料却证明当时确是林胡、楼烦等少数族居住的地方。
而古代典籍当中说赵武侯先在黄河西岸上筑城；刚筑起部分城墙便崩塌了，于是改在黄河东面另选新址；根据蓝天白云里翱翔的天鹅指引，寻找到了合适筑城的地方。
说是赵武侯白天见有一群天鹅在云中飞翔，整天都在同一个地方的上空来回盘旋，鸟群下方的地面上放射出耀眼的光辉。
赵武侯看到这个景象后，认为是吉祥之兆，便决定在这里筑城，并命名为云中城，这个美丽的传说虽不可全信，却反映了选择在呼和浩特平原中心地带建城的主要原因。
云中城所在地方，是呼和浩特平原的中部，有发源于阴山的荒于水，今大黑河，以及武泉水，今小黑河。南面还有白渠水，今宝贝河流经平原入黄河，地势乎坦，水草丰美，宜农宜牧，是训练骑兵和放牧战马的好地方。
云中郡所辖地区内，在注重养马业的同时，又迁来了许多内地的农民，安屯设村进行垦殖，以发展农业生产；解决军需，供应粮食，并在人口较多的地方设置了县一级政权。由于史籍上没有详细记载所属县名及方位，仅知云中城东面有原阳县，是训练骑兵的基地，城址在今呼和浩特市东南方的八拜古城；云中郡西部筑有九原城，是边境屯兵的重镇。
云中城于公元前236年被秦始皇所夺取。秦始皇十三年，秦国在此设立了云中郡。公元前221年秦始皇统—了六国，自立为始皇帝，正式建立了秦朝。秦始皇在全国推行郡县制，在全国设置三十六郡，云中郡成为其中的一郡。
秦始皇于公元214年派遣蒙恬率领数十万人北击匈奴，收复了黄河河套以南的广大地区，并渡过了黄河，占据了乌拉山以北、狼山以南地带，沿河兴筑了三十四座县城。
这些县城中有的属于云中郡管辖，考古工作人员在今托克托县哈拉板申村西发现的古城，应是秦始皇时所筑三十四座县城之一，史籍上没有记载这些县名，哈拉板申村西古城的名称已无法得知。
西汉时期，将云中郡划分为云中郡和定襄郡。云中郡治仍在云中城，管领有云中、咸阳、陶林、桢陵、犊和、沙陵、原阳、沙南、北舆、武泉、阳寿等十一个县，约分布在今大青山以南、东起至卓资县西境，西至包头市古城湾，沿大黑河流域南至清水河县喇嘛湾这一片地域内。
其中已查明位置的有：沙陵县城址在今托克托县哈拉板申村东古城，桢陵县城址在今托克托县章盖营子村，阳寿县城址在今托克托县葡滩拐，北舆县城址在今呼和洽特市塔布陀罗海古城，阳原县城址在今呼和浩特市八拜村，武泉县城址在今卓资县三道营村、沙南县城址在今准格尔旗十二连城。
王莽时期改云中为受降。东汉时期，又重新设置了云中郡，管领有云中、咸阳、箕陵、沙陵、沙南、北舆、武泉、原阳、定襄、成乐、武进等十一座县城。后三座县城原属定襄郡，东汉时将云中郡管辖区域向南