Au Hubei, dès le IVème s. av. J-C., les premières fortifications sont élévées par les Royaumes combattants de Qin, Yan et Zhao pour se défendre des incursions des cavaliers Xiongnu. Ces fortifications sont en terre damée, parfois renforcée de pierres. Ce sont ces lignes de défense, contre les nomades de la steppe, mais aussi contre les autres royaumes chinois, qui deviendront la Grande Muraille.
Après la fin des Han, et surtout après l'effondrement des royaumes Wei au Vème siècle, la Muraille perd de son importance et est abandonnée. Son revêtement de pierre est pillé pour construire d'autres édifices.
Sous la dynastie des Ming, on estime à un million les effectifs qui gardaient la Grande Muraille. A la menace mongole s'ajoute, dès la fin du XVIème siècle, celle des Mandchous qui forcent le dispositif à plusieurs reprises pour envahir la plaine centrale.
La crainte du retour des Mongols pousse les Ming à restaurer la Grande Muraille à partir de le fin du XVème siècle. Sa longueur totale est divisée en neuf sections administratives, les zhen. Pendant 170 ans, le rempart est entièrement recouvert de pierres taillées.