Dès le II siècle a.C. les romains étaient installés à côté de la chaussée dont ils restent quelques morceaux. On a trouvé des restes de l’époque et des villas romaines des III et IVe siècles.
Au cours de la Reconquête, le site prit de l’importance en tant que point défensif du royaume de Leon, après un repeuplement au Xe siècle. Le toponyme se réfère aux comtes qui régissaient les quartiers au Moyen Age, Le Romancero Viejo de Castilla (La Vieille Chanson de Castille), relie cette lignée avec le chevalier légendaire Bernardo de Carpio ; ensuite Carrion fut des Beni Gomez. A la fin du Xe siècle, Garcia Gomez s’opposa sans succès aux incursions périodiques d´Almanzor qui mit la ville à sac. C’est à Gomez Diaz et à son épouse Teresa que l’on doit la construction du monastère magnifique de San Zoilo de l’ordre de Cluny au XIe siècle, qui eut une certaine influence dans cette «tierra de Campos» (terre de Champs) et fut le siège d’un concile ecclésiastique en 1130.
De Carrion de los Condes provenaient les époux déloyaux des filles du Cid, qui vers la fin du XIe, et selon la Chanson de mon Cid (écrite un siècle plus tard) les maltraitèrent et les offensèrent dans le bois de chênes de Corpes (Ce que les habitants de Carrion dénient formellement).
Le passage du Chemin de Saint Jacques favorisa le développement commercial et artistique, la croissance démographique et l’importance de la ville au Moyen Age. D’importantes réunions politiques et religieuses y eurent lieu : Aymeric Picaud, auteur du Codex Calixtinus traversa la ville vers le milieu du XIIe siècle, mentionnant sa prospérité. Dans son Aljama. Naquit et vécut le moraliste juif Dom Sem Tob, auteur des Proverbes Moraux. C’est aussi la ville de naissance d’un autre chevalier et écrivain illustre, le Marquis de Santillana, Iñigo Lopez de Mendoza.
En 1462, les habitants de Carrion s’entendirent avec les comtes de Castañeda, Osorio et Treviño, dans le but d’obtenir qu’ils se soumettent au puissant comte de Benavente. Ce stratagème se traduisit par le rajout de «de los Condes» à Carrion, titre qui est légal depuis 1522.
A la suite de la révolte des Comuneros au XVIe siècle, et malgré les sociétés mercantiles qui réalisaient des échanges entre l’Andalousie, la France et les Flandres, la population diminua.
En 1854, les jésuites transforment le monastère de San Zoilo en collège et internat (Appellé Du Sacré Cœur de Jésus), le retransformant en 1890 en collège pour leurs novices.
En 1883 est fondé l’Hôpital de la ville et en 1894, Maria Cristina concède à la localité le titre de «Ville». En 1909, le jésuite né à Carrion, Sisinio Nevares, créa un syndicat catholique agraire dans sa ville natale, ce fut le germe de la Confédération Nationale Catholique Agraire fondée en 1917.
Au XXe siècle, la ville vit naître et grandir l’historien Ramon Carande et l’économiste Fuentes Quintana. Le tracé urbain a beaucoup changé, mais l’atmosphère médiévale et la tradition jacobine perdurent.