Bývalý, původně slavníkovský pomezní hrad na významné zemské stezce, získal ve 12. století řád premonstrátů. Biskupství, které zde založil Karel IV. zaniklo za husitských válek, kdy město spravoval husitský hejtman Vilém Kostka z Postupic. Ten poté, co se přidal k Zikmundově straně, získal město v zástavní držení. Po stavovském povstání r. 1547 bylo konfiskováno a od Ferdinanda I. jej získali Pernštejnové, kteří provedli významnou renesanční přestavbu zámku. Dalšími majiteli byli od pol. 17. st. Trautmannsdorfové, od konce 18. st. pak Valdštejn-Vartemberkové. Barokní úpravy se dotkly spíše interiérů než exteriérů, které se ponechaly renesanční charakter. Nákladný život panstva však vedl k zadlužení panství a soudní dražbě, ve které jej získali Thurn-Taxisové. R. 1945 byl jejich majetek včetně Litomyšle konfiskován československým státem. Od r. 1999 je zámek na seznamu kulturního dědictví Unesco.