Il centro sorse tra l'XI e il XII secolo come dominio della famiglia Aldobrandeschi, passando temporaneamente ai Baschi di Orvieto negli anni a cavallo tra la fine del Duecento e gli inizi del Trecento.
In seguito, il luogo tornò sotto il controllo degli Aldobrandeschi ed entrò a far parte della Contea di Santa Fiora; nel 1439 fu ereditato dagli Sforza, assieme a tutto il resto della contea, a seguito del matrimonio tra Bosio Sforza e Cecilia Aldobrandeschi.
Il dominio sforzesco durò pertanto circa due secoli, avendo fine soltanto nel corso del Seicento, epoca in cui si verificò la definitiva caduta politica della contea di Santa Fiora: da allora, Castell'Azzara entrò a far parte del Granducato di Toscana e ne seguì le sorti.