La creencia popular es que en el siglo XV muchos de los habitantes del despoblado de la Avellaneda (situado río abajo, en el mismo término de Castañar) se trasladan a lo que hoy es el pueblo de Castañar de Ibor, a causa de una plaga, dando origen al casco urbano actual. En primer lugar la localidad se llamó Chozas del Castañar, luego Casas del Castañar, más tarde Castañar y finalmente Castañar de Ibor. El Rey Sancho IV incluyó el valle del Ibor en las Tierras de Talavera y por tanto Castañar de Ibor perteneció junto con Guadalupe, el resto del Valle y el Campo Arañuelo a este antiguo alfoz.

Desde el s. XVI hasta el XX

A la caída del Antiguo Régimen la localidad se constituye en municipio  constitucional en la región de Extremadura, desde 1834 quedó integrado en el Partido Judicial de Navalmoral de la Mata. En el censo de 1842 contaba con 230 hogares y 1260 vecinos.⁶

Siglo XX

Tras la Guerra Civil, las sierras de Castañar fueron testigos de la actividad guerrillera del maquis. Desde los años 1950, y hasta comienzos de los años 80 del siglo XX, el éxodo rural. Desde los 90, aunque la población sigue disminuyendo, lo hace a un menor ritmo.

En la década de los 50 se construyó una pequeña central hidroeléctrica en el Río Viejas, próxima a su confluencia con el Ibor. La infraestructura, integrada en la red de Iberduero, hace que, desde entonces, el pueblo sea casi autosuficiente en abastecimiento eléctrico.

La llegada de la democracia y las décadas posteriores supuso la mejora de las infraestructuras del pueblo, con la construcción de un nuevo edificio para el ayuntamiento, un polideportivo y un centro de salud comarcal.

Así mismo, durante los últimos años el pueblo ha visto la aparición de establecimientos dedicados a la explotación del turismo rural. (Camping, casa rural, etc.).