La creencia popular es que en el siglo XV muchos de los habitantes del despoblado de la Avellaneda (situado río abajo, en el mismo término de Castañar) se trasladan a lo que hoy es el pueblo de Castañar de Ibor, a causa de una plaga, dando origen al casco urbano actual. En primer lugar la localidad se llamó Chozas del Castañar, luego Casas del Castañar, más tarde Castañar y finalmente Castañar de Ibor. El Rey Sancho IV incluyó el valle del Ibor en las Tierras de Talavera y por tanto Castañar de Ibor perteneció junto con Guadalupe, el resto del Valle y el Campo Arañuelo a este antiguo alfoz.

Desde el s. XVI hasta el XX

A la caída del Antiguo Régimen la localidad se constituye en municipio  constitucional en la región de Extremadura, desde 1834 quedó integrado en el Partido Judicial de Navalmoral de la Mata. En el censo de 1842 contaba con 230 hogares y 1260 vecinos.⁶

Siglo XX

Tras la Guerra Civil, las sierras de Castañar fueron testigos de la actividad guerrillera del maquis. Desde los años 1950, y hasta comienzos de los años 80 del siglo XX, el éxodo rural. Desde los 90, aunque la población sigue disminuyendo, lo hace a un menor ritmo.

En la década de los 50 se construyó una pequeña central hidroeléctrica en el Río Viejas, próxima a su confluencia con el Ibor. La infraestructura, integrada en la red de Iberduero, hace que, desde entonces, el pueblo sea casi autosuficiente en abastecimiento eléctrico.

La llegada de la democracia y las décadas posteriores supuso la mejora de las infraestructuras del pueblo, con la construcción de un nuevo edificio para el ayuntamiento, un polideportivo y un centro de salud comarcal.

Así mismo, durante los últimos años el pueblo ha visto la aparición de establecimientos dedicados a la explotación del turismo rural. (Camping, casa rural, etc.).

La Avellaneda se  encuentra sobre la rivera del Rio Ibor .

Aquí era donde se encontraba con anterioridad el nucleo de población de Castañar de Ibor pero este cambio de lugar hasta donde se encuentra ahora el pueblo debido a lo que dicen los antiguos a una plaga de termitas .

Actualmente el pueblo no consta de ningún habitante ya que quedo totalmente despoblado.

Allí se celebra la Romeria del Cristo de la Avellaneda que suele ser coincidiendo con San Isidro.

• PISCINA NATURAL DE CASTAÑAR DE IBOR

Esta se encuentra en la carretera que unen la localidad con Robledollano , esta en el Rio ibor , esta se realizo hace 5 años .

Cuenta con Chiringuito además de zonas de sombra y luz , a su vez tambien costa de sombrillas y merenderos .

Siguiendo unos metros se encuentra el salto de la luz , esta es una cascada , en la cual se encuentra la central hidroelectrica que da la luz al pueblo.

• CASTAÑOS Y CHORRERA DE CALABAZAS

Los Castaños de Calabazas están declarados como Árboles Singulares de Extremadura. Algunos tienen mas de quinientos años y otros cuantos pueden presentar la estampa de centurias a sus espaldas. Además nos llamara la atención la chorrera de Calabazas; un imponente salto de agua.