Existen noticias fiables de la existencia del castillo desde finales del s XIV, en 1393 el monarca Enrique III donó Cespedosa y Puente Congosto, que pertenecían a Ávila, a don Gil González Dávila, que estaba casado con doña Aldonza de Guzmán, siendo este matrimonio el promotor de las primitivas construcciones de un castillo que fortalecía las defensas de un puente ya existente y fortificado.

Don Gil González Dávila instituyó mayorazgo en 1450 a favor de su hijo, Juan de Ávila, y una vez acaecida la muerte de su progenitor se entablan unas duras reyertas entre éste, que reclamaba el castillo, y su madre y sus hermanos que lo retenían. Dada la importancia estratégica del puente en una de las vías de comunicación para el ganado trashumante, dicha disputa hace que se implique la alta nobleza de la zona. Así en el verano de 1456 don Álvaro de Zúñiga, conde de Plasencia, favorecería a don Juan de Ávila; mientras que don Fernando Álvarez de Toledo, conde de Alba, hacía lo propio con sus hermanos y con su madre doña Aldonza de Guzmán. Estas noticias sobre la situación llegaron al rey Enrique IV y decidió que ambos condes se separaran de las diferencias familiares. En noviembre de 1456, apenas unos meses más tarde, el conde de Alba decide comprarlo, pero la operación no fructifica y los enfrentamientos seguirán has 1457, cuando se produce un acuerdo entre los condes de Plasencia y Alba.

Debido a lo sucedido, la fortaleza siguió en manos de doña Aldonza de Guzmán, y su hijo Juan de Ávila hubo de satisfacerse con Cespedosa donde levantó una torre.
En 1478, don Juan de Ávila, volvió a reclamar a su madre la propiedad des castillo de Puente del Congosto pero, tras la muerte de ésta, la fortaleza se la quedó su hermano don Luis de Guzmán comendador de la Orden de Calatrava. Las diferencias siguieron manteniéndose, y por ello, la corona desde 1480 tuvo que intervenir varias veces para garantizar la seguridad de los vecinos de Puente Congosto ante las acciones de Juan de Ávila.
En 1491 surgen otros problemas, ahora la comunidad de Ávila va a reclamar las fortalezas de Puente Congosto y Cespedosa por pertenecer a sus tierras, asunto que zanjan los Reyes Católicos en 1494 cuando son informados que don Luis de Guzmán está a punto de morir, y ordenan que su capitán Pedro Torres tome la fortaleza, una vez que fallezca su propietario, y pase a titularidad de la Corona, ya que si este edificio pertenece al comendador don Luis de Guzmán una vez que falte pasaría a la Orden de Calatrava, de la que eran administradores los propios reyes. Un año después, en 1495, mueren ambos hermanos, y es entonces cuando la corona toma posesión del castillo manteniéndola en su poder pese a las presiones de la ciudad de Ávila y los intereses enfrentados de los Zúñiga y los Alba.
Los duques de Alba utilizaron el castillo para cobrar el portazgo, que transita por el puente que los reyes Católicos mandaron levantar. El Concejo de la Mesta reguló los derechos y obligaciones de los ganaderos durante la trashumancia. En este castillo residía la persona encargada de cobrar el impuesto de paso por el cordel o portazgo, el portazguero.

Durante la revuelta comunera el castillo jugó un papel importante, se mantuvo fiel al Emperador y entorpeció los avances comuneros de salmantinos y abulenses. Y por fin en 1539 el duque de Alba lograba hacerse con la fortaleza comprándosela a Carlos I.
El castillo conserva aún algún escudo, como el de los Dávila formado por 13 roeles, también las armas de Guzmán, dos cestas con serpientes.

El castillo sufrió abandono y ruina después que los franceses lo destrozaran a cañonazos y posteriormente lo quemaran.

En la actualidad el castillo es de propiedad particular, se encuentra en manos de Luis Sánchez González, quien se ha dedicado a su restauración sin ayuda pública, pero previa notificación a Bellas Artes. En 1997 la asociación Amigos de los Castillos le otorga su medalla de plata por esta dedicación.

aspillera en el puente fortificado	muralla, torre y ventana	torre y ventana

Pertenece al grupo de castillos salmantinos del siglo XV que pueden considerarse como residenciales, pero que todavía presentan un acentuado carácter defensivo, éste es, quizás, el más destacable. Hoy día se conserva gran parte de los elementos del castillo. En el interior existe un patio de caballerizas. El conjunto posee un primer recinto exterior, una muralla, de planta hexagonal irregular, almenada en casi todo su perímetro. El lienzo del oeste, opuesto al río, y sin defensas naturales, se refuerza en el centro con un gran cubo no centrado estando ligeramente desplazado hacia el sur, este parapeto es el de mayor longitud y con este torreón se rompe el trazo recto del muro. La puerta principal se sitúa en el lienzo norte, es de arco apuntado con dovelas, y se encuentra protegida por una barbacana también almenada. Tanto los parapetos de la muralla como la barbacana poseen distintos tipos de troneras que corresponden a diferentes momentos de construcción.

En el interior del recinto se pueden observar aún huellas de las edificaciones situadas bajo el adarve o camino de ronda que lo rodea, protegido por un almenado piramidal. Se halla dividido en dos zonas por un muro, con el cual se protegían y aislaban los puntos de acceso al cuerpo central. Éste es un magnífico ejemplo de arquitectura defensiva en la que se buscaba la división del conjunto en elementos que permitan una defensa escalonada.
Dos torres constituyen el núcleo principal de la fortaleza. La más antigua es de planta rectangular construida a base de mampostería de guijarros, a excepción de las esquinas, que como ocurre en la mayoría de las veces, el material utilizado es el sillar. Cada uno de sus cuatro lados se remata por matacanes. En el lienzo oriental se abre una ventana ajimezada con una columna tipo mainel. Al interior de la torre, se llega a través de una puerta de medio punto de grandes dovelas, sin clave. La estancia a la que da acceso probablemente estuvo dividida en dos partes, a juzgar por la altura de la bóveda que la cubre, de ladrillo, con arcos de piedra, y las saeteras, actualmente en un lugar inaccesible. Lo confirma la entrada a la escalera de caracol, situada a una altura de tres metros sobre el suelo. Mediante ella se llega a la segunda planta, en cuyo lado oeste hay una ventana de doble arco apuntado con sus asientos; se halla abovedada con el mismo sistema que la inferior. Desde esta estancia, mediante un vano abierto en el muro sur, se llegaba a las del cubo, compuesto por tres cuerpos.
Las necesidades defensivas llevaron a la realización de una torre más que se une a la anterior pero esta vez de forma semicilíndrica con planta de “D”. Su lado curvo orientado a poniente, coincide con el flanco que necesita mejor defensa, como constata el torreón ya aludido, que se articula en la barbacana en el mismo lado. El acceso a esta torre sólo podía realizarse desde el tercer piso del torreón cuadrangular lo que habla bien a las claras de la estrategia de defensa a la que respondió la construcción. Las aberturas defensivas localizadas en estas torres se reducen a aspilleras y a alguna tronera de bola y cruz en los pretiles de sus ventanas.
Se dice que en el interior del castillo existen dos joyas, una escalera de caracol interior que comunica salones y habitaciones; otra es un aljibe, descubierto cuando se restauró la terraza principal, construido en piedra de sillería, revocado con cal e impermeabilizado con sangre de toro.

almenas y matacanes en muralla y torres	planta del castillo