El 1 de mayo de 1574 tuvo lugar el primer cabildo para redactar las ordenanzas o reglas de esta Cofradía Penitencial en la capilla del Santo Cristo de la iglesia de Santa María, espacio que se sitúa bajo la torre actual. Nombrando por su principal protectora ante la cara de Dios, en especial a la Quinta Angustia y Soledad de Nuestra Señora Santa María, abogada nuestra, cuyo apellido lleve y haya esta hermandad y santa cofradía. Puede que llevara ya unos años de funcionamiento antes de esta fecha fundacional. Siguen los capítulos marcando las normas que habían de cumplir en la procesión de disciplina del Viernes Santo: solemnidad, devoción, disciplinarse, llevar la túnica y la insignia de Ntra. Sra. de la Quinta Angustia.
Va creciendo en importancia, adquiriendo posesiones y creciendo en el número de hermanos. Y construyendo -entre otras edificaciones- hospital para pobres, capilla o ermita y salón para instalar los pasos; sólo queda este último en la actualidad. Todo ello en un mismo edificio abierto en el corro de Santa María, junto a la iglesia de la que dependía. Consta que en 1647 ya han empezado a construir la ermita o capilla en el hospital; tal vez existía una pequeña ermita anterior dedicada a la Soledad, que en este momento se rehace del todo o en su mayor parte, de ahí que la Cofradía de la Quinta Angustia adopte este otro segundo nombre o de la Consolación, como se lee en la portada del primer libro de cuentas de la Cofradía conservado y que abarca desde 1687 hasta 1790 inclusive.
Después de diversas vicisitudes, el grueso de la obra se termina en 1648 y se inaugura trasladando solemnemente la imagen titular a su nuevo emplazamiento, así como la de Ntra. Sra. de las Angustias; y con festejos de toros y teatro. En años posteriores se hacen arreglos estructurales y ornamentales, retablos, imágenes, cuadros, lámparas, órgano. En resumen, suntuosa y muy adornada con estilo barroco. En 1648 un documento habla de la iglesia de Ntra. Sra. de las Angustias y Soledad. En el año 1650 se construye en esta ermita un aposento frente a la sacristía, quizá para almacén o sala de reuniones. En el libro de cuentas de la Cofradía, antes citado, se habla de éstas en 1689 en referencia a la reedificación de la capilla de Ntra. Sra. de la Soledad. Pero la ermita desaparece en 1850; pues, dado su estado ruinoso y de las dependencias anejas, menos el salón, el Ayuntamiento solicita del obispo la licencia para su demolición, venta y reutilización de los despojos. Como así se hizo.
Para poder albergar los pasos monumentales de la Cofradía, primero el paso del Descendimiento, popularmente La Escalera, que se comienza a tallar en 1663, decide construir junto o anejo a la ermita de la Soledad un salón de simple estructura, levantado en 1664, año grabado en el dintel de la puerta a ambos lados del emblema de la antigua Cofradía, un corazón con tres espadas que juntan sus puntas en el surco superior del mismo. Ya indiqué que es el único edificio conservado en la actualidad de todo el conjunto arquitectónico que levantó la Quinta Angustia, y que sirve de capilla y donde se guardan y desde donde salen, al son de La Lágrima, los llamados Pasos grandes: el indicado arriba y el que encargaron posteriormente La Crucifixión, popularmente El Longinos, que se comienza a tallar en 1673, sufriendo varias modificaciones o transformaciones de diversos artistas que intervinieron en la obra. Este edificio se remodeló y mejoró sus condiciones de conservación en 1999.
Después de un período de crisis, la Cofradía de la Quinta Angustia, que desfilaba el Viernes Santo por la tarde desde el templo de Santa María, desaparece o extingue según mandato del visitador del obispado de Palencia, diócesis a la que perteneció hasta 1955 Medina de Rioseco, en el año 1799. Lo cual no supuso un cese definitivo de su desfile procesional, sino disgregarse en otras hermandades ya existentes.
La imagen de vestir de la Soledad fue sustituida para procesionar por la talla de Dionisio Pastor de principios del siglo XX. La imagen de las Angustias también era de vestir; así en un inventario de 1758 se anotan -entre otros- un vestido entero de tela encarnada color de las angustias, tres rostrillos con el puesto, los siete cuchillos de plata… Aunque no consta que desfilara en la procesión de Semana Santa -lo cual no significa que no lo hiciera-, sí consta que lo hacía el día de su fiesta de gloria o fiesta titular y se corrían los toros, y que era el segundo día de Pascua del Espíritu Santo; en este lunes después de Pentecostés se siguen teniendo en muchas localidades celebraciones marianas: Misa, procesión.
El dolor de la Virgen María junto a la cruz de Jesús, teniendo en sus brazos a su Hijo muerto y en la soledad después de su entierro dieron paso a la alegría de la resurrección.