En 1818 se construyó en San José un oratorio dedicado a Nuestra Señora de El Carmen. Posteriormente, en 1830, se trasladó a su ubicación actual. Esta edificación fue ampliada y reconstruida en las décadas de 1860 y 1870 y fue bendecida el 15 de julio de 1874. Su largo proceso de construcción estuvo a cargo del ingeniero Lesmes Jiménez.
El 26 de diciembre de 1881, el Obispo Mons. Bernardo Augusto Thiel, dio el decreto de erección de las parroquias de Nuestra Señora del Carmen y Nuestra Señora de la Merced, dejando sin efecto la función de parroquia que hasta el momento había asumido el Sagrario (en la Catedral) como Curato de San José. Se nombró como Cura Interino del Carmen, en esa misma fecha, al sacerdote José Cipriano Fuentes.
El 24 de agosto de 1994 fue declarada de interés histórico-arquitectónico.