La Hermandad de Nuestra Señora de los Dolores se constituyó probablemente, ya que no consta nada por escrito, al venir la imagen de la Virgen a finales del siglo XIX. Se trata de una imagen tallada en madera, anónima, si bien se conoce su procedencia granadina.Esta Hermandad no usaba túnicas, y los hermanos acompañaban la procesión con sus trajes seglares. La Virgen iba en unas pequeñas andas, con cuatro barras pintadas en color blanco, que sostenían un pequeño palio negro.
Sobre el año 1924 fue nombrado Hermano Mayor, antes de que lo fuera de la Hermandad de Jesús, Pablo Cantos Velasco, que a su vez era hermano de la Virgen de los Dolores del Convento (hoy de la Amargura) de Puente Genil, cuya Hermandad regaló a Lora cuatro barras de hierro pintadas con purpurina y con nueve hojas del mismo metal, que sostenían otras tantas tulipas o guardabrisas de cristal, que resguardaban las velas que iban en su interior.
Después fue Hermano Mayor Francisco Gallego, que realizó algunas reformas, entre ellas un manto negro con adornos dorados para la salida, y que ha llegado hasta nuestros días.Sucesivamente fueron Hnos. Mayores Manuel Borrego, José García Quesada y otros hasta su extinción en la década de los cincuenta, y posteriormente reorganizada y unida ya con la Hermandad de Jesús.
La parihuela con la que actualmente procesiona en Semana Santa se realizó en los años 60 por Maldonado de la Roda de Andalucía.