El aumento de la importancia militar de Olivenza tuvo como consecuencia la construcción de infraestructuras complementarias. Así se creó el polvorín de Santa Bárbara, los cuerpos de guardia para vigilancia de las puertas y los cuarteles para alojamiento de la milicia. La Panadería del Rey es una de ellas, también conocida por otros nombres, en relación con otras de sus funciones, como Cuartel del Asiento. Disponía de todo lo necesario para fabricar 10.000 panes diarios. Las chimeneas cilíndricas de sus cuatro hornos se han conservado hasta la actualidad como si aún se encontraran en servicio.
Es un edificio de finales del siglo XVIII anexo al recinto del Castillo y a la muralla medieval. Su fisonomía obedece a los principios del neoclásico, originado en Portugal como consecuencia de la tarea reconstructora de la Lisboa asolada por el terremoto de 1775, bajo las directrices del Primer Ministro de D. José I, el Marqués de Pombal. Si bien sus raíces surgen más de la sobria tradición constructiva portuguesa que de un estilo neoclásico cuya teorización aún estaba dando sus primeros pasos en Roma. La repetición ritmada de los vanos, resuelta en sobrias y desornamentadas jambas de mármol, y la ausencia de añadidos o adornos en cualquier otra parte de la fachada definen este pombalino que también podríamos denominar protoneoclásico portugués.
Acoge parte del Museo Etnográfico Extremeño González Santana, destacando en la parte baja los cuatro hornos que albergan, respectivamente, la tienda de ultramarinos, una bodega, una almazara y una fragua. Asimismo, destacan dos salas superpuestas sustentadas por columnas octogonales revestidas de mármol rosa, albergando abajo una colección de arqueología de la zona y arriba piezas de arte sacro.