El edificio fue inicialmente construido por el conde de Eguía como un castillo-fortaleza en 1548. En aquellos tiempos, el conde de Eguía poseía una finca de 1.000 hectáreas en la ribera del Ebro, enclavada de lleno en lo que hasta 36 años antes había sido frontera entre los reinos de Castilla y Navarra. Dado lo reciente de la anexión del Reino de Navarra por parte de la corona de Castilla y Aragón, seguía existiendo notable hostilidad entre los nobles navarros y castellanos, y Eguía era frecuentemente hostigado por fuerzas militares que cruzaban el río Ebro por el vado de Alcanadre.

Al cabo de los años siguientes, estas intrigas se fueron calmando, al tiempo que la situación interna en Navarra se enrarecía progresivamente. La fortaleza de Imas va, pues, perdiendo parte de su importancia y Eguía se interesa por el Castillo de Monjardín, propiedad de la orden benedictina que sobre una colina dominaba la villa de Estella, enclave estratégico en la época.En aquel momento, la orden benedictina se encuentra con una finca de Imas interesante por su gran tamaño, ubicación y proximidad al río Ebro, y con que puede prescindir de Monjardín, pues ya contaba con el Monasterio de Irache cerca del lugar.