Una inscripción casi desaparecida por el transcurso del tiempo dice: «En esta santa casa de San Jerónimo se retiró a acabar su vida el que toda la gastó en defensa de la Fe y conservación de la Justicia, Carlos V, Emperador, Rey de las Españas, cristianísimo, invictísimo. Murió a 21 de septiembre de 1558». Pocos meses antes de retirarse a Yuste abdicó de su imperio en su hijo Felipe II. Entre sus palabras de despedida en Flandes dijo: "Nueve veces fui a Alemania la Alta, seis he pasado en España, siete en Italia, diez he venido aquí, a Flandes, cuatro, en tiempo de paz y guerra, he entrado en Francia, dos en Inglaterra, otras dos fui contra África, las cuales todas son cuarenta, sin otros caminos de menos cuenta que por visitar mis tierras tengo hechos. Y para esto he navegado ocho veces el mar Mediterráneo y tres el Océano de España, y agora será la cuarta que volveré a pasarle para sepultarme." Finalizó su discurso solicitando el perdón de aquellos a los que pudo hacer daño involuntariamente y emocionado terminó con lágrimas en los ojos.
La flota de su último viaje a España estaba integrada por sesenta naves guipuzcoanas, vizcainas, asturianas y flamencas. Partió de Gante el 17 de septiembre de 1556, a bordo de la nave capitana "La Bertendona". En la salida le acompañaron su hijo Felipe II, a quien despidió afectuosamente y le dio algunos consejos para su gobierno y conducta, sus hermanas las reinas viudas de Francia y de Hungría, su hija María, su yerno Maximiliano, rey de Bohemia y una brillante comitiva de flamencos y españoles. Sus hermanas, Leonor y María le acompañaron en el viaje tras años fuera de su lugar de nacimiento. El 28 de septiembre llegó la flota al puerto de Laredo. Al tomar tierra Carlos V declaró: "Yo te saludo, madre común de los hombres. Desnudo salí del vientre de mi madre: desnudo volveré a entrar en tu seno". A su llegada no tuvo el recibimiento que esperaba y se molestó. Además, el mal estado de los caminos retrasó la presencia de Luis Quijada, mayordomo de su hija Juana, princesa regente y gobernadora de Castilla, que traía una remesa de 4.000 ducados que el Emperador había solicitado. Tampoco había llegado el Condestable, ni los capellanes y médicos que necesitaba pues varios habían enfermado o muerto en el viaje y todas estas circunstancias le irritaron especialmente. Durante la estancia en Laredo se encontraba de mal humor.
El 6 de octubre salió de Laredo para Medina de Pomar acompañado por el alcalde de Durango, de la Chancillería de Valladolid. Evitaba hablar de negocios o de asuntos políticos. Su único objetivo era llegar cuanto antes a Yuste. El 13 de octubre llegó a Burgos y permaneció hasta el día 16 negándose al recibimiento del Condestable de Navarra. La marcha era tan lenta que empleó casi seis días de Burgos a Valladolid. Aquí se alojó en la casa de Rui Gómez de Silva dejando el palacio a sus hermanas que llegaron una jornada después. De Valladolid partió el 4 de noviembre con tiempo lluvioso y frío, llevándole en litera sobre mulas. A Tornavacas llegó a través de Valdestillas, Medina del Campo, Horcajo de las Torres y Alaraz. En el duro y escarpado puerto de Tornavacas fue llevado en la litera a hombros de labradores ya que su enfermedad y lo accidentado de la zona le impedía el paso a caballo y las mulas podían despeñarse. Durante las tres leguas que duró el sinuoso y difícil camino no se separó de su lado y anduvo a pie junto al Emperador Luis Quijada.
El 14 de noviembre entraron en Jarandilla y todos se alojaron en el excelente castillo- palacio de los Condes de Oropesa. Perfectamente dotado y con bellos jardines de naranjos y limoneros. El riguroso frío, la pertinaz lluvia y las densas nieblas que acaecían en Yuste aconsejaban alargar la estancia. Estas inclemencias invernales y los severos calores estivales previstos desanimaban a todos, incluida su hermana la Reina de Hungría, que recomendaban al Emperador la suspensión del viaje final y la búsqueda de otro lugar más adecuado para su salud. Ante estos contratiempos, el 23 de noviembre, Carlos V visitó personalmente su futura residencia y volvió convencido de todo cuanto había visto dando su total aceptación. No obstante, el Emperador permaneció en Jarandilla esperando los dineros que había solicitado a Sevilla para despedir y pagar a los criados que le habían acompañado y para sus gastos de manutención. El 16 de enero de 1557 llegaron los fondos, indemnizó a los criados y agilizó los preparativos para su entrada en Yuste. El 3 de febrero de 1557, Carlos V accedió al Monasterio de Yuste. Su primera visita fue a la Iglesia donde le recibió la Comunidad de monjes y le cantó el Te deum laudamus. Colocado en una silla todos los monjes por su orden fueron besándole las manos. El Prior le dirigió unas palabras de agradecimiento por haber elegido el monasterio para vivir con ellos.
La flota de su último viaje a España estaba integrada por sesenta naves guipuzcoanas, vizcainas, asturianas y flamencas. Partió de Gante el 17 de septiembre de 1556, a bordo de la nave capitana "La Bertendona". En la salida le acompañaron su hijo Felipe II, a quien despidió afectuosamente y le dio algunos consejos para su gobierno y conducta, sus hermanas las reinas viudas de Francia y de Hungría, su hija María, su yerno Maximiliano, rey de Bohemia y una brillante comitiva de flamencos y españoles. Sus hermanas, Leonor y María le acompañaron en el viaje tras años fuera de su lugar de nacimiento. El 28 de septiembre llegó la flota al puerto de Laredo. Al tomar tierra Carlos V declaró: "Yo te saludo, madre común de los hombres. Desnudo salí del vientre de mi madre: desnudo volveré a entrar en tu seno". A su llegada no tuvo el recibimiento que esperaba y se molestó. Además, el mal estado de los caminos retrasó la presencia de Luis Quijada, mayordomo de su hija Juana, princesa regente y gobernadora de Castilla, que traía una remesa de 4.000 ducados que el Emperador había solicitado. Tampoco había llegado el Condestable, ni los capellanes y médicos que necesitaba pues varios habían enfermado o muerto en el viaje y todas estas circunstancias le irritaron especialmente. Durante la estancia en Laredo se encontraba de mal humor.
El 6 de octubre salió de Laredo para Medina de Pomar acompañado por el alcalde de Durango, de la Chancillería de Valladolid. Evitaba hablar de negocios o de asuntos políticos. Su único objetivo era llegar cuanto antes a Yuste. El 13 de octubre llegó a Burgos y permaneció hasta el día 16 negándose al recibimiento del Condestable de Navarra. La marcha era tan lenta que empleó casi seis días de Burgos a Valladolid. Aquí se alojó en la casa de Rui Gómez de Silva dejando el palacio a sus hermanas que llegaron una jornada después. De Valladolid partió el 4 de noviembre con tiempo lluvioso y frío, llevándole en litera sobre mulas. A Tornavacas llegó a través de Valdestillas, Medina del Campo, Horcajo de las Torres y Alaraz. En el duro y escarpado puerto de Tornavacas fue llevado en la litera a hombros de labradores ya que su enfermedad y lo accidentado de la zona le impedía el paso a caballo y las mulas podían despeñarse. Durante las tres leguas que duró el sinuoso y difícil camino no se separó de su lado y anduvo a pie junto al Emperador Luis Quijada.
El 14 de noviembre entraron en Jarandilla y todos se alojaron en el excelente castillo- palacio de los Condes de Oropesa. Perfectamente dotado y con bellos jardines de naranjos y limoneros. El riguroso frío, la pertinaz lluvia y las densas nieblas que acaecían en Yuste aconsejaban alargar la estancia. Estas inclemencias invernales y los severos calores estivales previstos desanimaban a todos, incluida su hermana la Reina de Hungría, que recomendaban al Emperador la suspensión del viaje final y la búsqueda de otro lugar más adecuado para su salud. Ante estos contratiempos, el 23 de noviembre, Carlos V visitó personalmente su futura residencia y volvió convencido de todo cuanto había visto dando su total aceptación. No obstante, el Emperador permaneció en Jarandilla esperando los dineros que había solicitado a Sevilla para despedir y pagar a los criados que le habían acompañado y para sus gastos de manutención. El 16 de enero de 1557 llegaron los fondos, indemnizó a los criados y agilizó los preparativos para su entrada en Yuste. El 3 de febrero de 1557, Carlos V accedió al Monasterio de Yuste. Su primera visita fue a la Iglesia donde le recibió la Comunidad de monjes y le cantó el Te deum laudamus. Colocado en una silla todos los monjes por su orden fueron besándole las manos. El Prior le dirigió unas palabras de agradecimiento por haber elegido el monasterio para vivir con ellos.
