O hotel Eurostars Palacio Buenavista foi construído nos arredores do antigo Palácio de Buenavista, um impressionante edifício renascentista do século XVI. O palácio foi construído numa propriedade cedida pelo rei de Espanha Felipe III ao cardeal Bernardo de Sandoval y Rojas em 1599.
Segundo alguns historiadores, o recinto foi projetado por El Greco, na sua única incursão no mundo da arquitetura.
O palácio de Toledo acolheu reuniões de importantes personalidades literárias e artistas como Miguel de Cervantes, Góngora, Lope de Vega, Baltasar Gracián, Tirso de Molina, e o próprio El Greco . O jardim da propriedade foi um dos mais elaborados e pormenorizados da altura, tendo albergado veados, gazelas e estátuas de ninfas.
O Conde de Romanones, uma das personalidades políticas mais influentes em Espanha na época, adquiriu a propriedade em 1923 e levou a cabo uma profunda restauração do espaço. Naquela época, serviu de alojamento ao rei Alfonso XIII em várias ocasiões, que ali permanecia durante as suas jornadas de caça naquela zona. No início do século XX, as ruínas do palácio foram transformadas num hotel de luxo.
Desde 2014, o hotel é gerido pelo Grupo Hotusa e faz parte da cadeia Eurostars Hotels.