XV Duque de Medina-Sidonia y
X Marqués de Villafranca

José Álvarez, Chambelán del Rey Carlos IV, era hijo de Don Antonio Álvarez de Toledo y Pérez de Guzmán, XI Marqués de Villafranca, y de Doña María Antonia Gonzaga y Caracciolo. Heredó todo el patrimonio de su padre junto con el de su primo, Don Pedro de Alcántara Pérez de Guzman y Pacheco, XIV Duque de Medina-Sidonia, que falleció sin descendencia. Se casó con su prima María del Pilar Teresa Cayetana de Silva y Álvarez de Toledo, XIII Duquesa de Alba con el fin de que el Ducado de Alba se mantuviese en la familia Álvarez de Toledo. Con esta boda, los Duques se convirtieron una de las parejas más ricas y tituladas del Reino, en competencia directa con los Duques de Osuna.

Durante su estancia en la corte, entró a formar parte del círculo del Infante Gabriel, hombre muy próximo al ámbito cultural, por lo que se hizo protector de artistas, como Joseph Haydn y Francisco de Goya.

Construyó el Palacio de Buenavista en Madrid, donde su mujer estableció una corte paralela a la de la Reina María Luisa y reunió una importantísima colección de arte que en la actualidad se encuentra repartida entre el Palacio de Medina-Sidonia y el Palacio de Liria. Obtuvo el Toisón de Oro, la Gran Cruz de la Orden de Carlos III y fue nombrado, en 1791, Inquisidor General de Sevilla. Se trasladó a vivir a su palacio sevillano, donde ejerció su cargo y murió en 1796.