Desde que comenzara su relación con la duquesa de Alba, allá por el año 2008, Alfonso Díez siempre ha destacado por su prudencia manteniéndose en un segundo plano y evitando entrar en debates a pesar de haber sido, desde sus inicios como personaje público, objeto de innumerables críticas y protagonista de otros tantos rumores. No obstante, en su papel de duque consorte de Alba también sabe en qué momento tiene que hablar para frenar los comentarios que casi a diario se publican acerca de él en los medios de comunicación. No le ha quedado más remedio que aprender a mostrar su enfado y ponerse en su sitio cuando considera que lo que se dice no responde a la realidad. Así, Díez ha dado un golpe en la mesa para dejar claro que si ha adquirido una nueva propiedad en Sanlúcar de Barrameda ha sido gracias a un crédito bancario y no al dinero de su esposa. "No es cierto. Me molesta porque dan a entender cosas raras sobre el origen del dinero, sobre quién me lo ha prestado. Es una casita de pueblo que no tiene más de ochenta metros cuadrados, para la que he pedido un crédito que avalo con mi piso de Madrid. Me gusta mucho esa zona a la que iba mucho antes de salir con Cayetana", ha comentado a la periodista Paloma Barrientos. El palentino, además, ha querido dejar claro que puede hacer frente a ese gasto gracias a su puesto de trabajo como funcionario, que podría retomar en cualquier momento aunque ahora esté disfrutando de una excedencia, y también a sus ahorros con los que, según él mismo ha dicho, puede "hacer lo que quiera".

A pesar de ser el marido de la jefa de la Casa de Alba, Alfonso Díez no ha querido renunciar a su vida, a sus gustos y a su personalidad. En declaraciones a Vanitatis, el Duque ha comentado: "Claro que me proponen cosas pero tengo claro por qué lo hacen. Aún me interesa el cine, el teatro, la literatura y todo lo que tiene que ver con la tienda de antigüedades de mi familia, pero no otro tipo de cosas". Lo cierto es que, desde que empezara su noviazgo con doña Cayetana, ha renunciado a suculentas cantidades de dinero a cambio de protagonizar exclusivas o hacer declaraciones acerca de su vida en común con la aristócrata.

Alfonso se ha tenido que enfrentar a un sinfín de críticas y luchar contra los comentarios que aseguraban que su amor por la duquesa es fruto de un mero interés económico. Divagaciones que durante mucho tiempo fueron el principal impedimento para que ambos se dieran el 'sí quiero'. Todas las dudas se disiparon en el verano del 2011, sólo unos meses antes de su enlace en Sevilla, cuando la noble hizo un reparto anticipado de su patrimonio entre sus seis hijos: Carlos, Alfonso, Jacobo, Fernando, Cayetano y Eugenia. Esta decisión de doña Cayetana permitió a la pareja casarse acallando todos los rumores. Una boda que no ha impedido que el funcionario siga manteniendo su postura: antes que duque consorte de Alba, él es Alfonso Díez.