En 1979, el nombre de Duffy sonó en boca de todos al quemar parte de su trabajo en una papelera.El artista estudió en la Escuela de Arte diseño de vestidos porque "había muchas chicas guapas que lo hacían" antes de dejar esa disciplina por la fotografía. Fue uno de los pocos fotógrafos que estuvo a cargo de dos calendarios Pirelli y en su círculo era conocido por su mal genio.