Aunque como reporta Stereogum, en los años de su adolescencia, Morrissey no era un gran fanático de los pioneros del punk rock, Ramones, ya que le parecían una banda de “pretenciosos degenerados sin talento”, aprovechó su visita a Brooklyn en Nueva York para recordar a la que ahora es una de sus bandas favoritas, con una versión de “Judy is A Punk”.  

Esta canción originalmente fue publicada en el álbum homónimo de Ramones de 1976.