De forma bastante fácil, a canção rapidamente escancara a sua essência amaciada e fresca calcada em uma adorável paisagem indie rock. Delicadamente harmônica por entre guitarras distorcidas que fazem ecoar um sonar curiosamente melancólico em meio ao seu toque áspero, a canção é dominada pelo charme natural com que Mae Hunniford emprega seu vocal agudo e ligeiramente aveludado.
Com uma roupagem levemente retro, Yesterday, quanto mais se desenvolve, mais evidencia sua mistura estética para com a roupagem imponente e ao mesmo tempo melódica do pop punk. A partir daí, a faixa ganha presença e força de maneira a contagiar o espectador e a lhe oferecer certo grau de nostalgia perante as lembranças musicais do início dos anos 2000.