Joe Cocker nació el 20 de mayo de 1944 en el número 38 de la calle Tasker Road en Crookes, Sheffield. Fue el hijo menor de Harold Cocker, funcionario público, y de Madge Lee. Según diferentes historias familiares, Cocker recibió el apodo de Joe por jugar a un juego infantil llamado «Cowboy Joe» o por un limpiador local llamado Joe.
Las principales influencias musicales de Cocker durante su adolescencia fueron Ray Charles y Lonnie Donegan. La primera experiencia de Cocker cantando en público tuvo lugar a los doce años cuando su hermano mayor, Victor, lo invitó al escenario a cantar durante un concierto de su grupo de skiffle. En 1960, junto a tres amigos, Cocker formó su primer grupo, The Cavaliers. Después de un año, el grupo se rompió y Cocker abandonó la escuela para trabajar de aprendiz en el East Midlands Gas Board, al mismo tiempo que persiguió de forma simultánea una carrera musical.
En 1961, con el nombre artístico de Vance Arnold, Cocker continuó su carrera con un nuevo grupo, Vance Arnold & The Avengers. El nombre era una combinación de Vince Everett, el personaje interpretado por el Elvis Presley en Jailhouse Rock, y el cantante de country Eddy Arnold. El grupo tocó en su mayoría en pubs de Sheffield, interpretando versiones de temas de Ray Charles y Chuck Berry6 Durante esta etapa, Cocker desarrolló interés en la música blues y buscó discos de John Lee Hooker, Muddy Waters, Lightnin' Hopkins y Howlin' Wolf. En 1963, el grupo tuvo su primer concierto importante al actuar como teloneros de The Rolling Stones en el Sheffield City Hall.
Un año después, Cocker firmó un contrato discográfico como solista con Decca Records y publicó su primer sencillo, una versión del tema de The Beatles «I'll Cry Instead», con Big Jim Sullivany Jimmy Page tocando la guitarra. A pesar de una amplia promoción de Decca alabando su juventud y sus raíces obreras. el disco fue un fracaso y su contrato con la compañía expiró a finales de 1964. Después de grabar el sencillo, Cocker abandonó su nombre artístico y formó un nuevo grupo, Joe Cocker's Big Blues. La única grabación conocida del grupo es un EP dado por The Sheffield College durant la Rag Week llamado Rag Goes Mad at the Mojo.