Grâce à pied gauche redoutable qui lui a valu le surnom de "Gunner" ("l'Artilleur"), Jack Rowley a aidé les Red Devils de Matt Busby à renouer avec la gloire dans les années d'après-guerre.
À l'apogée de sa carrière, Rowley était l'un des attaquants les plus craints du pays, tout comme son frère Arthur, car il était exceptionnel dans les airs comme balle au pied.
Rowley rejoignait Man United en 1937 pour 3 000 £, après des passages rapides dans le club de sa ville natale, Wolverhampton Wanderers, et Bournemouth and Boscombe Athletic, où il inscrivait 10 buts en 11 matches. Lors de sa première saison complète à Old Trafford, il aidait United à remporter la deuxième place de la Deuxième division synonyme de retour dans l'élite anglaise dont il était absent depuis
1931.
Lorsque se déclenchait la Deuxième Guerre Mondiale, Rowley s'enrôlait dans la régiment de South Staffordshire et participait au débarquement du jour J en Normandie en 1945. Entre-temps, alors que le championnat officiel était suspendu, il évoluait aux Wolves, mais aussi à Aldershot, Belfast Distillery, Folkestone, Shrewsbury Town et Tottenham Hotspur.
Lorsque le championnat anglais recommençait en 1946, c'est à Man United que Rowley reprenait sa carrière. Membre de la ligne offensive baptisée "Famouse Five", il remportait la FA Cup 1948 en inscrivant notamment un doublé en finale contre Blackpool (4-2).
En 1952, Rowley formait un duo redoutable avec l'expérimenté joueur écossais Jimmy Delaney, et marquait 30 buts en championnat pour aider MU à renouer avec la Première Division pour la première fois depuis 1911.
Après 503 matches et un total remarquable de 312 buts, l'international anglais (6 sélections, 6 buts) quittait United pour rejoindre Plymouth Argyle en tant que joueur-entraîneur, avant de raccrocher les crampons deux ans plus tard, en 1957.
Pendant les douze ans qui suivaient, il occupait différents postes d'entraîneur et de manager. Il se retirait définitivement du football en décembre 1969 et reprenait une annexe de bureau de poste/marchand de journaux dans le quartier de Shaw à Oldham.