L'œuvre de John Rutter est avant tout marquée par ses compositions pour chœur. Héritier de la tradition liturgique anglaise, il compose principalement des pièces religieuses qui peuvent être aisément interprétées par des chœurs non professionnels, comme Love Came Down at Christmas de Christina Rossetti. Ses œuvres les plus connues sont son Requiem (1985), son Magnificat (1990), Psalmfest (1993) et sa Mass of the Children (2003), toutes des œuvres religieuses. Il a également harmonisé ou adapté de nombreux cantiques. Il ne cherche pas à se laisser enfermer dans une image de musicien d'église : en 2003, il a déclaré à CBS : « Je ne pense pas qu'il soit nécessaire d'être particulièrement religieux, ou de chercher à promouvoir la foi religieuse de quelque manière que ce soit, pour composer de la musique religieuse de qualité. ».
D'une manière très anglaise et « cross-over », ses œuvres mêlent une inspiration classique et une autre, proche de ce qu'on peut entendre à Broadway. Il est ainsi possible de le rapprocher d'un autre compositeur anglais, Andrew Lloyd Webber, auteur de musiques religieuses (cf. son célèbre Pie Jesu, extrait de son Requiem) mais auteur surtout de comédies musicales (Cats, Evita, The Phantom of the Opera, Jesus Christ Superstar, etc.).
Il a également écrit de la musique profane, notamment des opéras pour enfants et des pièces pour orchestre.