Né au Québec à Sainte-Agathe-des-Monts, Jim Zeller commence à jouer de l'harmonica à l'âge de douze ans. À la fin des années soixante-dix, il se joint pour la première fois à un groupe de musique professionnel, Shaky Al Blues Band avec lequel il se produit en tournée pour les deux prochaines années. Durant cette même période, il accompagne à l'harmonica des légendes du blues comme B.B.King, Muddy Waters, John Lee Hooker, J.T.Hotto, Willie Dixon, James Cotton, Albert Collins et Frank Marino. C'est à cette époque qu'il rencontre Alan Gerber avec qui il fonde le duo bien connu Gerber-Zeller. Leur popularité, tant au Québec qu'à New York, leur permet de se produire avec des artistes renommés tels Loggins and Messina et Bob Dylan. Le son unique que Jim réussi à créer avec son harmonica le hisse rapidement au niveau de phénomène sur la scène musicale, engendrant ainsi une forte sollicitation de la part de nombreux musiciens. On peut l'entendre sur les albums de Charlebois, Forestier, Higelin, et Diane Dufresne, pour n'en nommer que quelques-uns.