Hier erhielt er Unterricht in der Lateinschule und erste Unterweisung in der Musik durch Rektor Georg Pfister (1730-1807) und Kantor Bernhard Franz Wendler (1702-1782), vor allem Klavier- und Violinunterricht. Schon früh zeigte sich seine musikalische Neigung, wie sein Lehrer Pfister sich in einem Brief im Jahre 1800 erinnerte:

Kaum 7 bis 8jährig ware er schon in lateinischen Aufsäzen so gegründet daß er zu einer höheren Klasse Konnte befödert werden. Seine Anlage zur Musik ware eben so ausnehmend, und wundervoll, daß er in der Stimme zum Diskant seine Weibliche neben Sopranistin in der höhe und Fertigkeit gleich im ersten Vierteljahr übertraf, und so auch auf seinem Kleinen geigchen /:dann eine große konnte er noch nicht erspannen:/ in einem Trio die erste, ich sein lehrer die zweite Violin mit Verwunderung aller auf der Orgel in der Kirch abspielte, und so nahme er Natürlicher Weiße bis ins 10te Jahr seines alters also zu, daß er fast überfähig auf Mannheim in das dortige Musik Siminarium und zur ersten Schule aufgenommen worden.

Im Alter von 12 Jahren, 1768, kam Joseph Martin Kraus nach Mannheim, wo er das Jesuitengymnasium sowie das Musikseminar besuchte und besonders durch P. Alexander Keck (1724-1804) und P. Anton Klein (1748-1810) eine gute Ausbildung in Musik, Violinspiel, vor allem aber in lateinischer und deutscher Sprache erhielt. ...war Drey Jahr ... Hier unter meiner Auf-sicht, und in meiner Lehre, die Zierde der studirenden Jugend. Er Zeichnete sich durch Talent und Fleiß unter seinen Mitschühlern bey weitem aus. Er Hatte ein glückliches Gedächtniß, natürlichen Scharfsinn, und äusserte sehr frühzeitig gesunde Beurtheilungs Kraft und ästhätiges Gefühl. Dabey hatte er wahrhaft das Gemüth eines Engels...