Väike Johannes alustas kooliteed oma isa juhatusel Rosma külakoolis.
1897. aasta sügisel siirdus ta kihelkonnakooli, mis asus Põlva lähedal Mammaste külas köstri talus ja nimetati seepärast ka köstrikooliks. Kool asus kodust 7 kilomeetri kaugusel, mistõttu nädala sees tuli seal ka ööbida. Köster Otto Mattison tegeles vaid usuõpetusega, teised ained olid õpetaja Toomas Toigeri õpetada.
1899. aasta kevadel, kaheaastase õppimise järel, lõpetas Johannes Mammaste köstrikooli ning 1900. aastal sooritas ta vastuvõtukatsed Võru linnakooli. Seal õppis ta neli järgnevat aastat (1900-1903). Võru linnakool asus samas Võru turuäärses linna vanimas majas, kus hiljem töötas Johannes Käisi juhtimisel kümme aastat Võru Õpetajate Seminar.
Johannes Käisiga ühel ajal õppis Võru linnakoolis teinegi tulevane koolimees, Liinamäe vallast pärit Friedrich Volrad Mikkelsaar (1886-1930), kes organiseeris linnakoolis õpilasringi TAMULA, millesse kuulus ka Johannes Käis. Ringis loeti “Kalevipoega” ja peeti ettekandeid eesti kirjanike teostest.
Pärast linnakooli lõpetamist seisis Johannes raske küsimuse ees, kuhu minna edasi õppima. Mitmed koolikaaslased siirdusid lähedasse Pihkva maamõõtjate kooli. See amet aga Johannest ei huvitanud, tema tahtis saada kooliõpetajaks.