Skolas būvniecību sāk 1930. gadā. Pirmo ķieģeli skolas pamatos iemūrē Valsts prezidents A. Kviesis. Skolas ēku iesvēta 1931. gada 30. augustā un tajā darbu uzsāka Rūjienas Valsts ģimnāzija.
Vācu okupācijas laikā (1941.-1944.g.) mācības notiek Eriņu muižas ēkā, jo skolā ierīkots hospitālis. Mūsdienās šajā ēkā mācās skolēni no 1.-4. klasei.