Erzurum Eğitim Enstitüsünün kuruluş çalışmaları 1960 yılı Şubat ayında belirginleşti. Erzurum'da 100 yatılı 30 gündüzlü öğrenci barındırabilecek bir bina aranmış, şimdiki Ali Ravi İlköğretim Okulu binası o zaman yeni yapıldığı için enstitü için uygun görülmüştür. Aslında enstitü 1960-1961 yılı Kasım ayında öğretime başlamıştır. Personel araç-gereç ve benzeri imkânlardan oldukça yoksun bir yüksek okul, özellikle yatılı bir yüksek okul açmak kolay değildi. Kaldı ki, enstitüye tahsis edilen ilkokulun malzemesi de yüksek okulda kullanılabilecek nitelikte değildi.
Okul binası 15 büyük, 3'te idare odası olabilecek küçük odadan ibaretti. Binanın üst katında 5 oda ve yatakhane; orta katında 4 sınıf, müdür, müdür yardımcısı ve öğretmen odası; alt katta ise mutfak, ambar ve yemekhane bulunmaktaydı. Enstitü müdürü küçük bir oda ile yanındaki banyoyu lojman olarak kullanmaktaydı.
Okulun bulunduğu yer “Araplar Düzü” diye tarif edilen eski bir mezarlık yanındaydı. Bulunduğu yer biraz yüksek olduğu için Aziziye Tabyaları, Palandöken sırtları, havaalanı kolaylıkla görülebiliyordu.
Enstitünün 400 m güneyinde çok büyük karkas bir bina bulunuyordu. Modern bir hapishane olarak düşünülen bu bina, ne gariptir ki, daha sonra sırasıyla Eğitim Enstitüsü ve Kâzım Karabekir Eğitim Fakültesi olacaktır.
Enstitünün ilk yılında bir müdür ve iki öğretmenden oluşan bir öğretim kadrosu vardı. 1963 yılında Millî Eğitim Bakanlığı, TCK XII. Bölge Müdürlüğü karşısında bulunan henüz kullanılmayan cezaevi binalarını ve çevresindeki arsayı satın almıştı. Bina ancak 1966 yılında içine girilebilecek duruma getirilmiş, spor salonu ve konferans salonu da 1970-1971 yılında, binanın yanına düşünülen lojmanlar ise on ay sonra tamamlanabilmişti. Erzurum Eğitim Enstitüsünün taşındığı bu yeni bina 43 dönüm genişliğinde ve toplam dört ayrı binadan oluşmaktaydı. Binanın kullanıma açık bölümü 60 kişilik 16 derslik, bir idman salonu, dört lâboratuvar, bir oturma salonu, bir kimya, bir biyoloji, bir fizik sınıfı ve bir de sunu salonundan müteşekkildi. Daha önceki okul binası düşünülünce dershaneleri, lâboratuvarı, kütüphanesi, yatakhanesi ve öğrenci lokali bulunan bu bina öğrencilere fazla bile gelmişti. Hatta okulun son koridoru daha sonraki yıllarda açılacak “Atatürk Ortaokulu” için ayrılmıştı. Onlar da aynı çatı altında eğitime devam ettiler. Ardından daha önceleri kullanılan enstitü binası ise bu ortaokula devredildi.