Ahlat Kitabeleri ve Erzurum Tarihi kitaplarıyla genç yaşında haklı bir şöhrete sahip olan Abdurrahim Şerif Beygu lise tarih öğretmeni olarak atandığı Eskişehir'de hastanlandı ve 06.10.1944 tarihinde vefat etti. Cenazesi Eskişehir'in mezarlığına defnedildi. Rahmetli Ord. Prof. Ziyaeddin Fahri ve Erzurum Halkevleri yöneticilerinin önayak olmaları ile mezarı güzel bir şekilde yaptırıldı. 6.10.1946'da vefatının ikinci senesi yapılan kabri başında bir merasim de yapıldı.
49 yaşında hayata veda eden Şerif Bey'in hemşerilerince yaptırılan mezar taşında şu ifadeler yer alıyor:
HUVELBAKİ
ERZURUM VE ESKİŞEHİR LİSELERİ TARİH MUALLİMİ
ERZURUM TARİHİ VE AHLAT KİTABELERİ GİBİ MÜHİM ESERLERİN MÜELLİFİ OLAN VE HAYATINI MEMLEKET BİLGİSİ UĞRUNA FEDA EDEN DEĞERLİ TÜRK TARİHÇİSİ
ABDÜRRAHİM ŞERİF
BURADA YATIYOR. RUHUNA FATİHA
DOĞUM : 1895 ERZURUM
ÖLÜM : 6.X.1944 ESKİŞEHİR
.