Menurut sejarah dan cerita sesepuh masyarakat, sebelum dinamakan desa Selorejo pada dahulu kala masih berupa hutan belantara dan rawa-rawa yang masih banyak dihuni leh binatang buas dan angker. Tak seorang pun berani memasukinya. Setelah dibabad oleh sesepuh yang bernama mbah Kertodono dan mbah Sodimedjo pada masa kerajaan Mataram atau masih penjajahan Belanda maka berdirilah sebuah kademangan yang bernama Kaemangan Samir. Karena kademangan Samir memiliki wilayah yang luas membujur dari utara ke selatan dan terdiri hutan belantara yang dihuni binatang buas maka terdapat jalan lintas wilayah digunakan untuk sarang begal di ruas jalan tersebut.

Sehingga masyarakat kademangan samir takut bersosialisasi dengan warga lainnya. kemudian terbentuklah masyarakat secara berkelompok di sebelah selatan kelompok masyarakat Polgarut masuk wilayah desa Salakkembang, tengan kelompok masyarakat Samir masuk desa Samir dan utarakelompok masyarakat Selorejo masuk desa Selorejo. Adapun desa Selorejo adalah sebuah pemekaran dari desa Samir.