Madrasah Ibtidaiyah (MI) Mirfa’ul Ulum berdiri di atas tanah wakaf, sebelum adanya MI Mirfa’ul Ulum, dahulu sudah ada surau kecil yang digunakan untuk tempat ibadah shalat dan mengaji, yang pada akhirnya tanah tempat surau ini diwakafkan untuk kepentingan umat.

Dalam perkembangannya surau kecil ini diperluas sehingga menjadi masjid, yang oleh masyarakat diberi nama Masjid “Baitul Quddus”, pada suatu hari beberapa tokoh masyarakat sehabis shalat Jum’at berkumpul, saat memandang tanah yang begitu luas, salah seorang tokoh warga memberi saran alangkah baiknya jika tanah yang luas itu dibangun sekolah diniyyah untuk pendidikan agama di sore hari, sehingga pemanfaatannya lebih optimal. Tokoh-tokoh warga lainnya sangat setuju usulan tersebut, sehingga mereka mulai mencari bantuan dana untuk membangun madrasah diniyyah, dan juga tidak lupa mencari nama madrasah.

Penentuan nama sekolah ini dimintakan kepada seorang tokoh warga, yang pada akhirnya ditentukan nama “Rofi’ul Ulum”, oleh sahabat beliau, dianjurkan agar tidak “Rofi’ul Ulum”, sebab “Rofi’ul Ulum” maknanya diangkatnya ilmu, atau ilmu yang sudah ada diangkat/dicabut, tapi diganti “Mirfa’ul Ulum” yang maksudnya ilmu itu diangkat derajadnya. Pada akhirnya nama “Mirfa’ul Ulum” disepakati, sehingga Madrasah Diniyyah “Mirfa’ul Ulum” yang kegiatan belajarnya dilakukan sore hari resmi berjalan.

Seiring berjalannya waktu, kegiatan madrasah sore ini banyak peminat, sebagian tokoh warga mengusulkan kembali agar tidak hanya sore dibuat kegiatan belajar mengajar, tapi pagi hari dibuat sekolah formal, usulan ini disambut positif, dari penyambutan inilah Madrasah Ibtidaiyah Mirfa’ul Ulum berdiri.

Di atas tanah wakaf ini berdiri Masjid, kemudian terdapat sekolah formal MI Mirfa’ul Ulum, dan non formal Madrasah Diniyyah Mirfa’ul Ulum. Untuk memelihara semua yang ada, dipandang perlu adanya sebuah yayasan yang menaungi semuanya, maka ahli waris/pemberi wakaf bersama para tokoh bersama masyarakat di masa itu tahun 1989 mendirikan suatu yayasan bernama “Yayasan Amal sholeh Semarang” yang berdiri untuk kepentingan umat.