Perpustakaan IAIN Mataram berdiri bertepatan dengan berdirinya Institut Agama Islam Negeri yang sebelumnya bernama Sekolah Tinggi Agama Islam Negeri Mataram (STAIN) pada tahun 1998. Keberadaannya merupakan kelanjutan dari Perpustakaan Tarbiyah dan Syari’ah IAIN Sunan Ampel. Setelah berdirinya Perpustakaan IAIN Mataram, maka Perpustakaan yang sebelumnya merupakan perpustakaan fakultas digabung menjadi Perpustakaan IAIN mataram. Demikian juga dengan buku-buku yang ada di perpustakaan tersebut dijadikan satu menjadi buku IAIN Mataram.

Karena demand masyarakat yang tinggi untuk menyekolahkan putra putri mereka di IAIN Mataram, maka pada tahun 2012, Fakultas Tarbiyah pindah ke Jl. Gajahmada Jempong. Bersamaan dengan itu maka dibentuklah Perpustakaan Fakultas Tarbiyah yang merupakan cabang dari UPT Pusat Perpustakaan. Pembentukan tersebut dimaksudkan untuk memenuhi pelayanan bahan pustaka bagi mahasiswa Fakultas Tarbiyah.