Keberadaan Perpustakaan IAIN Padangsidimpuan dalam lintasan sejarah diawali dari Perpustakaan Fakultas Tarbiyah IAIN Sumatera Utara cabang Padangsidimpuan. Namun, pada waktu itu Perpustakaan Fakultas Tarbiyah belum memiliki gedung tersendiri tetapi hanya menempati salah satu ruangan di gedung yang berada di Jalan Ade Irma Suryani Nasution Padangsidimpuan. Pada tahun 1986 seiring dengan keberadaan kampus baru di desa Sihitang kecamatan Padangsidimpuan Tenggara, Perpustakaan Fakultas Tarbiyah tersebut dipindahkan bersama dengan seluruh bagian administrasi ke kampus baru tersebut. Dengan keterbatasan gedung yang tersedia pada waktu itu, maka Perpustakaan berbagi tempat dalam satu ruangan dengan ruang sidang munaqasyah.

Pada tahun 1997 ketika terjadi alih status Fakultas Tarbiyah IAIN Sumatera Utara cabang Padangsidimpuan menjadi STAIN Padangsidimpuan, maka dengan sendirinya Perpustakaan Fakultas Tarbiyah tersebut berubah menjadi Perpustakaan STAIN Padangsidimpuan. Sejak saat itu mulailah Perpustakaan membenahi koleksi dan layanan perpustakaan secara bertahap dan sesuai dengan perkembangan STAIN Padangsidimpuan.

Tiga tahun setelah berdirinya STAIN Padangsidimpuan, tepatnya tahun 2000, gedung perpustakaan mulai dibangun dengan luas bangunan 600 m² yang terdiri dari dua lantai. Pembangunan gedung perpustakaan tersebut selesai pada tahun 2001 dan mulai dipergunakan untuk aktifitas pelayanan perpustakaan pada pertengahan tahun 2002.

Kini, seiring dengan terbitnya Peraturan Presiden RI Nomor 52 Tahun 2013 tentang alih status STAIN Padangsidimpuan menjadi IAIN Padangsidimpuan, maka Perpustakaan STAIN Padangsidimpuan berubah menjadi Perpustakaan IAIN Padangsidimpuan.