Menurut catatan sejarah, kerajaan Perlak yang berdiri tahun 840 M adalah kerajaan Islam pertama di Indonesia, bahkan di Asia Tenggara. Tentang fakta itu dapat dipastikan bahwa masuknya agama Islam terjadi jauh sebelum tahun berdirinya kerajaan itu, karena kerajaan itu didirikan ketika sebagian besar penduduknya telah cukup lama memeluk agama Islam. Pada abad IX Dinasti Abbasiyah yang berpusat di Baghdad konon mengirimkan delegasi dakwah yang terdiri dari orang-orang Arab yang berakidah Ahlussunnah wal Jamaah, bermazhab Syafii dan bertashawuf mutabar ke wilayah Sumatera Utara. Pada tahun 1042, berdiri kerajaan Islam Samudra Pasai. Menurut Ibnu Bathutah, kerajaan ini, dengan raja pertamanya Al-Malikus Shaleh, menganut paham Ahlussunnah wal Jamaah dan memilih mazhab Syafii.
Meski tidak ada catatan yang pasti, diperkirakan kalau Islam masuk ke Pulau Jawa pada akhir abad XIV atau awal abad XV. Ini antara lain dapat dibuktikan dengan tulisan di batu nisan Maulana Malik Ibrahim tentang tahun wafatnya, yakni tahun 1419 M, setelah runtuhnya kerajaan Majapahit, yang beragama Hindu. Di awal abad XV, dengan dukungan Walisongo, Raden Fatah mendirikan Kerajaan Islam Demak. Dalam penyebaran agama Islam, cara berdakwah para wali yang jumlahnya sembilan orang itu, dirasa sesuai dengan sifat dan pembawaan masyarakat Jawa, sehingga dalam waktu yang relatif singkat hampir seluruh masyarakat Jawa memeluk agama Islam.Setelah Demak, berdiri beberapa Kerajaan Islam di Ternate, Sumatera, Kalimantan, Sulawesi dan Nusa Tenggara pada abad XVI, sehingga agama Islam menjadi agama yang dianut mayoritas penduduk nusantara.
Ada beberapa faktor pendukung bagi cepatnya penyebaran Islam di bumi nusantara. Pertama, sebagai agama tauhid (tawhîd), Islam menampilkan manusia dalam kedudukan yang sama (musâwah) dan bebas dari penghambatan sesama makhluk (hurriyyah). Prinsip tauhid ini merupakan ajaran yang sama sekali baru yang menarik dan membebaskan manusia dari belenggu lama yang membagi manusia ke dalam kelas-kelas.
Kedua, watak Ahlussunnah wal Jamaah yang moderat telah membentuk perilaku dan sikap para penyebar Islam. Seperti diketahui, para wali dan penyebar Islam di nusantara adalah penganut Ahlussunnah wal Jamaah yang teguh. Dengan penuh kearifan, dakwah mereka lakukan secara tadrîj (evolusi) dan sejauh mungkin memperkecil beban yang bisa dirasakan masyarakat (taqlîl al-takâlif).
Ketiga, Islam dapat menjadi agama rakyat karena disampaikan dengan penuh kedamaian dan menghormati tradisi dan nilai secara arif berdasarkan prinsip-prinsip:
1. Nilai lama yang secara diametral bertentangan dengan akidah disikapi dengan cara menolaknya secara argumentatif.
2. Nilai lama yang tidak sesuai dengan syariat diluruskan secara bertahap.
3. Nilai lama yang tidak bertentangan dengan ajaran Islam dibiarkan terus keberadaannya dan diberikan nafas Islam.
1. Nilai lama yang secara diametral bertentangan dengan akidah disikapi dengan cara menolaknya secara argumentatif.
2. Nilai lama yang tidak sesuai dengan syariat diluruskan secara bertahap.
3. Nilai lama yang tidak bertentangan dengan ajaran Islam dibiarkan terus keberadaannya dan diberikan nafas Islam.
Perkembangan Islam yang berhaluan Ahlussunnah wal Jamaah bertambah pesat ketika generasi penerus Walisongo dan penyebar Islam lainnya mengembangkan strategi dan pendekatan penyebaran Islam melalui lembaga pesantren. Pesantren tampil dan berperan sebagai pusat penyebaran dan pendalaman agama Islam secara lebih terarah. Dari pesantren lahir lapisan masyarakat dengan tingkat kesadaran dan paham agama yang relatif utuh dan lurus.
Pada tahap-tahap awal, lembaga pesantren memang lebih memfokuskan perhatiannya pada upaya pemantapan tauhid dan pembinaan tashawuf. Pesantren kurang memperhatikan pendalaman keilmuan Islam. Ini antara lain disebabkan literatur ke-Islaman, karya ulama-ulama terkemuka masih sangat terbatas.
Pada pertengahan abad XIX kontak langsung antara umat Islam di nusantara dan dunia Islam lainnya, termasuk umat Islam di negara-negara Arab, mulai terbuka. Sebelumnya karena kepentingan politik penjajah Belanda, hal itu sulit dilakukan. Kontak dengan dunia Islam itu bukan saja melalui jamaah haji ke Tanah Suci, tapi juga melalui sejumlah pemuda nusantara yang belajar di negara-negara Arab. Banyaknya literatur di pusat studi Islam di Timur Tengah, telah memungkinkan para pelajar dari Indonesia mencapai tingkat pengetahuan yang lebih luas dan pandangan yang lebih terbuka.
Di antara para pelajar dari nusantara adalah KH. M. Hasyim Asyari, KH. A. Wahab Hasbullah dan KH. M. Bisri Sansuri. Ketiganya belajar di Makkah saat ide Muhammad Abduh dan paham Wahabi sedang gencar-gencarnya diperbincangkan dan disebarluaskan. Ide Muhammad Abduh antara lain adalah ajakan terhadap umat Islam agar segera bangkit dari dunianya yang beku dan melepaskan diri dari keterikatannya dengan pemikiran mazhab yang mengakibatkan kebekuan itu. Kaum Wahabi menilai praktek-praktek keagamaan umat Islam telah bercampur dengan syirik, tercampur dengan keyakinan lama yang belum ternetralisasikan, sehingga perlu dibersihkan.
Paham dan gerakan Wahabi, yang dirintis oleh Muhammad ibn Abd al-Wahhab, merumuskan dan menyajikan paham keagamaan dalam bentuk yang sistematis. Ide dasarnya berpangkal pada ajaran-ajaran Ibnu Taimiyah, yang dalam banyak hal mengikuti garis mazhab Imam Ahmad ibn Hanbal. Saat Abd al-Aziz ibn Saud berhasil merebut kekuasaan di Hijaz (sekarang Arab Saudi), paham Wahabi dinyatakan sebagai paham negara yang resmi. Hal ini menjadikan paham dan gerakan Wahabi cepat menyebar. Selain itu, penyebaran paham ini juga dibawa oleh para jamaah haji dari berbagai penjuru dunia, di samping oleh para pelajar yang memperdalam ilmu agama di Makkah.