Nabi Muhammad SAW tidak meninggalkan wasiat tentang siapa yang akan menggantikan beliau sebagai pemimpin politik umat Islam setelah beliau wafat. Beliau nampaknya menyerahkan persoalan tersebut kepada kaum muslimin sendiri untuk menentukannya. Karena itulah, tidak lama setelah beliau wafat; belum lagi jenazahnya dimakamkan, sejumlah tokoh Muhajirin dan Anshar berkumpul di balai kota Bani Sa'idah, Madinah. Mereka memusyawarahkan siapa yang akan dipilih menjadi pemimpin. Musyawarah itu berjalan cukup alot karena masing-masing pihak, baik Muhajirin maupun Anshar, sama-sama merasa berhak menjadi pemimpin umat Islam. Namun, dengan semangat ukhuwah Islamiyah yang tinggi, akhirnya, Abu Bakar terpilih. Rupanya, semangat keagamaan Abu Bakar mendapat penghargaan yang tinggi dari umat Islam, sehingga masing-masing pihak menerima dan membaiatnya.
Sebagai pemimpin umat Islam setelah Rasul, Abu Bakar disebut Khalifah Rasulillah (Pengganti Rasul) yang dalam perkembangan selanjutnya disebut khalifah saja. Khalifah adalah pemimpin yang diangkat sesudah Nabi wafat untuk menggantikan beliau melanjutkan tugas-tugas sebagai pemimpin agama dan kepala pemerintahan.
Abu Bakar menjadi khalifah hanya dua tahun. Pada tahun 634 M ia meninggal dunia. Masa sesingkat itu habis untuk menyelesaikan persoalan dalam negeri terutama tantangan yang ditimbulkan oleh suku-suku bangsa Arab yang tidak mau tunduk lagi kepada pemerintah Madinah. Mereka menganggap bahwa perjanjian yang dibuat dengan Nabi Muhammad SAW, dengan sendirinya batal setelah Nabi wafat. Karena itu mereka menentang Abu Bakar. Karena sikap keras kepala dan penentangan mereka yang dapat membahayakan agama dan pemerintahan, Abu Bakar menyelesaikan persoalan ini dengan apa yang disebut Perang Riddah (perang melawan kemurtadan). Khalid ibn Al-Walid adalah jenderal yang banyak berjasa dalam Perang Riddah ini.
Nampaknya, kekuasaan yang dijalankan pada masa Khalifah Abu Bakar, sebagaimana pada masa Rasulullah, bersifat sentral; kekuasaan legislatif, eksekutif dan yudikatif terpusat di tangan khalifah. Selain menjalankan roda pemerintahan, Khalifah juga melaksanakan hukum. Meskipun demikian, seperti juga Nabi Muhammad SAW, Abu Bakar selalu mengajak sahabat-sahabat besarnya bermusyawarah.
Setelah menyelesaikan urusan perang dalam negeri, barulah Abu Bakar mengirim kekuatan ke luar Arabia. Khalid ibn Walid dikirim ke Iraq dan dapat menguasai al-Hirah di tahun 634 M. Ke Syria dikirim ekspedisi di bawah pimpinan empat jenderal yaitu Abu Ubaidah, Amr ibn 'Ash, Yazid ibn Abi Sufyan dan Syurahbil. Sebelumnya pasukan dipimpin oleh Usamah yang masih berusia 18 tahun. Untuk memperkuat tentara ini, Khalid ibn Walid diperintahkan meninggalkan Irak, dan melalui gurun pasir yang jarang dijalani, ia sampai ke Syria.
Abu Bakar meninggal dunia, sementara barisan depan pasukan Islam sedang mengancam Palestina, Irak, dan kerajaan Hirah. Ia diganti oleh "tangan kanan"nya, Umar ibn Khattab. Ketika Abu Bakar sakit dan merasa ajalnya sudah dekat, ia bermusyawarah dengan para pemuka sahabat, kemudian mengangkat Umar sebagai penggantinya dengan maksud untuk mencegah kemungkinan terjadinya perselisihan dan perpecahan di kalangan umat Islam. Kebijaksanaan Abu Bakar tersebut ternyata diterima masyarakat yang segera secara beramai-ramai membaiat Umar. Umar menyebut dirinya Khalifah Rasulillah (pengganti dari Rasulullah). Ia juga memperkenalkan istilah Amir al-Mu'minin (Komandan orang-orang yang beriman).
Di zaman Umar gelombang ekspansi (perluasan daerah kekuasaan) pertama terjadi; ibu kota Syria, Damaskus, jatuh tahun 635 M dan setahun kemudian, setelah tentara Bizantium kalah di pertempuran Yarmuk, seluruh daerah Syria jatuh ke bawah kekuasaan Islam. Dengan memakai Syria sebagai basis, ekspansi diteruskan ke Mesir di bawah pimpinan 'Amr ibn 'Ash dan ke Irak di bawah pimpinan Sa'ad ibn Abi Waqqash. Iskandaria, ibu kota Mesir, ditaklukkan tahun 641 M. Dengan demikian, Mesir jatuh ke bawah kekuasaan Islam. Al-Qadisiyah, sebuah kota dekat Hirah di Iraq, jatuh tahun 637 M. Dari sana serangan dilanjutkan ke ibu kota Persia, al-Madain yang jatuh pada tahun itu juga. Pada tahun 641 M, Mosul dapat dikuasai. Dengan demikian, pada masa kepemimpinan Umar, wilayah kekuasaan Islam sudah meliputi Jazirah Arabia, Palestina, Syria, sebagian besar wilayah Persia, dan Mesir.
Karena perluasan daerah terjadi dengan cepat, Umar segera mengatur administrasi negara dengan mencontoh administrasi yang sudah berkembang terutama di Persia. Administrasi pemerintahan diatur menjadi delapan wilayah propinsi: Makkah, Madinah, Syria, Jazirah Basrah, Kufah, Palestina, dan Mesir. Beberapa departemen yang dipandang perlu didirikan. Pada masanya mulai diatur dan ditertibkan sistem pembayaran gaji dan pajak tanah. Pengadilan didirikan dalam rangka memisahkan lembaga yudikatif dengan lembaga eksekutif. Untuk menjaga keamanan dan ketertiban, jawatan kepolisian dibentuk. Demikian pula jawatan pekerjaan umum. Umar juga mendirikan Bait al-Mal, menempa mata uang, dan menciptakan tahun hijrah.
Umar memerintah selama sepuluh tahun (13-23 H/634-644 M). Masa jabatannya berakhir dengan kematian. Dia dibunuh oleh seorang budak dari Persia bernama Abu Lu'lu'ah. Untuk menentukan penggantinya, Umar tidak menempuh jalan yang dilakukan Abu Bakar. Dia menunjuk enam orang sahabat dan meminta kepada mereka untuk memilih salah seorang diantaranya menjadi khalifah. Enam orang tersebut adalah Usman, Ali, Thalhah, Zubair, Sa'ad ibn Abi Waqqash, Abdurrahman ibn 'Auf. Setelah Umar wafat, tim ini bermusyawarah dan berhasil menunjuk Utsman sebagai khalifah, melalui persaingan yang agak ketat dengan Ali ibn Abi Thalib.
Di masa pemerintahan Utsman (644-655 M), Armenia, Tunisia, Cyprus, Rhodes, dan bagian yang tersisa dari Persia, Transoxania, dan Tabaristall berhasil direbut. Ekspansi Islam pertama berhenti sampai di sini.
Pemerintahan Usman berlangsung selama 12 tahun, pada paruh terakhir masa kekhalifahannya muncul perasaan tidak puas dan kecewa di kalangan umat Islam terhadapnya. Kepemimpinan Usman memang sangat berbeda dengan kepemimpinan Umar. Ini mungkin karena umumnya yang lanjut (diangkat dalam usia 70 tahun) dan sifatnya yang lemah lembut. Akhirnya pada tahun 35 H 1655 M, Usman dibunuh oleh kaum pemberontak yang terdiri dari orang-orang yang kecewa itu.
Salah satu faktor yang menyebabkan banyak rakyat kecewa terhadap kepemimpinan Usman adalah kebijaksanaannya mengangkat keluarga dalam kedudukan tinggi. Yang terpenting diantaranya adalah Marwan ibn Hakam. Dialah pada dasarnya yang menjalankan pemerintahan, sedangkan Usman hanya menyandang gelar Khalifah. Setelah banyak anggota keluarganya yang duduk dalam jabatan-jabatan penting, Usman laksana boneka di hadapan kerabatnya itu. Dia tidak dapat berbuat banyak dan terlalu lemah terhadap keluarganya. Dia juga tidak tegas terhadap kesalahan bawahan. Harta kekayaan negara, oleh karabatnya dibagi-bagikan tanpa terkontrol oleh Usman sendiri.
Meskipun demikian, tidak berarti bahwa pada masanya tidak ada kegiatan-kegjatan yang penting. Usman berjasa membangun bendungan untuk menjaga arus banjir yang besar dan mengatur pembagian air ke kota-kota. Dia juga membangun jalan-jalan, jembatan-jembatan, masjid-masjid dan memperluas masjid Nabi di Madinah.
Setelah Utsman wafat, masyarakat beramai-ramai membaiat Ali ibn Abi Thalib sebagai khalifah. Ali memerintah hanya enam tahun. Selama masa pemerintahannya, ia menghadapi berbagai pergolakan. Tidak ada masa sedikit pun dalam pemerintahannya yang dapat dikatakan stabil. Setelah menduduki jabatan khalifah, Ali memecat para gubernur yang diangkat oleh Utsman. Dia yakin bahwa pemberontakan-pemberontakan terjadi karena keteledoran mereka. Dia juga menarik kembali tanah yang dihadiahkan Utsman kepada penduduk dengan menyerahkan hasil pendapatannya kepada negara, dan memakai kembali sistem distribusi pajak tahunan diantara orang-orang Islam sebagaimana pernah diterapkan Umar.
Tidak lama setelah itu, Ali ibn Abi Thalib menghadapi pemberontakan Thalhah, Zubair dan Aisyah. Alasan mereka, Ali tidak mau menghukum para pembunuh Utsman, dan mereka menuntut bela terhadap darah Utsman yang telah ditumpahkan secara zalim. Ali sebenarnya ingin sekali menghindari perang. Dia mengirim surat kepada Thalhah dan Zubair agar keduanya mau berunding untuk menyelesaikan perkara itu secara damai. Namun ajakan tersebut ditolak. Akhirnya, pertempuran yang dahsyat pun berkobar. Perang ini dikenal dengan nama Perang Jamal (Unta), karena Aisyah dalam pertempuran itu menunggang unta, dan berhasil mengalahkan lawannya. Zubair dan Thalhah terbunuh ketika hendak melarikan diri, sedangkan Aisyah ditawan dan dikirim kembali ke Madinah.
Bersamaan dengan itu, kebijaksanaan-kebijaksanaan Ali juga mengakibatkan timbulnya perlawanan dari gubernur di Damaskus, Mu'awiyah, yang didukung oleh sejumlah bekas pejabat tinggi yang merasa kehilangan kedudukan dan kejayaan. Setelah berhasil memadamkan pemberontakan Zubair, Thalhah dan Aisyah, Ali bergerak dari Kufah menuju Damaskus dengan sejumlah besar tentara. Pasukannya bertemu dengan pasukan Mu'awiyah di Shiffin. Pertempuran terjadi di sini yang dikenal dengan nama perang shiffin. Perang ini diakhiri dengan tahkim (arbitrase), tapi tahkim ternyata tidak menyelesaikan masalah, bahkan menyebabkan timbulnya golongan ketiga, al-Khawarij, orang-orang yang keluar dari barisan Ali. Akibatnya, di ujung masa pemerintahan Ali bin Abi Thalib umat Islam terpecah menjadi tiga kekuatan politik, yaitu Mu'awiyah, Syi'ah (pengikut) Ali, dan al-Khawarij (oran-orang yang keluar dari barisan Ali). Keadaan ini tidak menguntungkan Ali. Munculnya kelompok al-khawarij menyebabkan tentaranya semakin lemah, sementara posisi Mu'awiyah semakin kuat. Pada tanggal 20 ramadhan 40 H (660 M), Ali terbunuh oleh salah seorang anggota Khawarij.
Kedudukan Ali sebagai khalifah kemudian dijabat oleh anaknya Hasan selama beberapa bulan. Namun, karena Hasan tentaranya lemah, sementara Mu'awiyah semakin kuat, maka Hasan membuat perjanjian damai. Perjanjian ini dapat mempersatukan umat Islam kembali dalam satu kepemimpinan politik, di bawah Mu'awiyah ibn Abi Sufyan. Di sisi lain, perjanjian itu juga menyebabkan Mu'awiyah menjadi penguasa absolut dalam Islam. Tahun 41 H (661 M), tahun persatuan itu, dikenal dalam sejarah sebagai tahun jama'ah ('am jama'ah)! Dengan demikian berakhirlah masa yang disebut dengan masa Khulafa'ur Rasyidin, dan dimulailah kekuasaan Bani Umayyah dalam sejarah politik Islam.
Ketika itu wilayah kekuasaan Islam sangat luas. Ekspansi ke negeri-negeri yang sangat jauh dari pusat kekuasaannya dalam waktu tidak lebih dari setengah abad, merupakan kemenangan menakjubkan dari suatu bangsa yang sebelumnya tidak pernah mempunyai pengalaman politik yang memadai. Faktor-faktor yang menyebabkan ekspansi itu demikian cepat antara lain adalah:
Islam, disamping merupakan ajaran yang mengatur hubungan manusia dengan Tuhan, juga agama yang mementingkan soal pembentukan masyarakat.
Dalam dada para sahabat, tertanam keyakinan tebal tentang kewajiban menyerukan ajaran-ajaran Islam (dakwah) ke seluruh penjuru dunia. Disamping itu, suku-suku bangsa Arab gemar berperang. Semangat dakwah dan kegemaran berperang tersebut membentuk satu kesatuan yang padu dalam diri umat Islam.
Bizantium dan Persia, dua kekuatan yang menguasai Timur Tengah pada waktu itu, mulai memasuki masa kemunduran dan kelemahan, baik karena sering terjadi peperangan antara keduanya maupun karena persoalan-persoalan dalam negeri masing-masing.
Pertentangan aliran agama di wilayah Bizantium mengakibatkan hilangnya kemerdekaan beragama bagi rakyat. Rakyat tidak senang karena pihak kerajaan memaksakan aliran yang dianutnya. Mereka juga tidak senang karena pajak yang tinggi untuk biaya peperangan melawan Persia.
Islam datang ke daerah-daerah yang dimasukinya dengan sikap simpatik dan toleran, tidak memaksa rakyat untuk mengubah agamanya dan masuk Islam.
Bangsa Sami di Syria dan Palestina dan bangsa Hami di Mesir memandang bangsa Arab lebih dekat kepada mereka daripada bangsa Eropa, Bizantium, yang memerintah mereka.
Mesir, Syria dan Irak adalah daerah-daerah yang kaya. Kekayaan itu membantu penguasa Islam untuk membiayai ekspansi ke daerah yang lebih jauh.
Mulai dari masa Abu Bakar sampai kepada Ali dinamakan periode Khilafah Rasyidah. Para khalifahnya disebut al-Khulafa' al-Rasyidun, (khalifah-khalifah yang mendapat petunjuk). Ciri masa ini adalah para khalifah betul-betul menurut teladan Nabi. Mereka dipilih melalui proses musyawarah, yang dalam istilah sekarang disebut demokratis. Setelah periode ini, pemerintahan Islam berbentuk kerajaan. Kekuasaan diwariskan secara turun temurun. Selain itu, seorang khalifah pada masa khilafah Rasyidah, tidak pernah bertindak sendiri ketika negara menghadapi kesulitan; Mereka selalu bermusyawarah dengan pembesar-pembesar yang lain. Sedangkan khalifah-khalifah sesudahnya sering bertindak otoriter .
