Шииты считали, что не Осман, а Али, ближайший родственник и сподвижник пророка, должен был занять место халифа. Выдвижение Омейядов послужило толчком для усиления их активности. Пропаганда шиитов, утверждавших, что халифы должны быть из рода пророка, привлекала многих, недовольных возвышением Омейядов. В их числе оказались не только арабы, но и принявшие ислам жители более отдаленных стран, например Ирана. Шиитов поддерживали и многие племена арабских кочевников-бедуинов. Дело кончилось тем, что в 656г. толпы шиитов, собравшиеся в Медине под видом паломников из Египта, Месопотамии и других районов Халифата, ворвались во дворец Османа и убили его. Халифом был провозглашен Али.

Новый халиф перенес столицу из Медины в Куфу (Месопотамия) и сместил всех назначенных Османом наместников различных районов обширного Арабского халифата. Лишь один из наместников – Муавия из рода Омейядов – отказался подчиниться Али и фактически оторвал возглавляемую им Сирию от Халифата. Муавия стал готовиться к войне с Али, а его приверженцы, опираясь на Коран, выступили против идеи шиитов о праве на власть лишь потомков Али.

Перевес сил был явно на стороне Али. Но в решающий момент сражения с войсками Муавии Али заколебался и согласился на решение спора о праве на власть третейским судом. Это было ошибкой, которой воспользовались противники Али и шиитов. С одной стороны, нерешительностью Али были недовольны сторонники твердой политики, разочаровавшиеся в новом халифе и переставшие его поддерживать; с другой – в самом лагере шиитов оказалась значительная группа мусульман, склонявшаяся к тому, что халиф не должен быть наследственным правителем, его следует избирать «по воле Аллаха и народа». Эта группа стала именоваться хариджитами (вышедшими). Хариджиты избрали своего халифа, и поэтому именно против них, своих бывших сторонников, Али вынужден был обратить главный удар.

Борьба с хариджитами заняла ряд лет и сильно ослабила позиции Али, который так и не успел решить в свою пользу спор с Муавией. В 661г. Али пал от кинжала хариджита. Шииты лишились власти. Новым халифом был провозглашен Муавия, ставший родоначальником династии Омейядов, правившей Халифатом до 750г.