تمت التصفية بين المرشحين الستة الذين رشحهم عمر قبل وفاته عن طريق عبد الرحمن بن عوف، وتم التوصل للمرشحين النهائيين وهما عثمان بن عفان وعلي بن أبي طالب. بحسب الروايات في كتب السنة تم اختيار عثمان في النهاية وقام علي بن أبي طالب بمبايعته على كتاب الله وسنة رسوله وسنة الخليفتين أبي بكر وعمر؛ وعلى النقيض تذكر كتب الشيعة أن عبد الرحمن بن عوف عرض الخلافة على علي متبعا كتاب الله وسنة رسوله وسنة الخليفتين إلا أن عليا رفض الشرط الأخير في حين قبله عثمان فبايع ابن عوف عثمان وبايعه الناس، ثم بايعه علي على مضض [103][104]، ويروى أنه قال بعد اختيار عثمان: «حبوته حبو دهر. ليس هذا أول يوم تظاهرتم فيه علينا يعني بني أمية فصبر جميل واللَّه المستعان على ما تصفون. واللَّه ما وليت عثمان إلا ليرد الأمر إليك. واللَّه كل يوم هو في شأن» فقال له ابن عوف:«يا علي، لا تجعل على نفسك سبيلًا فإني نظرت وشاورت الناس، فإذا هم لا يعدلون بعثمان» فرد علي قائلا: «سيبلغ الكتاب أجله». كما يذكر أن هناك فئة أرادت الخلافة لعلي ونصحوا عبد الرحمن بن عوف باختياره مثل عمار بن ياسر والمقداد بن الأسود، لكن عبد الرحمن أخذ بمشورة آخرين مثل ابن أبي سرح وعبد الله بن أبي ربيعة [105].
احتفظ علي بن أبي طالب بمكانته الدينية والاجتماعية في عهد عثمان، فكان يعطيه المشورة دائما، ويعتبره بعض المؤرخين مثل مادلونغ بمثابة كابح لعثمان حينما بدأت سيطرة الأمويين على الأمور مثلما عمل على حماية بعض الصحابة من إساءة الأمويين لهم مثل ابن مسعود وأبي ذر الغفاري وعمار بن ياسر، وحين قام بإقامة الحد على الوليد بن عقبة، وإنكاره على عثمان عمرة رجب كما ورد في سيرة ابن حبان [106]. إلا أن علاقة علي بعثمان تبقى موضع خلاف، فهناك من يعتبره من كبار رجال المعارضة [107]، وآخرون يعدوه مستشارا له وليس معارضا [51].
عندما وقعت الفتنة الأولى وجاء الثوار من الكوفة والبصرة ومصر مطالبين بعزل عثمان، أصبح علي بمثابة وسيط بين الثوار وعثمان، فكانوا يذهبون إليه ويستمع لشكواهم ومطالبهم ثم يذهب بها إلى عثمان ويناقشه حولها، فيروى مما قاله له: «إن معاوية يقطع الأمور دونك، وأنت تعلمها فيقول للناس هذا أمر عثمان فيبلغك ولا تغيّر على معاوية». كما طلب منه عثمان بن عفان أن يخرج للثوار المصريين فيقنعهم بالرجوع ففعل، وفي مختصر تاريخ دمشق أن علي أخبر عثمان أنهم يريدون تغيير واليهم فولى عليهم محمد بن أبي بكر، لكن في طريق عودتهم وجدوا غلاما أرسله مروان بن الحكم برسالة لوالي مصر باسم الخليفة يأمره فيها بأن يبقى في منصبه وسمح له بقتل الثوار وحبس من يحاول أن يذهب للخليفة متظلما، فعادوا بالرسالة إلى عثمان الذي أنكر صلته بها لكنهم حاصروه في بيته. وأثناء الحصار كان عليا يؤم الناس في الصلاة، فأرسل علي بن أبي طالب ولديه الحسن والحسين لمنع الثوار من اقتحام بيت الخليفة [108]. بعث عثمان إلى علي مرة أخرى يطلب منه أن يكف الثوار فذهب إليهم فعرضوا عليه مطالبهم كرد المظالم وعزل من كرهوا من الولاة وأمهلوه فترة من الزمن لكن عثمان لم ينفذ المطالب فذهبوا إليه فأبى أن ينفذها، فمنعوه الطعام والشراب. يروى أنه لما اشتد الحصار على عثمان ذهب إليه علي معتمرا عمامة محمد ومتقلدا سيفه ومعه نفر من الرجال من ضمنهم ابنه الحسن وعرضوا عليه قتال الثوار إلا أن عثمان رفض أن يراق الدم بسببه [105]. استمر الحصار 40 يوما إلى أن استطاع الثوار اقتحام الدار من الخلف وقتلوه [109].
يرى السنة أن سبب الفتنة مؤامرة من شخص يهودي ادعى الإسلام يسمى عبد الله بن سبأ الذي خلق الفتنة لتدمير الدولة الإسلامية. بينما يرجع بعض الباحثين وقوع الفتنة إلى سياسات عثمان، فالثوار رؤوا في علي بن أبي طالب المنقذ الذي سيخلصهم من ولاة بني أمية الفاسدين الذين عينهم عثمان، ويصلح الأحوال الاقتصادية حيث اتسعت الفوارق الطبقية بسبب سياسات عثمان في تفضيل بني أمية وبعض الصحابة ومنحهم العطايا والهبات من بيت المال وخمس الغنائم [107][110][111][112]. لكن بحسب بعض المؤرخين مثل ابن خلدون فإن الثوار المصريين فقط هم من أرادوا خلافة علي، في حين أراد أهل الكوفة الزبير بن العوام، وكان هوى أهل البصرة في طلحة بن عبيد الله. يتهم البعض علي بالتحريض على قتل عثمان للاستحواذ على السلطة وذلك لوجود شيعته ضمن الثوار وضمن قتلة عثمان مثل محمد بن أبي بكر بحسب رسالة نائلة بنت الفرافصة زوجة عثمان إلى معاوية بن أبي سفيان؛ لكن يشكك الكثيرين في هذا الطرح نظرا لضعف تأييد قريش لعلي مما لا يضمن وصول السلطة له في حال مقتل عثمان، كما يؤكد مادلونغ عدم وجود دليل على علاقة علي بالثوار [113]؛ إضافة لهذا فهناك مصادر تروي غضب علي بن أبي طالب حين وصوله خبر مقتل عثمان وبكائه وترحمه عليه، وتوجيه اللوم لولديه ومن كان معهما ممن يمنعون الثوار من قتل عثمان [105].