بعد فتح دمشق واصل أبو عبيدة تقدمه إلى حمص ولم يبق أمام المسلمين إلا بيت المقدس، فكتب عمر بن الخطاب إلى عمرو بن العاص بالمسير إلى القدس[9]، فلما وصل إلى "الرملة" وجد عندها جمعًا من الروم عليه قائد داهية اسمه (الأرطبون) كان أدهى الروم، وكان قد وضع "بالرملة" جندًا عظيمًا و"بإيلياء" جندًا عظيمًا، فكتب عمرو إلى عمر بالخبر، فلما جاءه كتاب عمرو قال: رمينا أرطبون الروم بأرطبون العرب- يعنى عمرو بن العاص.[معلومة 4]

لما فرغ من دمشق كتب أبو عبيدة إلى أهل بيت المقدس يدعوهم إلى الله وإلى الإسلام أو يدفعون الجزية، وإلا كان الحرب بينهم، فأبوا أن يجيبوا إلى ما دعاهم إليه، فركب إليهم في جنوده، وحاصر بيت المقدس، وضيق عليهم حتى أجابوا إلى الصلح.

هرب أرطبون إلى مصر وطلب المسيحيون الصلح على أن يحضر الخليفة بنفسه لتسلم المدينة، فكتب عمرو بن العاص إلى عمر بن الخطاب يحيطه بذلك، فحضر عمر، وكتب بنفسه كتاب الأمان المسمى بـ العهدة العمرية وتسلم مقاليد بيت المقدس.

خلال اقامته في القدس، قدم عمر على حجر الأساس. الصخرة التي وفقا للمؤرخات الإسلامية، قبل أقل من 20 عاما في وقت سابق صعد منها الرسول  مع جبريل في رحلة السموات إلى السماء العلى؛المعروفة باسم الإسراء والمعراج. وقام عمر بمسح النفايات والانقاض من الموقع المقدس، واكتشف أن الصخرة حجمها أكبر. وبعد نهاية التنظيف كشف عن الحجم الحقيقي للصخرة. بنى عمر السياج حولها وأمر ببناء مسجد مجاور لها.[10]