Византийский император Ираклий осознал, что не сможет предотвратить продвижение мусульманских войск в Сирии, и потому принял решение положить конец войне. Для этого в начале 636 года он подготовил войско численностью в 70 000 человек и назначил его командующим знаменитого Саджеллариуса (Теодора). Многочисленный и хорошо вооруженный отряд направился на юг Сирии.
Главнокомандующий мусульманским войском в Сирии Абу Убайда ибн Джеррах, получив известие о приближении огромного византийского войска, тотчас разослал командующим извещения о том, что всем нужно сконцентрироваться в Ярмуке. Кроме того, он сообщил о ситуации и халифу Умару, а затем с его разрешения обратился за помощью к мусульманским войскам, которые находились в Ираке. Оттуда в Сирию немедленно прибыл вспомогательный отряд численностью 10 000 человек, которыми командовал Каака ибн Амр.
В кратчайшие сроки 30-тысячная мусульманская армия сконцентрировалась в местечке Ярмук, находящемся на берегу нынешней реки Шариа. Именно здесь они встретились с византийским войском в августе 636 года. Третий день сражения стал решающим. После длительной и ожесточенной схватки превосходящая силами византийская армия понесла сокрушительное поражение.
Византийский император Ираклий понял, что потерял все ресурсы для защиты Сирии. Он находился между войсками мусульман в Сирии и Ираке и, почувствовав всю опасность положения, немедленно ушел из Урфы в Симсат. Здесь он взобрался на высокий холм, и с тоской взглянув в сторону Шама, сказал так: «О, Сирия! Прощай, впредь уже не свидимся с тобой». Затем он принялся готовиться к возвращению в Константинополь. Слова Ираклия о Сирии еще больше подчеркивают значимость сражения при Ярмуке.
Сломив сопротивление византийцев, мусульманские войска разделились на отряды и стали продвигаться в глубь Сирии. Главнокомандующий Абу Убайда ибн Джеррах завоевал Хомс, Халеп и Антакью. А Халид ибн Валид отправился в Киннесрин и, преодолев легкое сопротивление, обязал население выплачивать джизью. В это время сирийские племена тенюх и тай, подчинявшиеся Византии, приняли Ислам. Таким образом, завоевание всей Сирии завершилось в 636 году. Такие города как Бука, Джума, Эрин, Курус, Таджа, Балис, Касрин и Тизин покорились без пролития крови.