Абу Убайда бин Аль-Джаррах (радыяллаху анху) принял Ислам, когда по приглашению Абу Бакра (радыяллаху анху) пришёл на одну из проповедей Пророка (салляллаху алейхи ва саллям) (Ибн Сад, «ат-Табакат», III, 298). Среди людей Абу Убайда (радыяллаху анху) был известен как «Аминуль-Умма». Пророк (салляллаху алейхи ва саллям) про него говорил:
«У каждой уммы есть надёжный и преданный человек, в нашей умме – это Абу Убайда бин Аль-Джаррах» (Муслим, VII, 127; Ибн Маджа, I, 136).
Ибн Хиббан передавал слова Анаса бин Малика о том, что Пророк (салляллаху алейхи ва саллям) заметил: «Самый мягкосердечный из моей уммы – это Абу Бакр; справедливый и сильный – Умар; значительный и скромный – Усман; знающий фараид, т.е. науку о наследстве – Зайд бин Сабит; хорошо читающий Коран – Убай бин Кабб; надёжный – Абу Убайда».
Абу Убайда был талантливым организатором и руководителем. Аллах ниспослал ему богатство, однако он, думая о благе других, не находил времени для себя. Почтенный Умар (радыяллаху анху), когда увидел его жилище, где кроме постели и небольшого количества посуды и съестного ничего не было, заплакал и произнёс: «Мир изменил всех, но не тебя».
Абу Убайда (радыяллаху анху) умер в Шаме, где был губернатором, на 18 году Хиджры, от вспыхнувшей эпидемии чумы. Вместо себя он оставил Муаза бин Джабаля, завещав ему: «Читайте намаз, поститесь, подавайте милостыню, совершайте хадж, заботьтесь друг о друге, не обманывайте и будьте верны своим принципам. Не поддавайтесь обману бренного мира. Если человек будет жить тысячу лет, итог будет одинаков: Аллах всем предписал смерть, она не минует никого. Самый умный человек – покорный Всевышнему и готовящийся к Ахирату. Я желаю вам обрести Милость и Благословение Аллаха. Муаз, будь имамом, совершай с народом молитву — намаз».