Hicretten kırk yıl önce Mekke'de doğdu. Türkiye'de yayımlanan bazı ansiklopedilerdeki 571'de Kudüs'te doğduğuna dair kayıt gerçeğe uymamaktadır. Hz. Peygamber'in onuncu dedesi olan Fihr'de Resûlullah ile soyları birleşir. Benî Hâris kabilesinden olan Ebû Ubeyde, Câhiliye devrinde Mekke'de okuma yazma bilen birkaç kişiden biri olduğu için Kureyşliler kendisine değer verirdi. Ebû Ubeyde, Hz. Peygamber'in İslâm'a davete başladığı ve henüz Dârülerkam'a girmediği günlerde Hz. Ebû Bekir vasıtasıyla müslüman oldu. İslâmiyet'in yayılması için büyük çaba gösterdi ve bu sebeple Kureyşlilerin ağır baskılarına mâruz kaldı. İşkenceler dayanılmaz hale gelince 616 yılında yapılan İkinci Habeşistan Hicretine katıldı. Ancak bir müddet sonra Mekke'ye döndü. Daha sonra Medine'ye hicret etti. Hz. Peygamber onunla Sa'd b. Muâz arasında kardeşlik bağı (muâhât*) kurdu. Muhammed b. Mesleme veya Ebû Talha el-Ensârî ile kardeş yapıldığı da söylenmektedir.
Ebû Ubeyde Medine döneminde İslâmiyet'in tebliğ edilmesinde ve idarî işlerde önemli görevler aldı. Hz. Peygamber'in sancak vererek gönderdiği ilk seriyyeye Hz. Hamza'nın kumanda ettiği bilinmekle beraber bu görevin Ebû Ubeyde Ye verildiği de rivayet edilmiştir. Hz. Peygamber ile birlikte bütün gazvelere iştirak etti. Bedir Gazvesinde düşman saflarında bulunan babasını, özellikle kendisine hücum etmesi üzerine öldürmek zorunda kaldığı ve babaları, oğulları, kardeşleri ve akrabaları da olsa müminlerin kâfirleri dost edilmeyeceğini belirten âyetin (el-Mücâdile 58/22) bundan dolayı nâzil olduğu rivayet edilmektedir. Babasını Bedir'de değil Uhud Gazvesinde öldürdüğüne dair Hâzin'in râvi adı vermeden naklettiği rivayete itibar edilmediği anlaşılmaktadır. Diğer taraftan siyer kitaplarında Bedir ve Uhud gazvelerinde öldürülen müşrikler arasında babasının adı geçmektedir. Ebû Ubeyde Uhud Gazvesinde de yiğitlik gösterdi. İslâm ordusu dağıldığı zaman Resûlullah'ın etrafından ayrılmayan on dört kişi arasında o da vardı. İkinci Zülkassa ve Sîfülbahr (Habat) (8/629) seferlerine kumandan tayin edildi. Zâtüsselâsil Seriyyesinde arkadan gönderilen yardımcı kuvvetlere de Ebû Ubeyde kumanda etti . Aynı yıl Mekke fethinde Hz. Peygamber'in önünde şehre girdi. Beytülmâlde görev yaptı; Hudeybiye Antlaşması başta olmak üzere bazı vesikalara şahit olarak adı yazıldı. Medine'ye gelen Yemenliler'e İslâmiyet'i öğretmek üzere görevlendirildi. Hz. Peygamber'le din konusunda tartışan ve hıristiyan kalıp cizye vermeyi kabul eden Necranlılar, cizye tahsili için güvenilir birinin kendileriyle gönderilmesini istedikleri zaman Resûl-i Ekrem, "Her ümmetin bir emini vardır; bu ümmetin emini de Ebû Ubeyde b. Cerrâh'tır" diyerek onu Necran'a gönderdi. Ondan sonra "Emînü'l-ümme" lakabıyla anılan Ebû Ubeyde bu bölgedeki insanlara İslâmiyet'i de öğretti. Müzeyne, Hüzeyl ve Kinâne kabilelerinin vergilerini toplama görevi de ona verildi.
Hz. Peygamber'in vefatı üzerine aralarında Ebû Bekir ve Ömer'in de bulunduğu bazı sahâbîler Ebû Ubeydeye halife olarak biat etmek istediler. Fakat Ebû Ubeyde, bu göreve Hz. Ebû Bekir'in lâyık olduğunu söyleyerek teklifi kabul etmedi. Hz. Ebû Bekir devrinde ilk zamanlar devletin maliye işlerini yürüttü. Daha sonra Suriye bölgesine gönderilen ordulardan birine kumandan tayin edildi. Hz. Ömer tarafından Hâlid b. Velîd'in yerine bu bölgedeki orduların baş kumandanlığına getirildi. Bu dönemde Dımaşk, Humus, Hama, Lazkiye, Halep, Antakya ve Kudüs başta olmak üzere Suriye bölgesindeki birçok şehrin fethi gerçekleştirildi. Gönderdiği birlikler Urfa ve Maraşa kadar ilerlediler. Daha sonra Ebû Ubeyde fethedilen yerleri Hz. Ömer'in valisi olarak hayatının sonuna kadar idare etti.
Ebû Ubeyde, "tâûnu Amvâs" diye meşhur olan ve birçok sahâbînin ölümüne yol açan vebaya yakalanarak Beysân'a bağlı Amtâ köyünde vefat etti ve oraya defnedildi. O yöredeki Fiilde öldüğü de söylenir. Bugün kabri Vâdilürdün'de Gürül pilevne bölgesindeki Ebû Ubeyde köyünde bulunmaktadır. 1366 yılında Kral Abdullah tarafından kabrinin yanına bir mescid yapılarak mezar mescidin içine alınmış, 1374'te (1954-55) Kral Hüseyin zamanında mescid genişletilerek yeniden inşa edilmiştir. Daha önce
I. Baybars tarafından da (1277) yılında bu kabir üzerine bir kubbe yaptırıldığı bilinmektedir. Şam'da Câmiu'l-Cerrâh'ta bulunan bir kabir ona nisbet edilirse de bu doğru değildir. Hanımı Hind bint Câbir'den Yezîd ve Umeyr adlarında iki oğlu olduysa da nesli devam etmemiştir.
