Eserlerinde Câbiç’in Türkçe karşılığı olan Câbîzâde mahlasını kullanmış olan Ali Fehmi Mostar’da doğdu. Tahsilini burada tamamladı. Babası Mostar müftüsü Şâkir Efendi’nin ölümü üzerine genç sayılabilecek bir yaşta onun yerine müftülüğe tayin edildi (1884). Bu görevdeyken bir yandan da ders okutmakla meşgul oldu. 1899’dan sonra siyasî hayata atılarak dinî ve ilmî muhtariyet elde etmek için teşkilâtlanan Bosna-Hersek Müslümanlarının başına geçti. Bu sebeple işgalci Avusturya makamları tarafından âsi ilân edilerek müftülük vazifesine son verildi (1900). Dinî ve ilmî muhtariyet hareketinin müstebit idarenin muhalefeti yüzünden arzu edilen neticeye ulaşamayacağını anlayınca, çalışmalarını daha müsait bir zeminde sürdürmek üzere kendi başkanlığındaki altı kişilik bir heyetle İstanbul’a geldi (1902).

Ancak ötedenberi Ali Fehmi’nin faaliyetlerinden rahatsız olan Avusturya hükümeti onun Bosna’dan ayrılışını fırsat bilerek memleketine dönmesine izin vermedi. O da İstanbul’da ikamete karar verdi ve orada kendisini zengin kütüphanelerle değerli âlimlerin oluşturduğu geniş bir ilim muhiti içinde buldu. Kısa zamanda İstanbul’un şöhretli âlimlerinin takdir ve itibarını kazandı. İkametgâhı, seçkin âlimlerin ziyaret ettiği küçük bir ilim akademisi haline geldi. Bu arada bir süre Meclis-i Maârif âzalığı yaptı. Şair Mehmed Âkif gibi dârülfünun hocaları bile kendisinden ders almaya başladı. O zamana kadar İstanbul’da okutulmamış olan Müberred’in el-Kâmil’ini okutmaya başlaması, ilim çevrelerinin ona olan takdirini artırdı.

Onun el-Kâmil’i baştan sona kadar okuttuğu ve eser üzerine ta‘lîkātı bulunduğu söylenmektedir. Bu arada Dârülfünun Arap dili ve edebiyatı müderrisliğine tayin edildi (1906). Bir müddet sonra Osmanlı Meclis-i Meb‘ûsanı’ndaki Arap ülkeleri mebuslarına hitaben Bosna ve Hersek’in durumu hakkında bir broşür neşretti. Bu broşürdeki görüşleri nedeniyle üniversitedeki vazifesinden uzaklaştırıldı (1908). 12 Ağustos 1918’de vefat etti. Edirnekapı Mezarlığı’na defnedildi.