Eserlerinde Câbiç’in Türkçe karşılığı olan Câbizâde mahlasını kullanmış olan Ali Fehmi, Mostar’da doğdu. Tahsilini burada tamamladı. Babası Mostar müftüsü Şâkir Efendi’nin ölümü üzerine genç sayılabilecek bir yaşta onun yerine müftülüğe tayin edildi (1884).

Bu görevdeyken bir yandan da ders okutmakla meşgul oldu. 1899’dan sonra siyasi hayata atılarak dinî ve ilmî muhtariyet elde etmek için teşkilatlanan Bosna-Hersek Müslümanlarının başına geçti. İşgalci Avusturya makamları tarafından âsi ilan edilerek müftülük vazifesine son verildi (1900).

Dinî ve ilmî muhtariyet hareketinin müstebit idarenin muhalefeti yüzünden arzu edilen neticeye ulaşamayacağını anlayınca, çalışmalarını daha müsait bir zeminde sürdürmek üzere kendi başkanlığındaki altı kişilik bir heyetle İstanbul’a geldi (1902).



Ancak öteden beri Ali Fehmi’nin faaliyetlerinden rahatsız olan Avusturya hükümeti onun Bosna’dan ayrılışını fırsat bilerek memleketine dönmesine izin vermedi. O da İstanbul’da ikamete karar verdi ve orada kendisini zengin kütüphanelerle değerli âlimlerin oluşturduğu geniş bir ilim muhiti içinde buldu. Kısa zamanda İstanbul’un şöhretli âlimlerinin takdir ve itibarını kazandı.

İkametgâhı, seçkin âlimlerin ziyaret ettiği küçük bir ilim akademisi haline geldi. Bu arada bir süre Meclis-i Maarif azalığı yaptı. Şair Mehmed Âkif gibi dârülfünun hocaları bile kendisinden ders almaya başladı. O zamana kadar İstanbul’da okutulmamış olan Müberred’in el-Kâmil’ini okutmaya başlaması, ilim çevrelerinin ona olan takdirini artırdı.

Onun el-Kâmil’i baştan sona kadar okuttuğu ve eser üzerine ta‘lîkātı bulunduğu söylenmektedir. Bu arada Dârülfünun Arap dili ve edebiyatı müderrisliğine tayin edildi (1906). Bir müddet sonra Osmanlı Meclis-i Meb‘ûsanı’ndaki Arap ülkeleri mebuslarına hitaben Bosna ve Hersek’in durumu hakkında bir broşür neşretti. Bu broşürdeki görüşleri nedeniyle üniversitedeki vazifesinden uzaklaştırıldı (1908).

12 Ağustos 1918’de vefat etti. Edirnekapı Mezarlığı’na defnedildi.