Sakız’da doğdu. Rum asıllı olduğu, 1821 Rum ayaklanmaları sırasında Sakız âsilerinin isyanları bastırılırken çok küçük yaşta İstanbul’a getirildiği ve Kaptanıderyâ Koca Hüsrev Paşa tarafından satın alınıp evlât edinildiği söylenir. İlk öğrenimini Hüsrev Paşa’nın konağına gelen hocalardan gördü. Paşanın diğer çocukları olan Hüseyin, Ahmed ve Abdüllatif ile birlikte tahsilini tamamlamak üzere 1830’da Paris’e gönderildi. 1835’te Barbet Enstitüsü’nü, 1839’da da Yüksek Maden Mektebi’ni bitirdi.



Teknik gözlemlerde bulunmak maksadıyla bir süre Avrupa’da dolaştıktan sonra İstanbul’a döndü. Miralay rütbesiyle devlet hizmetine girdi ve Dâr-ı Şûrâ-yı Askerî’ye memur oldu. Ardından Sarıyer bakır madeni ve Gümüşhacıköy madeni müdürlüklerinde bulundu. 1845’te Keban ve Ergani madenleri başmühendisi oldu. Aynı sene, yeni kurulan Erkân-ı Harbiyye Dairesi’ne, kısa bir müddet sonra da Rikâb-ı Hümâyun’a memur edildi. 1849’da mirlivâlığa, 1851’de Mâbeyn-i Hümâyun ferikliğine yükseldi. Sarayda bulunduğu esnada Sultan Abdülmecid kendisinden Fransızca dersleri aldı. Bu sırada kurulan Encümen-i Dâniş ve Meclis-i Âlî-i Tanzîmat üyeliklerine getirildi.



26 Şubat 1883’te Dahiliye nâzırı tayin edildi. Şarkî Rumeli’nin Bulgaristan tarafından ilhakı ile meydana gelen olaylar sebebiyle Küçük Said Paşa kabinesinin düşmesi üzerine 24 Eylül 1885 tarihinde bu görevden ayrıldı. Paris sefiri olarak tayini kararlaştırıldıysa da bundan vazgeçildi. Kendisine 3000 kuruşluk mâzuliyet maaşı bağlanan Edhem Paşa 2 Ramazan 1310’da (20 Mart 1893) vefat etti ve Üsküdar’da bulunan Mihrimah Sultan Camii civarına defnedildi.