Osmanlı Beyliği’nin ilk dönemlerindeki askeri kuvvetler (yaya ve müsellemler, timarlı sipahiler, gaziler) Edirne’nin fethinden sonra, imparatorluğun artan askeri ihtiyacını karşılamamaya başladı. Ayrıca Osmanlı Beyliği yavaş yavaş merkezileşiyordu. Bütün bu ihtiyaçlar merkezde bulunan daimi bir ordu tarafından karşılanabilirdi. Bunun üzerine Osmanlılar kendilerinden önceki Türk devletlerinde bulunan gulam usulünü geliştirerek devşirme sistemini kurdular.

I. Murad döneminde Çandarlı Kara Halil ile Kara Rüstem, Hristiyan esirlerden merkezi bir ordu için istifade edilmesi düşüncesini ileri sürdüler. Bu teklif üzerine Rumeli’de akınlarda bulunan beylere haber salınıp alınan esirlerin beşte birinin devlet hissesi olarak ayrılması emredildi. Devlete verilen esirler belirli bir eğitimden geçirildikten sonra asker olarak kullanılmaya başlandı.

Böylece yeniçerilerin de içinde yer aldığı Kapıkulu Ocakları’nın temeli atıldı. Yeniçeriliğin kuruluşu genelde I. Murad
devri olarak gösterilmekle birlikte, Orhan Gazi zamanına indirenler de bulunmaktadır. Ancak bu ocağın asıl teşekkülü Yıldırım Bayezid devrindedir.