Şehrin adının, içinden geçen Struma Nehri'nden ya da "Üstü Rumca" ifadesinden geldiğine ilişkin iki rivayet bulunuyor. "Üstü Rumca" ifadesi, şehrin üst kesiminde yaşayan halkın Rumca konuşması nedeniyle kullanılıyordu. Şehrin alt kesiminde yaşayanlar ise Türkçe konuşuyordu. Balkan Savaşları ve Birinci Dünya Savaşı'nda Bulgar, Yunan ve Sırp saldırılarına maruz kalan ve baskılar nedeniyle Türkiye'ye göç veren şehirde bugün hala akıcı bir şekilde Türkçe konuşanlara rastlamak mümkün.

Şehre yukarıdan bakan Çar Kuleleri'nin bulunduğu tepenin yamacında yaklaşık 6 bin Türk yaşıyor. Bu eski Türk mahallesindeki tarihi Katib Durak Orta Camisi'nin, Müslüman nüfusun azalması nedeniyle kapatılmasının ardından 1985 yılında Seyit Muhammed Nur Camisi inşa edildi.

Şehirdeki ender Osmanlı eserlerinden biri, bugün bakımsızlık nedeniyle geçmişteki günlerini adeta mumla arayan Katib Durak Orta Camisi. Balkanlar'daki birçok Osmanlı camisi hakkında olduğu gibi, Ustrumca'daki bu cami hakkında da "temellerinde kilise var" iddiası ortaya atılarak camide arkeolojik kazı yapılmış.

Tarihi caminin içinde bulunduğu duruma üzüldüğünü söyleyen imam Ahmet, "İnşallah başta Türkiye olmak üzere, destek verilirse o camimizi tekrar faaliyete geçirmek istiyoruz." diye konuştu.

 

Katib Durak Orta Camisi'nin yanı sıra eski Türk mahallesindeki bir diğer Osmanlı eseri, daha önce postane, bugün ise müze olarak kullanılan bina. Ustrumca halkı binayı bugün dahi "Türk Postanesi" olarak adlandırıyor.