Han föddes i Nisibis i Mesopotamien, döptes som ung och blev berömd som lärare i sin hemstad. När den kristne kejsaren tvingades avträda Nisibis till perserna flydde Ephrem som flykting till Edessa tillsammans med många andra kristna. Han anses ha dragit stor ära till den bibliska skolan där. Han prästvigdes till diakon men avböjde att bli präst.

Han var en stor författare och hans skrifter visar prov på hans helighet. Även om han inte var någon stor lärd man, återspeglar hans verk djup insikt och kunskap om Skrifterna. När Ephrem skriver om mysterierna kring mänsklighetens frälsning visar han prov på en realistisk och mänskligt sympatisk anda och en stor hängivenhet för Jesu mänsklighet. Det sägs att hans poetiska skildring av den yttersta domen inspirerade Dante.

Det är förvånande att läsa att han skrev hymner mot sin tids kättare. Han tog de kätterska gruppernas populära sånger och använde deras melodier för att komponera vackra hymner som förkroppsligade den ortodoxa läran. Ephrem var en av de första som införde sång i kyrkans offentliga gudstjänst som ett medel för att undervisa de troende. Hans många hymner har gett honom titeln "Den Helige Andes harpa".

Efrem föredrog ett enkelt och strängt liv och bodde i en liten grotta med utsikt över staden Edessa. Det var här han dog omkring år 373.