Era un padre apostolico, cioè un allievo di uno dei discepoli originari di Cristo, ed era conosciuto da altre importanti figure della Chiesa cristiana primitiva, tra cui Ireneo, che lo conobbe da giovane, e Ignazio di Antiochia, suo collega nella Chiesa cattolica orientale.

Tra le sue opere superstiti c'è la Lettera ai Filippesi, in cui cita l'apostolo Paolo, alcune delle quali compaiono nei libri del Nuovo Testamento e negli Apocrifi. La lettera di Policarpo è stata utilizzata dagli studiosi per identificare Paolo come probabile scrittore di quei libri.

Policarpo fu processato e giustiziato come criminale dall'impero romano nel 155 d.C., diventando il 12° martire cristiano a Smirne; la documentazione del suo martirio è un documento importante nella storia della Chiesa cristiana.