Nieustannie jednak usuwał się od działalności praktycznej, bardziej miłując życie samotne, oddane nauce i ascezie. Łączył pobyty w pustelniach z zaangażowaniem w sprawy Kościoła i świata. Chociaż zwany „teologiem", nie pisał traktatów doktrynalnych w ścisłym tego słowa znaczeniu. Pozostawił zaś mowy teologiczne, którymi zasłynął jako żarliwy obrońca wiary. Był pierwszym wielkim chrześcijańskim poetą. Jego dziełem są poematy dogmatyczne i moralne, hymny, wiersze okolicznościowe oraz krótkie epigramy.