Соглашусь с коллегами. Перестаньте брать ответственность за его поведение. Он может делать, что хочет — это его право и его проблемы. Ваша задача — простроить свои границы, личные в том числе. Вы можете ему постоянно говорить, что не любите его, что не желаете видеть\слышать, можете перестать отвечать на звонки (разрыв контакта), можете его просто выслушивать.
Делайте так, как ВАМ комфортно. Он не отстает от Вас именно потому, что Вы отношения с ним не завершили.