«Но он же расстроится»

Да.
Возможно.

И Вы не обязаны делать вид, что Вам все равно.
Можно признать чувства другого человека и при этом не менять своего решения.

«Я понимаю, что тебе неприятно. Но мое решение остается прежним».