Ребенок от женатого мужчины

Здравствуйте! Моему сыну 6 лет. Он рожден от женатого мужчины, отец с ним общается, и приходит к нам. Ребенок считает, что мы вместе, но просто папа с нами не живет. Сейчас мы с отцом ребенка стараемся лично не общаться, только если что то по поводу сына. Потому что я поставила ультиматум отцу ребенка, чтобы он уходил из семьи и жил с нами. Он не уходит. Собираюсь порвать с ним наши отношения, так как ребенок уже подрос и стал задавать вопросы, почему папа с нами не живет. Мой отец, дедушка ребенка злится на сложившуюся ситуацию, и постоянно говорит ребенку, что это не его папа, так как у него другая семья. Ребенок как будто пропускает это мимо ушей, не задает вопросы по поводу другой семьи, но при дедушке папу называет просто по имени. Подскажите, стоит ли сейчас сказать ребенку, что у папы другая семья, поэтому он с нами не живет?