Общение с бывшим мужем

Здравствуйте, есть вопрос по поведению с бывшим мужем. Кратко опишу ситуацию: в браке были 20 лет, трое детей (20, 15 и 4 года). Все годы брака изменял, но эпизодически. Два года назад эпизод затянулся поскольку женщина очень хочет за него замуж. 1,5 года я боролась, он был классическим "челночным" мужем. По моей инициативе на основании продолжающихся с ней измен мы развелись. Но даже после развода его метания не прекратились. Границы дозволенного и допустимого у него совсем размылись. Общению с детьми никогда не препятствовали, даже позволила жить какое то время (в итоге прожил 9 месяцев) вместе (площадь дома позволяет), пока не решит квартирный вопрос, с которым тоже особенных проблем нет. Но вопрос он решать никак не хотел (удобно) и после его отпуска с любовницей, который стал последней каплей для моего терпения, я вывезла его вещи и запретила ночевать в доме. Но он все равно пытается остаться с ночевкой, мотивируя общением с младшим ребенком. При этом на буднях он с работы приезжает тогда, когда ребенок уже спит или ложиться (Не раньше 10 -11 часов). Если ему удается остаться, занимается собой и общением по телефону с любовницей (активная переписка). Мне это доставляет эмоциональное неудобство, поэтому решила ни в коем случае не оставлять его на ночь. Он говорит, что таким образом я действуют на него через детей, мол не смогла удержать, теперь мщу. Но это не месть, а попытка защитить свое личное пространство, на что он ставит мне разные неприятные диагнозы. Кто прав и что делать?
Заранее спасибо за ответ.