Мужчина не может принять детей от первого брака

Здравствуйте.
Отношения с мужем складывались в последние 2 года не очень. Все усугубилось после моего досрочного выхода из второго декрета(по обоюдному решению). Муж не мог обеспечить семью, платил кредит и коммуналку. Все. Остальное было на мне. Плюс ко всему постоянно критиковал, говорил, что хорошо устроилась, выйдя на работу (он иногда сидел с детьми), секса могло не быть по 2 недели, а если и случался, то он его требовал.
В итоге, на работе я познакомилась с мужчиной старше меня (мне 30, ему 43), полгода у нас были исключительно деловые отношения. Но однажды он признался мне в своих чувствах и я ответила взаимностью. Он тоже был женат, есть дети. Общались мы месяц, параллельно мы оба ушли из семей, он снял мне квартиру, еще через месяц съехались по его настойчивой инициативе. Собирались жениться. Я развелась быстро, а ему жена не давала развод, и вот у них сейчас последний раз отложили суд до середины июля.
Прожив пару месяцев, я стала замечать, что он раздражается, когда дети мои со мной (они часто остаются у папы). Мы с ним откровенно поговорили и он сказал, что дети его раздражают, что он сдерживается и старается с ними подружиться (и это действительно так), но у него не выходит, и все только усугубляется, он очень страдает по этому поводу, испытывает чувство вины.
Меня он очень любит, не хочет терять, говорит, что за все эти годы ему не было ни с кем так хорошо. Со мной он чувствует себя сильным мужчиной, я ему даю все то, что ему не хватало всегда. Говорит, понимает, что хорошо так не будет уже ни с кем и это его пугает) Очень хочет быть со мной.
Мы приняли решение разъехаться, но быть в отношениях. Нам сейчас очень друг друга не хватает, оба скучаем.
К жене он возвращаться не хочет, хочет быть со мной! Речи о женитьбе сейчас, конечно, не ведем.
Как себя вести я не знаю. Я его люблю и не готова терять. Может мы поспешили и рано начали жить вместе? Получается, конфетно-букетного периода как такового и не было. Помогите