Непонятное поведение мужа

Здравствуйте, у меня проблемы с мужем. В браке почти 7 лет, знакомы более 10 лет. Я старше своего мужа на 5 лет Когда первому ребёнку было 2 года стали возникать конфликты на бытовой почве. Муж публичный человек, общительный, любит проводить время в компаниях друзей, я его в этом поддерживаю. С рождением ребёнка это стало немного проблематичнее, он стал все чаще отдыхать сам с друзьями. Потом нашла переписку с девушкой в его телефоне. Мы поругались, выгнала его, он ушел. Было очень обидно, но самое неприятное что он не пытался как то наладить отношения, было ощущение что ему все равно, попыталась с ним поговорить он высказал свои притензии что хочет чаще проводить время вместе, чтобы больше внимания уделяла себе, красилась, носила туфли на каблуках. Я посторалась, вроде все наладилось, общаться с ней он перестал. Спустя два года, после рождения второй дочери я опять стала замечать его раздражительность. Иногда было все абсолютно нормально, а иногда как кошка с собакой, и опять нахожу переписку и частые звонки с уже другой девушкой, опять пропасть, опять он не предпринимает ничего чтобы как то сгладить ситуацию, занимает выжидательную позицию, у меня создаётся впечатление что это он нашёл мою переписку. На мои вопросы не отвечает ничего конкретного, впринципе не против развода. Опять куча притензий, его бесит что слежу за ним, сказал ему надоела рутина. Уверяет что с девушкой кроме общения у него ничего нет. Хотя в переписке увидела "кися хочу к тебе" она ему отвечает "маленький потерпи" (она моего возраста разведена и у неё есть ребёнок, мы знаем друг друга). В телефоне вижу что очень часто созваниваются в течении дня, и работают они вместе, разговаривают по 15 минут бывает. Я очень хочу сохранить семью, но боюсь что вот так будет постоянно. Не знаю что делать. Доверия конечно же нет с моей стороны, всегда хочется залезть в телефон. Когда вновь вижу длительные звонки с ней, зло берет до дрожи. Как быть в этой ситуации? Как его отпустить?