Муж-эгоист или я просто его не понимаю?

Здравствуйте, у меня такая проблема. Мы женаты уже 4,5 года. Живём в квартире у моей матери. С нами ещё живёт мой брат. Практически сразу же после свадьбы мой муж стал жить у своей матери. Я уже ждала ребёнка. А ко мне приезжал наездами, объясню почему. Но принять это я не могу до сих пор. Дело в том, что раньше муж работал в такси, приезжал домой под утро и хотел выспаться. А у нас в это время все собирались на работу, естественно шумели. Мужа это раздражало и он начал ездить к своей матери, чтобы там спокойно выспаться. Причем его родители спокойно смотрели на такое положение вещей. Но и ко мне относились хорошо. Ведь он устал, а у нас якобы не может выспаться. Затем начались новые оправдания жизни у родителей: то кот мой мешал спать, то соседи рано (в 10 00) шумят дрелью, то ребенок разбудит. У меня были постоянные истерики. Доходило до развода. Но муж тут же становился пай-мальчиком, обещал, что постарается научиться привыкнуть к моей семье. Но это были только слова. Потом муж сменил работу на другую, но и это не помогло. Всё те же приезды к родителям. Причем у них он спит в одной комнате со своим братом. И брат тоже молчит. Я пыталась по-хорошему поговорить с его родителями. Но они объяснили, что ничего сделать не могут. У нас ведь в квартире коммуналка, а их сыну нужен свободный угол. Не знаю, почему всё это до сих пор терплю, ведь у нас уже двое детей. Единственно о чём думаю, что муж не алкоголик и не тунеядец. Но зато страшный эгоист. Однако он объясняет своё вечное отсутствие тем, что он не домосед и ему нечего делать дома. Он постоянно уезжает в деревню на выходные. Так заведено у него в семье. И ищё: когда муж периодически живет с нами, то ему всё не нравится, то не там стоит, то не там лежит. У меня, наверно, адское терпение. Но я настолько уже отвыкла от совместного быта, что когда он приезжает домой, мне становится некомфортно, так как он всегда озадачивает своим плохим настроением. Квартира нам не светит, а жить так тоже тяжело. И он любит меня, я знаю. И я люблю его. Но понять не могу. Дети отца практически не видят. Развестись? Думала. И не раз. Просто живёшь надеждами, что дети подрастут и мы все вместе сможем ездить в ту же деревню. Возможно станем ближе друг другу. Муж скорее диктатор по природе, никому не подчиняется, давления на него я не имею. Но и я не подарок. Я вижу, что он не помогает, и от этого истерики. А он говорит, что я постоянно пилю его. Я всё время одна с детьми и мне очень тяжело, а он практически не помогает, зато деревня -это святое. Но ведь всё может быть по-другому. Вот только боюсь, что с таким, как мой муж, нужно жить только отдельно в своей квартире, где его никто не будет раздражать. Я пытаюсь понять: в чём наша проблема. Может, я слишком терпеливая, или мой муж просто потребитель. Хотя как личность я его уважаю и говорить плохого о нём не буду. Неужели это просто его эгоизм по отношению к семье? Или я что-то делаю не так?