Семейный конфликт

Здравствуйте! Мы с мужем живем вместе уже более 5 лет, за это время родилось двое детей (дочка и сын), совсем недавно купили собственный дом (в ипотеку) и все бы замечательно, но. Постоянно рядом с ним присутствует какое-то напряжение: неуверенность, страх. На протяжении всей совместной жизни он главный, он решает все вопросы, в том числе куда мне ехать, с кем мне общаться, кого приглашать в гости, я даже не могу просто взять и поехать в гости к родителям на выходных или пригласить подругу в гости, если он против. Сейчас я даже уже начала бояться что-то у него спрашивать. Например, надо ехать в другой город и моя крестная хочет поехать с нами. Я боялась ему об этом сказать (внутренний страх), но когда сказала, он ответил: что брать никого не собирается и не будет. Со временем я поняла, что внутренний стах перед ним у многих, не у меня одной. Неловко себя рядом с ним чувствует моя сестра, мама, бабушка, тетя. Я не понимаю с чем это связано.
Год назад я встретила человека, который стал моей отдушиной: с ним было просто легко. Морально. Но по сложившимся обстоятельствам связь с ним пришлось прекратить, я все рассказала супругу и он меня простил, тогда я на время почувствовала моральную разгрузку. Сейчас все вернулось на круги своя.
Знакомые ездят с детьми на море, отдыхают с коллегами по работе, гуляют по вечерам с детьми и друзьями. Себя я не отношу к таким людям, потому что супруг к этому иначе относится. И я не знаю что мне делать. Мы не сходимся во мнениях. Когда я делаю то, что считаю нужным, мы ругаемся, он нервничает, потому что не по его. Я не хочу его травмировать, но и самой морально мне очень тяжело. Думала развестись, но у нас двое малышей, ипотека, дом. И перестроить его не могу под свои взгляды. Спасибо за помощь!