Непростые отношения с мамой

Здравствуйте, у меня такая проблема. Я очень хочу но и очень боюсь съежать от мамы. У меня у самой уже муж и дочь 1,3.
Всю жизнь мама меня никогда не поддерживала, а только говорила "ты не сможешь", она считает меня совсем несамостоятельной и не готовой к жизни отдельно. Тоже самое она думает и про моего мужа, ему 24, мне 22 года. Сейчас мы живем с ней и я присматриваю за младшим братом, пока она работает. Брату 10 лет. И вот жизнь с ней стала невыносима и мы решили снять квартиру и съехать. И она обиделась на меня, опять посыпались манипуляции о том, что нам делать нечего, что нам не хватит денег и тд. И давит на жалость тем, что она остается одна.
И вот я разрываюсь просто на части, мне жалко оставлять их, жалко оставить брата, хотя я понимаю, что мы семья и должны быть отдельно.
Пытаюсь говорить с ней нормально, дабы продолжить общаться хорошо, как и раньше, но у нее сразу просыпается какая-то агрессия и я больше не могу высказать не слова, а просто ухожу и плачу.
Как мне быть? У меня действительно появился страх, что мы ничего не сможем без нее и жалко оставлять ее одну.