Детская психика, тревога

Здравствуйте.
Ребёнку скоро будет 3 годика. Когда ему было 2 месяца с отцом ребёнка разошлись. Они брали ребёнка к себе на день или ночь раз в неделю. Сейчас каждый раз когда проезжаем мимо их дома ребёнок
начинает кричать «поехали, дальше», " не пойду, не хочу". может истерить и падать на землю, драться. Отец ребёнка не интересуется им, гулял за все время пару раз. В основном водилась бабушка. Дошло до того, что ко мне приразговоре могут знакомые начать задавать вопрос почему я не даю ребёнка отцу, что настраиваю против, спрашивают уже у моих родителей. В последний раз когда привезла его к бабушке, еле вытащила из машины, начал плакать что не хочет идти. И после начал бить деда руками и кричать не хочу, мама. На это бабушка сказала мол успокоим и начала заводить в дом. Я подумав решила что больше не буду оставлять ребёнка на ночь, потому что очень нервничаю из за этих ситуаций. Ребёнок спокойный, в садик если даже не нравится воспитатель идёт спокойно и находит контакт. Но почему то именно к бабушке ехать не хочет. Предложила им что не буду возить на ночь, но они могу хоть несколько раз брать его звать на улицу на площадку куда то погулять. На что мне сказали что я и моя семья во всем виновата что он к ним не идёт, что я ребёнка настраиваю против. Хотя в нашей семье ничего про них вообще не говорят и относятся нейтрально. И снова облили грязью. Устала нервничать, жалко сына когда он так истерит. И решила больше не водить его к ним. Правильно ли я поступила? Если люди не хотят решать вопросы по ребёнку, и слышу только обвинения в свой адрес.