Ребёнок боится оставаться с бабушкой

Здравствуйте, помогите, пожалуйста решить проблему. У меня двое детей. Старшему сыну чуть больше 3 лет, младшей дочке 2 года. Сын с дочкой ладить не хочет. Отбирает игрушки, толкает. Стараемся разводить или наоборот находить совместную игру им мы сами, чтобы меньше ругались. Сын послушный, умный, дочка амбициозная, с характером, но очень любит когда он с ней играет, что случается не часто. Дочка любит обниматься и целоваться, она добрая. Очень любит папу.
Сын в 2,5 года пошёл в сад, сложно привыкал, но после болезни пневмонией когда 2 недели лежали в больнице, как то вдруг стал спокойно ходить. Часто этот год болел. Я решила отправить в санаторий. Но отношение тамошнего персонала ему мягко говоря не понравилось. На 6 й день пришлось забрать его. Сильно плакал. В садике очень Хорошие заботливые воспитатели. И не привычно ему было иное отношение. Отдавала его туда бабушка, потому что нас с дочкой положили в больницу. Перед эти пару дней жил с ней и все было хорошо. И теперь у него страхи. Он просит бабушку его не забирать, не сразу целует при встрече. Сам немного изменилс, стал сильно капризным до истерик. Бабушка видимо теперь самый страшный человек для него. Она сильно переживает и ругает меня что нельзя было так с ним. Все нервы мне вымотала, что он теперь с ней не останется. Сейчас он в деревне с другой бабушкой, вроде все спокойно, но может просто не рассказывают? Думаю может забудется ему ситуация с санаторием и все станет как раньше?
Теперь почти такая же ситуация с дочкой и этой же бабушкой. Дедушка у неё грубый и очень громко разговаривает, может кричать. Дочка его боится. Вчера хотели оставить дочку с бабушкой, пока не видела деду, все было норм, как увидела его, стала плакать звать маму, не могли успокоить, пришлось приехать забрать. Она тоже была неделю назад целую неделю в деревне. Там тоже дедушка и бабушка, но они поспокойнее. Хотя эта бабушка тоже бережно к ним относится. И вот теперь меня во всем она винит, что зря я отдаю таких маленьких детей.