Ребенок не хочет идти домой

Здравствуйте, мой сын не хочет идти домой от бабушки. Ему 3 года 8 месяцев. В гостях у бабушки мы находимся вместе, когда прошу его собираться домой, он говорит что или сама, а я останусь. Говорит что не любит меня и хочет жить с бабушкой! Сам не играет, просит все время с ним играть, причем когда у бабушки, меня до игры не подпускает. Она его ругает, говорит что должен уметь играть сам, а он обижается на нее, но домой со мной не хочет уходить! Я с ним много тоже не играю (не могу себя заставить - не люблю играть). В мяч играть, рисовать с сыном, читать, петь, ходить за ним по улице пока он катается на велосипеде - могу часами, а в машинки играть не могу! Ругаю вроде по делу! Не бью! Если вдруг накричала неоправданно - прошу у него прощения, разговариваю с ним. Он умничка, мой помощник - ему все надо, все интересно, везде нужно успеть, Но я устаю от него. Это ребенок на батарейках) Остался с ночёвкой у бабушки, я хотела просто немного отдохнуть! Утром позвонила, а сын мне по телефону говорит, что домой не хочет, будет жить у бабушки. Я его в тот же день забрала. И не знаю как теперь себя вести? Не водить вообще к бабушке? И почему он так себя повел?