Запрет мужа на общение с родителями мне и дочери

Здравствуйте, заранее благодарю за помощь! Ситуация для меня не из легких. Мой муж в очень натянутых отношениях с моими родителями, мы живем в 600 км от них. Женаты 4 года. У нас есть ребёнок, дочь, 2,5 года. С нами в одном городе из родственников нет никого, муж постоянно на работе, с ребёнком всегда я. В начале лета поругались с мужем из-за того, что приехали мои родители встретиться со мной и внучкой, его не было, он был на работе, привезли подарки дочке, он спросил откуда я ему сказала что приезжали родители. Он устроил скандал, сказал, что запрещает им видеться с ней, что они не бабушка и не дедушка, только фикция, что я его обманула, хотя сказала правду, что да, они виделись, сказал, что хочет развода. Спустя месяц мы более менее помирились. В сентябре ребёнок идёт в сад, я выхожу на работу. Мои родители предложили мне погостить у них немного, отдохнуть, так как потом неизвестно когда сможем приехать, муж не поедет точно так как отношения не те и работает. Я хочу поехать, но это опять будет скандал, уговорить его что-то из разряда фантастики. Дайте, пожалуйста, совет как поступить? Поеду будет скандал, не поеду - буду жалеть, что могла поехать (не держала работа и сад дочки) и не поехала.