Дочь мужа и новая семья. Как быть

Здравствуйте, помогите мне пожалуйста, дайте совет. Мне 31 год, в 17 лет встречалась с парнем, но не сложилось, первая любовь была и у меня и у него. Прошли годы, он сошёлся с женщиной, родилась дочь, я тоже вышла замуж, так же имею дочь 4 лет. С моим мужем отношения не шибко хорошие, и в этот момент стали общаться с бывшим в интернете. Он расстался со своей женщиной, стал всячески ухаживать за мной, тк с мужем не гладко, мы расстались и развелись. На данный момент, проблема в том что мой молодой человек постоянно притаскивает свою дочь ко мне в квартиру, мне это изрядно надоело, я пыталась говорить с ним, пыталась объяснить, что я понимаю это ребёнок, девочка ей 7 лет, но у меня своя есть и лишние хлопоты мне не нужны. Общайся но дозированно. И без меня! Ещё удручает тот факт что я сама сейчас от него в положении, чуть заходит разговор про его дочь, он собирается и уходит. Как быть? Как правильно себя вести? Я понимаю, это его прошлое, сама с ребёнком, но я не мама этой девочке, он её привезёт и едет по своим делам. Его бывшая специально шлёт ребёнка к нам. Ей надо свою жизнь строить. Дайте пожалуйста правильный совет.