Муж осуждает мое прошлое

Добрый день. Часто говорим с любимым по душам, и в один из таких рассказала о своей прошлой ситуации, которую он осудил(секс на первом свидании). Он говорил, что не будет осуждать то, что я расскажу, может быть потому что мне не хотелось рассказывать, и я искренне надеялась на это. Получился конфликт, ему было больно и обидно, что я могла себя до встречи с ним так себя вести, мне тоже, что он так реагирует, было сказано много плохих слов в мой адрес, мы долго разговаривали и разбирали эту ситуацию, он извинялся за это, оба переживали и помогали друг другу, пришли к пониманию, что прошлое - это прошлое, и бессмысленно так переживать, помирились. Удивительно, до этого все было отлично, он считал меня идеалом, и сейчас так считает и не меньше любит, уже меньше задевает мое прошлое, но иногда начинает думать и вспоминать, отдаляется, молчит. Я очень переживала, когда такое происходило, потом внутренне себе сказала, что как бы он не осуждал меня в душе, я все равно буду рядом и тянуться к нему, помогу вырваться из этого, что моя спокойная реакция и поддержка поможет, но где то внутри мне все еще становиться плохо и беспокойно, я не чувствую его близость и любовь ко мне в эти моменты, боюсь холодности и осуждения. Как мне работать со своими эмоциями, нормально ли то, что я чувствую? Как помочь ему справиться с плохими мыслями? Или еще раз попытаться не реагировать на все это?