Муж не хочет секса

Здравствуйте, планируем с мужем ребёнка, он говорит, что хочет, но секс у нас 1-2 раза в месяц. При этом в большинстве случаев, когда хочет он. Я понимаю, что такими темпами мы далеко не уедем. Самое обидное, у него почему то часто просыпается желание, когда у меня месячные, естественно в эти дни ни о каком сексе речи быть не может. И мне это не понятно, почему именно в эти дни?
Он работает и встаёт очень рано, соотвественно и ложится тоже рано. То есть он ложится, сразу засыпает. Я пока все сделаю по дому, уложу ребёнка, прихожу в постель он уже спит и будить его смысла нет, он очень злится. Днём он на работе, вечером тоже не вариант, так как дома ребёнок. Остаётся только ночь, но он рано засыпает. Так же он частенько, чтобы удовлетворить свои желания, мастурбирует (сам мне об этом говорит). Меня это конечно очень расстраивает.
У нас уже есть Один ребёнок. С его зачатием проблем не было, этот было начало отношений и тогда секс был достаточно частым.
Подскажите, как быть в этой ситуации? Опускаются руки и хочется плакать.