Как знакомить ребенка со второй семьей?

Ситуация такая:
с женой в разводе, два года не живём вместе, сын 5,5 лет, живёт с бывшей женой.
Женился второй раз. Женщина с двумя детьми, тоже мальчики, один тоже 5,5, другой 10 лет
Вижусь с сыном 2 раза в неделю, в основном дома у бывшей жены.
Сын про мою нынешнюю семью пока не знает, и считает, что я живу со своей мамой (его бабушкой).

Я бы хотел его познакомить c новой семьей, но,

во-первых, бывшая жена категорически против: считает что сына сильно травмирует известие что я живу с другими детьми, (в то время как он хочет что бы я жил с ним)

во-вторых, я сам не до конца понимаю как лучше поступить:
с одной стороны аргументы "за" такие:
- всё равно придется когда-нибудь знакомить, как минимум информировать его о том где и с кем я живу,
- чем дольше я ему фактически лгу, тем больше вероятность потерять его доверие в момент когда он узнает
- возможно, я смог бы забирать его к себе, и проводить с ним больше времени
с другой, аргумент "против": - не могу на 100% предсказать его реакцию, и не будет ли это травмой для него.

Мне лично кажется, что ничего страшного не будет, но при этом бывшая жена говорит, что сын время от времени спрашивает почему я не живу с ним, что сомневается люблю ли я его, и ищет виноватых (себя, или бабушку). При этом сын от разговора со мной на эту тему, я бы сказал, уклоняется (делает вид, что не понимает о чем я его спрашиваю, и зачем я его лишний раз убеждаю, что люблю его и что я разошёлся с мамой, но не с ним, и т. п., мол он и так это знает и понимает.)

Кто что может посоветовать?