Mediación por visita a pernoctar

Hola , mi consulta es el papá de mi hijo me mando a mediación para pedir que mi hijo de 4 se quede con el. Pero el tema es que el no es constante con las visitas, no lo llame durante la semana , solo el día que le toca verlo , en su casa vive una persona que consume drogras ( el tío) tengo constancia que no lo vio por 6 meses , no lo llamo nada . Qué puedo hacer al respecto puedo evitar que mi hijo duerma con el ? Por el día no tengo problema en que lo vea