Puedo prohibir que mi madre vea a mi hija?

Soy el padre de mi hija, actualmente ella vive con su mamá y frecuenta visitas donde mi madre junto con la bebé. No quiero que haya contacto, ya que nunca fue alguien presente en nuestras vidas y tengo miedo de que la pueda lastimar.