Quiero que le restrinjan las visitas al papá de mis hijos

Hola el papá de mis hijos es un tipo agresivo y le pega a mis hijos. En el colegio lo llamaron porque le pega a mi hijo y nos separamos por producto de que él no cambia. Hace unos años atrás lo mandé preso porque me levantó la mano y estuvo preso. Mi pregunta es si yo tengo de testigo el colegio, mas cuando él estuvo preso y aún sigue siendo violento ¿le pueden restringir las visitas con mis hijos?