1º - está usando IP fixo ? ou static ? ou no-ip ?
2° - se estiver usando seu ip interno só quem estiver na mesma rede vai conseguir conectar no mesmo.
3º - firewall deve estar configurado corretamente.
4º - as portas do modem devem estar abertas corretamente.