Para o VPS, é bom desativar até o do próprio windows.
Agora para quem possui um servidor grande, digo grande o bastante, e que o dono seja conhecido, e deseja acessar sempre o dedicado é bom deixar o computador só para essa tarefa, porque utilizar um computador de casa para acessar remotamente corre certos riscos.