atualize todos os frameworks, do 1.0 ao 4.0 se houver suporte ao seu sistema operacional..
faça um atalho com o link do joinserver , igual você faz para abrir o Gameserver porem só adcione essa linha na lacuna "Destino"
apenas da um espaço e copia o link abaixo
/p55970 /ca127.0.0.1 /cp55557
caso nao resolver aumente a memoria virtual de seu PC , tem tutoriais pela net
e se mesmo assim nao resolver, reveja os passos primários para a criação de servidor de mu, pois ai é configuração de ip e senha....
procure usar o startup da Borteam, o novo que fizeram , é bem melhor, o conect server tambem...