removi as opções de inicialização que estavam dando erro nos arquivos bat, e rodou tranquilo:
linha 181 do startloginserver.bat ficou:
java -Dfile.encoding=UTF8 -Xmx128m -XX:+UseSerialGC -cp ./lib/*;l2jfrozen-core.jar com.l2jfrozen.loginserver.L2LoginServer
linha 183 do startgameserver.bat ficou:
java -Dfile.encoding=UTF8 -Xmx1024m -Xms512m -Xmn256m -XX:SurvivorRatio=8 -Xnoclassgc -XX:+UseSerialGC -cp ./lib/*;l2jfrozen-core.jar com.l2jfrozen.gameserver.GameServer
Observação: JRE E JDK atualizados.