amigo, você instalou a xp_md5.dll certinho?
Tenta ver se está colocando o ip do windows certinho, e se a senha do usuário do sql está correto também.
Reconfigure novamente escolhendo a opção de server 1, e digite DBAgent_01.log e se não funcionar poste o resultado.
abç!