Pelo que eu entendi, o seu modem criou duas portas:
1) APPLICATION INTERFACE (interface para a aplicativo) COM4
2) PC UI INTERFACE (interface do computador) COM5
Se a COM5 é a interface do computador, realmente quando você tentar conectar vai dar acesso negado. Ela é a interface do computador, não para ser usada pelo seu aplicativo.
Use a COM4 que é a interface para aplicativos.
Veja no manual do Modem qual a velocidade/timeout devem ser configurados. Certifique-se que no Gerenciador de dispositivos se há essas configurações e que elas estejam corretas, se existirem.
Se não tiver o manual, entre no site do fabricante e faça o download. Veja no site se há mais alguma informação.