O que acontece, mesmo o Broker sendo configurado para HTTP por conta do WebApp, a porta que você coloca na configuração é a TCP do Slave (se colocar a porta webapp dá erro).
Eu abri um ticket na totvs e enviaram um tlpp.rpo para atualizar o WebMonitor para a versão 1.5.4 e resolveu o erro só não sei se é um arquivo que fica disponível no portal ou se foi enviado só para testes aguardando mais informações
;SSL_METHOD=SSL/TLS
;TSL1_2=1
;SSL_CERTIFICATE=C:\totvs12\protheus12\bin\certificates\totvs_certificate.crt
;SSL_KEY=C:\totvs12\protheus12\bin\certificates\totvs_certificate_key.pem
SSL_CERTIFICATE=C:\totvs12\protheus12\bin\BROKER\totvs_certificate.crt
SSL_KEY=C:\totvs12\protheus12\bin\BROKER\totvs_certificate_key.pem
; etc
; esta chave aceita letras e números para identificar servidores,
; por exemplo REMOTE_SERVER_0A, REMOTE_SERVER_XY, etc, e as chaves
; podem estar em qualquer ordem
; nome do serviço Windows, caso seja utilizado
; (não pode conter espaços)
SERVICE_NAME = TOTVS_BROKER_2410
; opcional: “display name” do serviço Windows
SERVICE_DISPLAY_NAME = “.TOTVS_BROKER SERVICE”
; configuracao para o protheus monitor