DNS reverso é um nome associado ao seu IP de saída. Caso não o configure corretamente, sistemas como Terra e UOL, dentre muitos outros, rejeitarão seus e-mails.
Em primeiro lugar, você precisa saber o seu IP de saída. Você pode verificar o seu endereço IP usando o comando ipconfig no console DOS do Windows (primeiro IP de baixo para cima) ou via SSH (Linux) usando o ifconfig, conforme tela abaixo.

O endereço IP também pode ser verificado em TCP/IP properties (Propriedades do TCP/IP) - botão Advanced (Avançado) no Windows. Leia o primeiro IP na lista de cima para baixo.
Em seguida, vá para (Tools/Reverse DNS test) e digite o primeiro IP da sua máquina no formulário Reverse DNS Lookup. Você será informado se possui uma entrada de DNS reverso ou não. Alternativamente use o site http://www.ipok.com.br e procure pelo teste denominado "Reverso".
Outro ótimo site para realizar testes está em http://www.terra.com.br/postmaster
Por exemplo, para o IP de saída 217.11.230.98
O nome reverso é doc.icewarp.com.
Nesse caso, por exemplo, é necessário ter um Host A no seu DNS chamado doc.icewarp.com.br apontando para o IP 217.11.230.98.
Você também precisa ter um host chamado doc.icewarp.com apontando para o IP de saída (217.11.230.98), ou um erro "Error, a record does not point back to original" (Erro, o registro A não está apontando de volta para o original) será exibido no teste do DNS Stuff e quando enviar mensagens de email para alguns sistemas.
É recomendado usar o host do reverso (doc.icewarp.com) como hostname do Merak, em Mail Service / SMTP Service / Mailserver hostname (Serviço de Correio/Serviço SMTP/Mailserver hostname), conforme tela abaixo.
Caso o hostname do seu servidor seja diferente do seu reverso, poderá receber erro de sistemas remotos, como 450 4.7.1 : Helo command rejected: Host not found. Esse erro indica que seu sistema possui reverso, mas o nome apresentado pelo seu servidor de email no HELP/EHLO não combina com o seu reverso.

Se você não tiver uma entrada de DNS reverso, consulte o seu provedor de serviços de comunicação, que fornece o link (como Embratel, Intelig, datacenter, etc.).