A crescente complexidade dos softwares de segurança está levando fornecedores do setor a criticar as tradicionais avaliações, dizendo que elas não testam adequadamente outras formas de proteção das soluções.

As relações entre os fornecedores e as organizações que testam as solução são geralmente cordiais, mas tornam-se tensas se o produto falha. Representantes dos dois lados concordam que as estratégias de teste precisam ser reavaliadas para dar a clientes uma visão mais acurada sobre os diferentes produtos comparados.

“Não acredito que alguém acredita nos testes como são hoje”, diz Mark Kennedy, engenheiro da Symantec.

Funcionários da Symantec, F-Secure e Panda concordaram, no último mês, no evento ‘International Antivirus Testing’ na Islândia, que era preciso criar um novo plano de testes. A esperança, diz Kennedy, é que todos as empresas do setor concordem com um teste padrão para toda a indústria. Uma prévia será apresentada em setembro próximo.

Um dos testes tradicionais envolve rodar amostras de software malicioso nas diversas soluções AV. Os motores das soluções usariam, então, as vacinas para identificar os softwares maliciosos.

Mas os AVs mudaram nos últimos anos e “agora existem outras formas de detectar e bloquear malware”, diz Toralv Dirron, engenheiro-chefe da McAfee.

A detecção baseada em vacinas é importante, mas a explosão de programas maliciosos diferentes está ameaçando a efetividade da técnica de defesa. Assim, os fornecedores precisam criar novas táticas para pegar as pragas.

Técnicas como detecção por comportamento (que busca o malware pelas ações que ele toma na máquina) é uma das maneiras para detectar a praga mesmo que ainda não exista uma assinatura para ela. Combinado com ferramentas baseadas no host, como sistemas de prevenção de intrusão, podem usar firewall e técnicas de inspeção de pacotes para bloquear ataques.

Os modos diferentes de ataques envolvem maneiras diferentes de defesas, que precisam ser todas testadas para gerar um ranking eficaz, defendem os analistas.

Um teste baseados em assinaturas pode levar apenas cinco minutos. “É rápido e barato, mas é um teste muito básico”, diz Andreas Marx, da AV-Test.org, um mestre em teste de antivírus.

Os fornecedores de segurança também acreditam que os testes devem analisar quão eficazmente as soluções removem programas ruins, processo que pode afetar o desempenho da máquina.

Para eles, um teste falho pode ser vergonhoso, já que as organizações de teste divulgam os resultados com grande barulho.

Organizações como a AV-Test.org e Virus Bulletin (VB100) realizam diversos testes das soluções AV. Mas, conforme defende a Kaspersky, um teste acusou a falha em pegar um determinado worm que tinha sido tirado, segundo a empresa, com a intenção de melhorar desempenho. Roel Schouwenberg, pesquisador da Kaspersky, afirma que a assinatura foi colocada de volta. “Se o teste fosse conduzido um dia antes, nos passaríamos”, diz.

Todos os fornecedores são comunicados, após o teste, quais amostras eles falharam em detectar, com a maioria criando as assinaturas para seus produtos.

Então, em que os usuários podem acreditar? John Hawes, consultor técnico da Virus Bulletin, afirma que os testes baseados em assinatura não são “representativos perante o mundo real”.

No entanto, ressalta Hawes, os testes baseados em assinatura podem indicar a confiança e consistência em determinado fornecedor de software. Virus Bulletin também faz análises baseadas nas suítes de AV, que abordam aspectos como a usabilidade, que pode ser tão importante quando a detecção para os usuários.

A AV-Test.org já está fazendo testes com maior abrangência, mas utiliza entre 30 a 50 amostras de malware, montante muito menor do que as 600 mil amostras da Wildlist. Estes testes, no entanto, vão ser muito importantes para dar uma visão de como os antivírus se comportam no mundo real.