Sobre o MetaDefender Cloud
MetaDefender Cloud é a plataforma de análise de malware e prevenção avançada de ameaças baseada na nuvem da OPSWAT. A nossa combinação única de Deep CDR combinada com Multiscanning de mais de 20 dos melhores motores AV protege as organizações contra ataques de dia zero e malware cada vez mais sofisticado. A sandbox do MetaDefender Cloudcombinada com a análise de hash, IP e domínio em tempo real usando o banco de dados de inteligência de ameaças de classe mundial da OPSWATajuda os pesquisadores de malware e fornece uma compreensão profunda das ameaças existentes e potenciais.
A plataforma MetaDefender Cloud suporta atualmente mais de 5 milhões de pedidos de análise por dia dos nossos clientes, proporcionando-lhes um tempo médio de análise de 0,4 segundos.
Porque é que desenvolvemos o MetaDefender as a Service (MDaaS)?
Satisfazer as exigências do mercado e apoiar melhor os nossos clientes
Queríamos garantir que MetaDefender Cloud pudesse ser dimensionado para atender aos requisitos em constante mudança e à crescente necessidade de serviços avançados de segurança de aplicativos e à crescente complexidade da segurança DevOps, à medida que mais aplicativos são movidos para a nuvem. Com o aumento do tráfego de ficheiros, era necessário que MetaDefender Cloud mantivesse e melhorasse o seu desempenho para garantir uma experiência de utilizador sem problemas para os nossos clientes finais.
Melhorar a monitorização e o escalonamento preditivo
Decidimos migrar a nossa arquitetura no local para Kubernetes nativos da nuvem baseados em microsserviços com infraestrutura como código para podermos proporcionar uma experiência contínua e consistente em relação ao atual modelo de implementação e monitorização.
MetaDefender Como uma arquitetura de serviços
À medida que migramos para o MDaaS, nossos serviços Multiscanning foram movidos do AMI baseado em Windows para um cluster baseado em Kubernetes. Os administradores podem agora configurar a escalabilidade por motor. Como o desempenho dos mecanismos é diferente, os mecanismos mais lentos podem ser escalados para manter os tempos de verificação rápidos.
O fluxo de processamento de ficheiros é agora o seguinte:
1) Uma mensagem de um requerente externo é enviada para um tópico Kafka "request" (1) com instruções de pedido, tais como a verificação de um ficheiro com AV1, AV2, etc., a sua higienização com Deep CDR, e a análise do ficheiro com Sandbox, etc.
2) Depois disso, um extrator Lambda (2), que se inscreve para receber as mensagens, divide o pedido numa série de comandos diferentes e envia-os para outro tópico Kafka (3), onde são classificados e atribuídos ao(s) motor(es) relevante(s). (4)
3) O processamento do motor (4) é o coração do sistema. Contém vários contentores de motores, é executado no Amazon Elastic Kubernetes Service (EKS) e tem a capacidade de aumentar ou diminuir a escala com base na carga de trabalho. Cada motor trata de um pedido específico que aumenta o desempenho do processamento.
4) Durante o processo, é também utilizado um contentor S3 (5) para armazenar os ficheiros de entrada e de saída.
5) Ao mesmo tempo, um módulo de processamento de registos disponível (6) recebe o registo dos motores e envia-o para um sistema de análise de registos.
6) Após o processamento do ficheiro, o resultado derivado de cada motor é devolvido ao tópico Kafka "resultados" (7)
7) Posteriormente, um agregador de microsserviços que utiliza o AWS Lambda (8) consolida os resultados num relatório e envia-o para um tópico Kafka (9), devolvendo-o ao requerente.
Desafios técnicos e soluções
Prever o comportamento do motor e lidar com anomalias
A implantação tradicional do MD Core AMI permite que os mecanismos sejam executados num computador potente, onde podem partilhar os recursos (CPU, RAM, disco, rede, etc.) entre si. No entanto, com a arquitetura de microsserviços, cada motor funciona individualmente num contentor menos potente. Assim, foi difícil para nós definir os requisitos de recursos do sistema neste caso.
Para resolver esse problema, usamos dados históricos do sistema antigo para definir uma linha de base para cada mecanismo e adicionamos o monitoramento do Datadog. Continuámos a monitorizar o comportamento dos motores e a afinar a infraestrutura até o produto atingir um desempenho superior.
Manter um equilíbrio entre o desempenho e os custos de alojamento
Com a nova arquitetura, MetaDefender Cloud pode ser escalado facilmente para se adaptar às necessidades ilimitadas dos nossos clientes e funcionar a níveis óptimos. No entanto, isso também significa que o custo de manutenção pode aumentar proporcionalmente. Sem controlos de despesas ou modelos de governação, o escalonamento poderia ser incontrolável, levando a um aumento das facturas do serviço de nuvem muito para além do orçamento inicial atribuído.
Por conseguinte, foram efectuadas revisões frequentes da arquitetura com as partes interessadas para garantir uma experiência consistente com custos estáveis e equilibrados.
Simulação de ambiente
Simular uma carga de produção num ambiente de não produção sem dados reais é um desafio. Para lidar com isso, configurámos fluxos de trabalho paralelos para que os dados reais passassem pelas arquitecturas antiga e nova, permitindo-nos avaliar as principais métricas de ambas lado a lado. Esta comparação entre as duas permitiu-nos identificar rápida e eficazmente as áreas em que a nova arquitetura era superior à antiga, bem como as áreas em que a nova arquitetura precisava de ser melhorada.
Monitorização, elaboração de relatórios e controlo
Monitorização da infraestrutura de nuvem em tempo real
MetaDefender Cloud coloca uma forte ênfase na construção de uma monitorização robusta nos seus sistemas para fornecer uma visão clara da saúde do sistema. Para um serviço como o MDaaS que pode lidar com mais de 44 pedidos por segundo (RPS) a uma taxa de erro de 0,6%, depende de vários sistemas a montante e ecossistemas parceiros como fonte de tráfego e, simultaneamente, produz tráfego pesado para diferentes sistemas internos e externos a jusante, é importante ter uma forte combinação de métricas, alertas e registos.
Alertas sobre tráfego anormal elevado por ambientes no Datadog
Além das métricas padrão de integridade do sistema, como CPU, memória e desempenho, adicionámos várias métricas de "extremidade do serviço", como crescimento na fila, tempo de resposta do serviço, status-cake e registo para capturar quaisquer aberrações de sistemas a montante ou a jusante. Além disso, adicionámos uma análise de tendências para métricas importantes para ajudar a detetar degradações a longo prazo. Instrumentámos o MDaaS com uma aplicação de processamento de fluxos em tempo real chamada Datadog (pode saber mais sobre ela aqui). Isso nos permitiu rastrear eventos em tempo real através do fio em granularidade específica do contêiner, facilitando a depuração. Por fim, achamos útil ter alertas específicos do serviço para ajudar a identificar as causas raiz dos problemas mais rapidamente.
Criação de incidentes sobre excepções que exigem a atenção dos engenheiros de fiabilidade do sítio no Datadog
A monitorização SaaS com a plataforma Datadog permite que as equipas se integrem mais rápida e facilmente e elimina a necessidade de manutenção contínua da ferramenta, dimensionamento da capacidade, atualização ou gestão. Estas vantagens significam mais tempo para as equipas trabalharem no produto principal e não terem de criar uma solução de monitorização por si próprias.
Resultados
- Ao migrar para o MDaaS, o microsserviço do motor é agora mais flexível para ajudar a cumprir os requisitos de controlo de segurança de base moderada do FedRAMP.
- A monitorização do desempenho da aplicação é agora melhorada com alertas e painéis de controlo em tempo real. A nova arquitetura de microsserviços permite aos administradores monitorizar a aplicação e cada componente de forma fácil e eficaz. Também facilita a implantação e a escalabilidade.
- Na medida em que a infraestrutura é definida como código, permite aos utilizadores editar e distribuir facilmente as configurações, garantindo o estado desejado da infraestrutura. Isto significa que é possível criar configurações de infra-estruturas reproduzíveis.
Saiba mais sobre MetaDefender Cloud ou contacte-nos para obter mais informações.
