第一部分:进入先进安全监控世界的旅程

每天处理数百个安全警报是一个挑战。尤其是当许多假阳性信息浪费了我们的时间，而且都占用了我们太多宝贵的时间来筛选。让我来告诉你我们的安全团队是如何解决这个问题的，因为我们围绕JFrog产品建立了安全性。hth华体会最新官方网站

首先，让我简单介绍一下我们的团队。

JFrog的安全工程

JFrog安全- CSO办公室专注于保护我们的客户数据，确保我们的云基础设施的安全性，提供最高的产品和应用安全标准，并应对新出现的安全威胁。了解更多JFrog >的保安

性能、可伸缩性、易用性和灵活性

为了提高我们的流程，更好地满足我们不断增长的需求，我们决定从零开始建立我们的安全监控系统，并使其成为一流的。在研究了不同的方法后，我们决定创建一个有人可能会说非常规的解决方案，包括以下两个主要部分:

1. 集装箱化我们的日志运输组件
2. 使用消息队列

这篇博客的目的是分享我们如何在较高的水平上解决每一个曾经使用过传统安全监控系统的安全工程师/架构师所感受到的主要痛点。

那么，这篇博文是写给谁的呢?

• 如果您即将决定安全监控系统/解决方案的架构应该是什么-这是为您准备的。
• 如果您厌倦了在日志收集器中追踪运行状况问题、导致索引问题的数据峰值或仅仅因为请求太多而使数据库崩溃——这是为您准备的。

这篇博文将描述为什么我们决定使用这些解决方案以及我们今天的最终架构。希望分享我们的用例可以为您和您的组织提供额外的指导。这将是第一部分三篇博文,包括:安全监视(又名SIEM),自动化(又名SOAR)和机器人(又名聊天机器人)。

让我们从我们选择的解决方案的关键要点和建议开始。

注:我们的团队选择解决所有问题并重新开始。但是，您可以选择只处理现有安全监视的某些部分，例如技术、警报通道或处理。

1.集装箱化日志运输组件

在大多数传统的安全监视系统中，日志托运人可能是最大的失败点。这是因为保持它的运行是一项非常具有挑战性的任务，特别是在一个复杂的体系结构中，您会发现数十或数百个不同的服务。使用日志托运人的容器版本会有很大帮助。

的好处：

• 节省大量的计算资源2022世界杯阿根廷预选赛赛程没有很多实例来运行服务。
• 更有弹性具有设置重启策略的能力，以防“服务”死亡。
• 无争议的复苏如果服务失败或损坏，不需要重新构建服务。
• 增加了一层安全性由于服务是隔离的，因此可以分离凭证和其他机密。

2.使用消息队列(MQ)

接下来，我们选择使用缓冲区(又名排队系统)。在我们的例子中，我们选择使用卡夫卡。

的好处：

• 吸收峰值和过载-时不时地，你会收到一大堆原木，从尺寸的角度来看，你肯定没有预料到或准备好了。消息队列可以避免数据丢失、损坏和服务中断等问题。
• 备份-虽然它不是备份系统，但你应该使用快照、存储桶等备份你的数据。使用消息队列可以帮助进行短暂的更改。升级版本时需要停止SIEM一个小时?没问题!您的某个节点的配置是否发生了更改?来吧!
• 负载平衡-不是所有的日志摄入解决方案都知道如何负载平衡流量，MQ可以通过允许消费者平均分配负载来帮助实现这一点。

一个简单架构的例子:

(来源:“刚刚足够的Kafka弹性堆栈“elastic.co)

在左边，我们可以看到我们的日志传送器(例如DB、Filebeat、Syslog等)将数据发送到Logstash(如果日志传送器支持的话，也可以直接发送到MQ)，然后发送到消息队列(Kafka)。然后，使用者从MQ获取数据，MQ将数据发送到SIEM (ELK堆栈)。

每个环境都有自己的需求。以下是一些可用的指南，详细介绍了如何调整不同组件的大小:

• 弹性搜索-大小和容量规划
• Elasticsearch -服务定价计算器
• 对您的Elasticsearch集群的日志和指标进行基准测试和调整
• Elasticsearch指南-调整索引速度
• Elasticsearch指南-调整搜索速度
• Elasticsearch计算器

最终的体系结构和基础设施

以下是我们最终架构的主要组件和动机:

日志来源/托运人

• 弹性组件可以避免兼容性问题。维护较少数量的组件类型更容易。例如，升级所有托运人只需要更改Docker映像版本。
• 分支数量越少(越好)，事情就越简单，帮助我们节省维护基础设施的时间。

消息队列(又名Kafka，如上所述)

• AWS管理基础设施，并为我们提供托管服务。
• 我们只管理应用程序方面的事情(主题、复制、保留、监控)。

Logstash“集群”

• 因为Logstash不能真正作为HA/集群运行，所以它不能被视为集群。但是，让它作为Kafka的消费者执行基本上意味着使用队列将允许平衡负载，从而在Kafka主题中产生更多分区。使用相同数量的线程可以让我们以一种平衡的方式更快地读取信息，并避免Logstash或Elasticsearch不喜欢的任何峰值。
• 使用Logstash将日志合并到一个管道中，可以更容易地控制:日志操作、标记、丰富(例如Maxmind Geo信息)，甚至将您最喜欢的防火墙日志与MISP的OSINT匹配(资源:https://owentl.medium.com/enriching-elk-with-threat-intelligence-4813d3addf78）

Elasticsearch / Kibana

• 有很多很棒的在线教程可以帮助你开始学习Kibana，比如Docker的弹性堆栈(ELK)．

还有一些额外的收获:

• 外包到托管服务/SaaS可以让你的企业专注于自己的优势，让你的团队专注于他们的主要任务和未来战略。
• 安全监视基础设施非常重要。我们都希望防止服务中断。SaaS可以提供帮助，特别是如果你的团队很小，甚至还不存在。

结论

总结一下我们所取得的成果:

• 增加容量-我们获得了基础设施的稳定性和弹性，更容易的部署过程，更清晰的故障排除过程。更少的人需要驾驶船=更多的时间做IR。(下一个难题是自动化，将在下一篇文章中讨论)
• 提高每个工程师的时间投入-拥有可靠的监测解决方案意味着花费更少的调查时间。消除丢失日志、解析问题和缺乏数据等问题确实会对时间效率产生很大影响。
• 微调-作为一名SIEM工程师，这是我第一次可以说我不再需要生活在服务中断的恐惧中。在一个相对稳定的解决方案上运行我们的基础设施(例如Kubernetes, Docker)允许我们自修复不同组件的故障，这些故障曾经破坏了日志管道。

希望我们的旅程能够帮助其他团队重新思考他们的安全日志基础设施。

伸出手，问问题，分享你的想法，关心和想法LinkedIn．

最后，我们在招人!请查看平仓>