使用Datadog Analytics跟踪JFrog平台性能

通过跟踪Artifactory和Xray的使用数据,可以最好地保证您的JFrog平台的忠实运行。通过实时可观察性和日志分析获得的见解,您可以提高DevOps管道的效率,并使您的软件版本愉快地运行。
Datadog是一个基于saas的数据分析平台,是一种广泛用于云规模应用程序的监控服务。这是一个数据分析平台可以很容易地启用JFrog平台监控通过我们的集成.
让我们看一看安装数据收集器集成和使用DataDog监视JFrog平台的操作的两步过程。
使用Fluentd
首先,我们提供了一个JFrog日志分析集成使用开源数据收集器Fluentd可以安装在JFrog平台部署的每个产品实例中。Fluentd为JFrog平台中的每个产品执行日志输入、字段提取和记录转换,将这些数据的输出规范化为JSON。
有了这种通用格式的所有日志数据,Fluentd将通过Fluentd的可插拔架构将其交付到Datadog仪表板。
安装FluentD
你必须安装Fluentd日志代理在您的JFrog平台部署(JPD)的每个节点中。该代理将跟踪各种JPD日志文件以寻找新条目,应用任何相应的记录转换,然后将其发送到Fluentd的相关输出插件。
如果要在每个节点上安装Fluentd代理,请根据节点的操作系统类型执行步骤流畅的安装指南.
例如,对于操作Red Hat UBI Linux的节点,Fluentd代理td-agent必须安装。对于基于根的包管理器(需要访问根):
$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh
或者,对于Red Hat UBI上的用户空间安装,到安装Fluentd Ruby和Gem:
$ curl -O | tar -xvf
配置FluentD
这取决于我们是否刚刚完成了基于根或非基于根的安装Fluentd配置文件可能需要放置在不同的位置。
默认情况下,对于包管理器根安装td-agent.conf文件位于/etc/td-agent/.
$ ls -al /etc/td-agent/td-agent.conf -rw-r——r——1 root root 8017 5月11日18:09 /etc/td-agent/td-agent.conf
对于非基于根目录的安装,我们可以存储td-agent.conf在任何我们有写权限的地方文件。运行td-agent时,可以使用- c标志将Fluentd指向该文件位置。
类派生的配置文件必须替换为配置文件JFrog日志分析Github回购.
在此repo中,弹性文件夹包含配置文件模板。使用与节点中运行的JFrog应用程序相匹配的模板。
我们将需要更新这个配置文件匹配的指令指定指向Datadog实例的主机和端口。
#DATADOG OUTPUT @type DATADOG @id Datadog_agent_Artifactory api_key # optional include_tag_key true dd_source Fluentd #END DATADOG OUTPUT
运行Fluentd
现在我们已经有了新的配置文件,我们可以开始了td-agent登录容器后作为pod上的服务:
$ systemctl start td-agent
对于非root安装,我们可以直接对配置文件运行td-agent:
$ td-agent -c td-agent.conf
这将启动Fluentd日志代理,它将跟踪JPD日志并将它们全部发送到Elasticsearch。
您必须为所有运行Artifactory和Xray的Kubernetes pod重复这些步骤。
使用Datadog
Datadog可以通过创建一个帐户并执行入职步骤来设置,如果已经存在apiKey,则可以使用apiKey。如果是新的Datadog设置,请执行以下操作:
- 通过使用Helm图表部署Datadog代理,在Kubernetes集群中运行它
- 若要启用日志收集,请更新
Datadog-values.yaml在入职步骤中给出 - 一旦代理开始报告,您将获得一个apiKey,我们将使用它通过Fluentd发送格式化日志
- 通过转到安装Fluentd集成集成,搜索Fluentd并安装
Datadog设置好之后,我们就可以访问日志了日志>查询.我们还可以选择想要日志的特定源。
如果存在apiKey,则使用Datadog Fluentd插件将日志直接从Fluentd转发到Datadog帐户。遵循用于Artifactory的Fluentd插件配置说明建立积分。添加适当的元数据是在Datadog中释放日志全部潜力的关键。默认情况下,主机名而且时间戳字段应该重新映射,所以我们不需要指定它们。
将所有属性添加为facetfacet >添加在屏幕的左边日志>查询

现在创建一个新的仪表板Dashboards > New Dashboard > New screenboard

从导入仪表板export.json用它替换现有的新仪表板。您现在可以访问仪表板,其中包含通过我们的数据小部件显示的信息,从而为JFrog统一平台提供实时可观察性。





一旦安装,JFrog平台日志仪表板显示时间轴和计数数据的关键操作指标:
- 日志卷,可按类型过滤
- 服务错误
- HTTP响应代码
- 访问图像
- 访问存储库
- 上传/下载数据传输以GB为单位
- 最适合上传/下载的10个ip
- 按用户名审计操作
- 拒绝操作和登录的IP和用户名
- 接受按用户名部署
A抓取解决方案
现在,您可以使用Datadog获得一个健壮的跟踪解决方案,并有权监视JFrog平台部署的所有服务和执行节点,获得对其运行的有价值的数据洞察。
