Datadog Agent经过代理不上报?Metrics、Logs、APM与Remote Config排查

Agent状态正常不代表每类遥测都已送达,应分别检查对应Forwarder与端点
发布于 更新于
8

Datadog Agent不是一个只发送单一HTTP请求的进程。基础Metrics、Logs、APM、Process、Network和Remote Configuration由不同组件处理,可能访问不同Intake端点。Agent服务处于Running,只能说明进程存活,不能证明所有遥测都已成功上报。

先确认缺失的是哪类数据

数据 常见发送方 重点检查
基础指标与事件 Agent Forwarder 站点、Intake、API Key与代理
日志 Logs Agent 收集规则、压缩、队列和端点
APM Trace Trace Agent 应用到Agent、Agent到平台两跳
进程与网络数据 相应系统组件 权限、端点和版本能力
Remote Config Agent远程配置组件 长轮询、代理超时与身份

代理设置在哪个Agent实例

Agent可作为主机服务、Docker容器、Kubernetes DaemonSet或Serverless扩展运行。配置必须进入实际实例。修改宿主机Shell不会影响容器;修改ConfigMap后也要确认Pod已滚动到新版本。具体代理键以当前Agent版本和官方配置为准。

为什么Metrics正常而Logs缺失

指标与日志使用不同组件、缓冲和端点。日志量更大,还可能触发代理请求体、带宽或读取超时。应在Agent状态中分别查看Logs Agent连接、发送错误和处理量,并在平台端用测试标签确认时间。

APM链路为何要拆成两跳

应用通常先把Trace发送给本机或同Pod的Trace Agent,Agent再发往平台。应用到Agent失败,与Agent外网代理无关;Agent到平台失败,则查Intake、代理、API Key和TLS。容器中使用localhost时还要确认应用和Agent是否共享网络命名空间。

NO_PROXY适合哪些内部地址

应用到本地Agent、Kubernetes Service、容器Socket和内部集成目标可能需要直连。不要把平台公共Intake误加入绕过。不同Agent版本与组件对绕过规则的支持需实测,尤其要检查IPv6和端口。

407、401和连接重置怎么判断

  • 407:正向代理认证;
  • 401/403:API Key、站点或组织权限;
  • 连接重置:代理、TLS、空闲连接或上游异常;
  • 429:服务限流或配额;
  • x509错误:Agent容器或主机缺少正确CA。

站点配置为什么重要

不同Datadog站点使用不同域名。API Key属于某一组织与站点配置,主机写错会表现为认证或无数据。诊断时记录站点标识和目标主机,但不要输出完整API Key。

缓冲与重试能支撑多久

Agent会对部分失败执行重试和缓冲,但不是永久消息队列。可恢复窗口受组件、内存、磁盘、事件量与故障时间影响。代理长时间中断后,应检查数据缺口,不要只看恢复时刻的新数据。

TLS与企业代理如何配合

企业代理若进行受控TLS检查,需要按组织策略把合法CA提供给Agent运行环境。宿主机安装CA不代表精简容器已包含。不要关闭证书验证,也不要让代理记录日志正文、Trace属性和API Key。

日志和Trace中的敏感字段

遥测内容可能含URL参数、用户标识、数据库语句和请求头。应配置脱敏、采样和保留策略。提高Agent调试级别前先评估输出内容,完成后恢复,避免长期记录秘密。

排查顺序

  1. 记录Agent版本、部署方式与缺失数据类型;
  2. 查看Agent状态中对应组件;
  3. 检查实例实际代理、NO_PROXY、站点和CA;
  4. 区分407、API Key、429与TLS;
  5. 发送带唯一测试标签的少量数据;
  6. 检查队列、重试和故障时间段缺口;
  7. 恢复日志级别并清理调试数据。

如果同一环境还在使用OTLP或Collector,可参考OpenTelemetry上报与Collector代理排查对比两条遥测链路。

结论

Datadog Agent代理故障应按遥测类型和组件排查。Metrics、Logs和APM不是一条完全相同的发送链路;结合Agent状态、Intake响应和平台时间线,才能确认数据真正送达。

常见问题(FAQ)

Agent显示Running就代表指标和日志都上报了吗?
不代表。Agent内部有多个组件,应检查对应Forwarder、队列、错误和平台端数据时间。
设置一个代理地址能覆盖所有Datadog组件吗?
不能盲目假定。版本、组件和部署方式会影响配置,应按Agent状态与官方配置验证。
API Key错误和代理认证错误如何区分?
代理认证常表现为407,Datadog端身份错误通常由Intake返回401或403等响应。
代理中断期间数据会永久保存吗?
不会无限保存。各组件缓冲和重试能力有限,持续故障可能造成数据缺口。

本文由作者原创/授权发布于极跃圈(jiyueip.com)未经许可,禁止转载。题图来自Unsplash,基于CC0协议。

声明:极跃圈(JIYUEIP.com)内网友所发表的所有内容及言论仅代表其本人,并不反映任何极跃圈(JIYUEIP.com)之意见及观点。

0 讨论
热门最新
总结
暂无总结
0 / 600