译者按
- AI火焰图的核心结论就一句话:CPU火焰图已经人手一份,GPU迟早是同样的趋势,谁先补齐谁就有话语权。
- 这东西对国内中小厂/K3s环境大概率只能“看看思路”,因为目前只支持Intel平台,而国内私有云和K8s集群里NVIDIA占绝对主流,直接搬过来跑不起来。
- 如果你真想在自己集群里实操火焰图,先别急着上GPU那套,老老实实把CPU侧的可观测性和栈回溯链路打通,很多所谓“性能问题”在K8s里都是资源配额和调度噪声导致的。
- 踩坑提醒:在K3s/容器环境里跑栈回溯,记得先确认内核版本和
perf_event_paranoid权限,否则采样全是空的,折腾半天以为火焰图画不出来,其实是权限没放开。
AI 火焰图与GPU性能分析:一位SRE工程师的Intel三年半
离职回顾
我已从Intel离职,接受了新的机会。在Intel的三年半里,我主要做了以下工作:
- 推出AI火焰图(AI Flame Graphs) 并开源
- 开发GPU亚秒级偏移热力图
- 与Linux发行版合作,实现栈回溯(stack walking) 能力
- 接受WSJ关于eBPF安全监控的采访
- 担任eBPF技术指导委员会(BSC)领导成员
- 联合主持USENIX SREcon APAC 2023
- 完成6场大会主题演讲
关于AI火焰图的展望
目前,互联网上CPU性能分析案例中,火焰图已经是标配工具。但GPU领域的火焰图普及还远未达到这一程度(我们开源的版本仅支持Intel平台,这也不利于推广)。不过,随着GPU代码复杂度不断提升、分层越来越多,AI火焰图的需求必然持续增长。
云战略与协作
在云计算领域,我参与了110场客户会议,并与6个组织的同事协作,制定了包含33项具体建议的公司级云市场回归战略。该战略包含一张覆盖19个相关团队的交互可视化地图,多位Intel老员工表示这是他们首次见到这样的跨公司协作地图。
背景与环境
考虑到Intel近三年面临史上最艰难的局面,且我入职前15个月处于招聘冻结期,能有上述产出已属不易。
值得记忆的瞬间
- 在Intel活动中见到Linus,他说“现在大家都在用火焰图了”(芬兰口音)
- 见到Pat Gelsinger,他了解我的工作并把我介绍给高管层
- 与Harshad Sane的相识——他在我Netflix时期帮助过我,如今他也加入了Netflix,我们互换了会议桌的位置
- 与Intel硬件Fellows的交流,他们乐于帮我理解处理器内部架构
后续建议的执行
我未来几年在Intel的工作重点原本是推进那33项建议的落地。这些建议大多涉及组织变革,需要ELT/CEO层面的批准和多个季度的持续投入。虽然我离开了,但相关战略文档、演示文稿、代码和周报都已留在共享文件夹中,其他同事可以继续推动。希望这些工作能让Intel持续变强。
原文来源:Brendan Gregg