// 项目
已完成共同开发者
G-Watch：一款具备 AI 驱动自动优化能力的 GPU 性能分析工具
CUDACUPTIC++/Pythonpybind11LLM Inference
简介
- G-Watch 是一款面向智能体（agentic）驱动的 GPU 内核优化工具箱。
- 在 NVIDIA 和 AMD GPU 上都提供丰富的 Profiling（性能分析）能力。
- 此外，G-Watch 还提供 Program Analysis（程序分析）工具，用于检查编译器生成的 GPU 二进制文件，便于寄存器分析、二进制插桩等二次开发工作。
- 代码后续会开源。
项目简介
- 设计并实现了 C++/Python 双语言的 GPU 性能分析框架（通过 pybind11 桥接），提供 ProfileContext Python API，可无缝集成进现有的大模型推理流水线。
- 通过 CUPTI 采集 NVIDIA GPU 硬件计数器，在 SGLang 和 vLLM 负载下捕获细粒度的内核级指标（执行时间、显存吞吐、计算利用率）。
- 定位并解决了因 SGLang 子进程架构导致的 CUPTI subscriber 注册失败问题，需要进行进程级隔离和精细的 GPU 资源生命周期管理。
- 搭建了由 AI Agent（Gemini、Claude）驱动的性能分析工作流，自动完成瓶颈分析；并在并发多请求推理场景下验证了 profiler 的正确性与稳定性。