架构治理

发表于2025-10-22|更新于2026-04-07|arch

|总字数:39|阅读时长:1分钟|浏览量:

Arch Govern

资料

文章作者: so2bin

文章链接: https://so2bin.github.io/2025/10/21/arch/arch-govern/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 so2bin！

架构微服务

相关推荐

Tritonserver架构

模型调度类型Stateless模型常见的如CV领域的模型调度模式：默认的均衡调度，dynamic batch调度 Stateful模型常见如NLP，语音模型调度模式： Sequence batch Direct：不打batch，顺序不乱 Oldest：可以做batch，顺序可能打乱 sequence batcher内部通过correlation ID来将语音的序列请求发送到合适的模型实例中 Ensemble模型模型pipeline 每个模型有自己的调度器 model analyzer 模型分析工具，可提供多模型的部署优化报告通过throughput, latency, GPU内存等指标来决定如何优化模型配置提供了两种benchmark分析工具： Performance Analysis: 测量吞吐，延迟指标 Memory Analysis：内存分析 backendcustom backendexample 官方demo：https://github.com/NVIDIA/DeepLearningExamples model repositry...

MADR资料 https://adr.github.io/adr-templates/ https://www.ozimmer.ch/practices/2022/11/22/MADRTemplatePrimer.html 模板：https://github.com/adr/madr/blob/4.0.0/template/adr-template.md?plain=1 AWS: https://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/architectural-decision-records/adr-process.html AWS demo: https://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/architectural-decision-records/appendix.html Nygard ARD: https://cognitect.com/blog/2011/11/15/documenting-architecture-d...