avatar
文章
54
标签
57
分类
6
首页
归档
标签
分类
关于
so2bincutlass 返回首页
首页
归档
标签
分类
关于

cutlass

发表于2024-08-08|更新于2026-04-07
|总字数:22|阅读时长:1分钟|浏览量:

资料

  • https://github.com/NVIDIA/cutlass?tab=readme-ov-file
  • https://github.com/NVIDIA/cutlass/blob/main/media/docs/efficient_gemm.md
文章作者: so2bin
文章链接: https://so2bin.github.io/2024/08/08/AI-Infer/cutlass/index/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 so2bin！
上一篇
GPU Mem Arch
资料 https://khairy2011.medium.com/tpu-vs-gpu-vs-cerebras-vs-graphcore-a-fair-comparison-between-ml-hardware-3f5a19d89e38 https://flashinfer.ai/2024/02/02/cascade-inference https://developer.nvidia.com/blog/cuda-refresher-reviewing-the-origins-of-gpu-computing/ CUDA优化：https://www.nvidia.com/en-us/on-demand/session/gtc24-s62191/ 数据 TPU vs GPU内存、带宽、算力对比图： 内存模型 Thread Block vs SM: 每个thread block是由一个SM来执行，并且不能跨越多个SM； 一个SM上可以并发调度多个thread block； 一个kernel是在一个GPU上执行，而一个GPU可以同时执行多个kernel； ...
下一篇
flashinfer
资料 https://flashinfer.ai/ https://flashinfer.ai/2024/02/02/introduce-flashinfer.html https://flashinfer.ai/2024/02/02/cascade-inference Flash-Decode: https://crfm.stanford.edu/2023/10/12/flashdecoding.html 介绍 该项目重点关注的是self-attention的计算效率，集成了当前最前沿的优化技术； 其将self-attention分为了三步：prefill, decode, append； 同时分析了单个请求和批量请求的场景下的性能瓶颈； 开源项目地址：https://github.com/flashinfer-ai/flashinfer/ 优势 Comprehensive Attention Kernels: attention kernel集成了前沿的高性能优化技术，覆盖了single, batch下的：prefill, decode, append kernels，包...
avatar
so2bin
专注于AI框架、平台、架构、k8s、Go、Python领域
文章
54
标签
57
分类
6
Follow Me
目录
  1. 1. 资料
最新文章
Claude Code OpenTelemetry 可观测性体系深度分析2026-04-07
Hexo Tag Plugins 写法速查2026-04-07
nano banana 技术风格2026-01-05
架构治理2025-10-22
OPA2025-04-25
© 2023 - 2026 By so2bin