Triton-Lang

发表于2024-08-14|更新于2026-06-09

|总字数:34|阅读时长:1分钟|浏览量:

资料

https://openai.com/index/triton/
https://github.com/triton-lang/triton
Triton: an intermediate language and compiler for tiled neural network computations
https://triton-lang.org/main/getting-started/tutorials/index.html

文章作者: so2bin

文章链接: https://so2bin.github.io/2024/08/14/AI-Infer/Triton-Lang/index/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 so2bin！

GPU CUDA Triton

相关推荐

01 向量加 nvcc compiler识别kernel call: add<<<N, 1>>>(); // N block parallel， 1 thread each block 组织：grid, block, thread: block代表一组worker，可以完成一块任务； __global__关键字，会向compiler提示这是一个kernel函数，需要在GPU上运行： __global__ void add(int *a, int *b, int *c) { c[blockIdx.x] = a[blockIdx.x] + b[blockIdx.x]} block的下一级为thread，如下所示为thread parallel： addVec<<<1, N>>>(); // 1 block, N thread parallel each block__global__ void add(int *a, int *b, int *c) { c[th...

资料 SmoothQuant: https://juejin.cn/post/7330079146515611687 SmoothQuant: https://arxiv.org/pdf/2211.10438

资料 v1: https://arxiv.org/pdf/2205.14135 v2: https://arxiv.org/pdf/2307.08691 GPT with pytorch: https://medium.com/@akriti.upadhyay/building-custom-gpt-with-pytorch-59e5ba8102d4 https://www.analyticsvidhya.com/blog/2024/04/mastering-decoder-only-transformer-a-comprehensive-guide/ https://medium.com/@akriti.upadhyay/building-custom-gpt-with-pytorch-59e5ba8102d4 原理TF Decoder计算 GPT transformer block: in_shape = [B, S] # shape# after embeding, H在MHA中，要求为head_num的整数倍，这样就可以将H拆分到各head中完成# embeding...

资料 https://nvidia.github.io/TensorRT-LLM/architecture/overview.html 架构介绍本质上是python包了C++，C++基于TensorRT引擎实现了GPT等模型结构；除模型本身的搭建外，TRTLLM还提供了C++ GPTRuntime，该模块提供了高效的GPT类模型的TRT运行时，如包含了beam-search, top-k采样, kvcache, page-attention等；还提供了一个tritonserver backend用于LLM在线推理；模型Definition TRTLLM通过pyding11暴露的TensorRT Python级API来搭建模型； tensorrt_llm.Builder类包含了tensorrt.Builder对象，通过tensorrt_llm.Builder.create_network函数创建一个tensorrt.INetworkDefinition模型对象；在TRTLLM中，可以基于tensorrt_llm.functional模块提供的基础算子库来构建模型网络结...

资料 https://lmsys.org/blog/2024-01-17-sglang/ https://arxiv.org/pdf/2312.07104 https://lmsys.org/blog/2024-07-25-sglang-llama3/ https://flashinfer.ai/ https://flashinfer.ai/2024/02/02/introduce-flashinfer.html https://github.com/flashinfer-ai/flashinfer

共享GPU技术

资料 https://developer.nvidia.com/zh-cn/blog/improving-gpu-utilization-in-kubernetes/