共享GPU技术

发表于2024-08-24|更新于2026-06-09

|总字数:14|阅读时长:1分钟|浏览量:

资料

https://developer.nvidia.com/zh-cn/blog/improving-gpu-utilization-in-kubernetes/

文章作者: so2bin

文章链接: https://so2bin.github.io/2024/08/24/AI-Infer/gpu-shares/index/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 so2bin！

相关推荐

调研文档【金山文档 | WPS云文档】 Tritonserver_TensorRT-LLM调研 https://365.kdocs.cn/l/cqu1Q0RUtYog 【金山文档 | WPS云文档】 TRTLLM LLaMa 7B 4090测试数据 https://365.kdocs.cn/l/cqAXum4uoqmf in-flight batching in-flight batching在业内也被称为continuous batching, iteration-level batchingTRTLLM triton backend inflight batching使用：https://github.com/triton-inference-server/tensorrtllm_backend/blob/main/inflight_batcher_llm/README.md TRTLLM Batch Manager资料 https://nvidia.github.io/TensorRT-LLM/advanced/batch-manager.html#the-batch-m...

资料 v1: https://arxiv.org/pdf/2205.14135 v2: https://arxiv.org/pdf/2307.08691 GPT with pytorch: https://medium.com/@akriti.upadhyay/building-custom-gpt-with-pytorch-59e5ba8102d4 https://www.analyticsvidhya.com/blog/2024/04/mastering-decoder-only-transformer-a-comprehensive-guide/ https://medium.com/@akriti.upadhyay/building-custom-gpt-with-pytorch-59e5ba8102d4 原理TF Decoder计算 GPT transformer block: in_shape = [B, S] # shape# after embeding, H在MHA中，要求为head_num的整数倍，这样就可以将H拆分到各head中完成# embeding...

karmada-scheduler

流程总览如下为scheduler的流程总览：

资料 kubefed v2 Kubernetes 多集群管理：Kubefed vivo Karmada实践背景 karmada是由华为开源的云原生多集群容器编排平台，在kubernetes Federation v1, v2（kubefed）的基础上发展而来，吸取了其经验和教训，kubefed项目目前已经被放弃；其特点是在保存原有k8s资源定义API不变的情况下，通过添加与多云应用资源编排相关的一套新的API和控制面板组件，为用户提供多云/多集群容器部署，实现扩展、高可用等目标；如下图所示为kubefed v2接入vs时需要定义的CRD，因此接入kubefed是需要对原始k8s资源进行改造，对用户不友好：apiVersion: types.kubefed.io/v1beta1kind: FederatedVirtualServicemetadata: name: service-route namespace: defaultspec: placement: clusters: - name: cluster1 - name: clust...

pod内容器共享空间资料 https://www.cnblogs.com/rexcheny/p/11017146.html https://linchpiner.github.io/k8s-multi-container-pods.html 问题 k8s的pod内可以同时容纳多个容器，那这些容器之间有哪些资源（命名空间）是可以共享的？答案容器的隔离技术是通过cgroup和namespace隔离实现，linux支持namespace有： UTS名称空间，保存内核版本，主机名，域名 NET空间，通过逻辑网络栈实现网络空间的隔离进程PID空间，通过fork时指定的一个参数控制，不同空间间的PID是隔离了，看不到彼此的PID，子空间看不到父空间的内容，但父空间可以管理子空间，如发送信息 IPC空间，即进程间通信的隔离，不同容器之间无法通过如信号量，队列，共享内存（System V IPC和POSIX消息队列），来实现进程间通信 USER空间，实现用户，组相关功能的隔离 MNT空间，即磁盘挂载点和文件系统的隔离能力，同一主机上的不同进程访问相同的路径能看到相同的内容，是因为...

资料 https://flashinfer.ai/ https://flashinfer.ai/2024/02/02/introduce-flashinfer.html https://flashinfer.ai/2024/02/02/cascade-inference Flash-Decode: https://crfm.stanford.edu/2023/10/12/flashdecoding.html 介绍该项目重点关注的是self-attention的计算效率，集成了当前最前沿的优化技术；其将self-attention分为了三步：prefill, decode, append；同时分析了单个请求和批量请求的场景下的性能瓶颈；开源项目地址：https://github.com/flashinfer-ai/flashinfer/ 优势 Comprehensive Attention Kernels: attention kernel集成了前沿的高性能优化技术，覆盖了single, batch下的：prefill, decode, append kernels，包...