分类 AI infer 下的文章 | WingEdge777's Blog

WingEdge777's Blog

博客友链动态归档留言关于

博客友链动态归档留言关于搜索

WingEdge777

2025 1篇文章

10-26 大语言模型 think budget #LLM serving #sglang

WingEdge777

24

文章数

5

分类数

29

标签数

分类

code 17 随笔 3 leetcode 2 hpc 1 AI infer 1

热门标签

cuda 16 vitamin-cuda 15 c++ 15 GPU 14 GEMM 6 flash attention 2 LLM 2 sampling 1 flash decoding 1 AI infer 1 PyTorch distribution 1 Tensor Parallelism 1 Data Parallelism 1 Pipeline Parallelism 1 markdown 1 js 1

推荐文章

1 [CUDA 优化实战] topk_topp_sampling - 乱拳打死老师傅：暴力插入排序 topK、block reduce array merge 2026-05-22 下午 2 [CUDA 优化实战] 纯手搓 flash decoding sm120 : 超越 flashinfer.single_decode_with_kv_cache 2026-05-21 下午 3 [CUDA 优化实战] fmha sm120 : 超越 torch.sdpa(flash-attention-2) 2026-05-19 晚上 4. 一文理解 PyTorch 进行分布式应用开发 - 分布式推理入门实战 2026-05-15 中午 5. [CUDA 优化实战] hgemm sm120 - 100KB SMEM 中的“微雕”战争：Tensor-core、TMA、ldmatrix、mma 2026-05-10 下午 6. [CUDA 优化实战] hgemm - 超越 cuBLAS：Tensor-core、cp.async、ldmatrix、mma 2026-05-10 下午

稳定运行