英伟达之死...随笔十一月 10, 2025序未来的某周二,NVIDIA死了。也许是周三,我们不知道。只见零散的媒体消息掠过:已经没人使用CUDA了,都用xxx了。这说明不了什么,可能NVIDIA周一就死了。这只是一个平行世界的幻想,从某种意义上来说,你,我,我们,整个宇宙,终将逝去。英伟达的发家史二三十年前,那个穿皮衣的男人创建了一家公司,自由幻想
大语言模型 think budgetAI Infer十月 26, 2025从OpenAI开始提出推理模型开始,思考模型已经逐渐成为了学界和业界的热点,国内开源模型两巨头qwen和deepseek,都有思考模式和非思考模式。尽管深度思考模型在推理任务上表现出色,但它们在推理过程中需要产生大量的思考信息,然后才输出最终结果。这导致了思考模型在推理任务上需要消耗大量的计算资源和LLM servingsglang