IT 之家 2 月 20 日消息,有“硅仙人”称号的吉姆・凯勒近日发布推文,表示“CUDA 是树沼,而非护城河,X86 也是树沼”。
凯勒在后续推文中表示:
CUDA 毫无美感,只是粗暴地堆砌而成。 基本上没有人会写 CUDA,即便是写了相关代码,其执行速度也不快。 这也是为何 Triton、Tensor RT、Neon、Mojo 孕育而出的原因。
IT 之家注:CUDA 工具包是 NVIDIA 为开发人员提供的一个软件套件,它让开发人员使用 NVIDIA 的图形处理单元(GPU)来运行通用计算任务,特别是那些需要大量并行处理能力的任务。
凯勒认为 CUDA 像 X86 一样,英伟达为了确保软件和硬件的向后兼容性,逐步增加功能的过程中拖慢了性能,增加了程序开发的难度。与此同时,许多开源软件开发框架可以比 CUDA 更高效地使用。
就连 Nvidia 本身也有不完全依赖 CUDA 的工具。
例如,Triton Inference Server 是 Nvidia 的一款开源工具,可简化人工智能模型的大规模部署,支持 TensorFlow、PyTorch 和 ONNX 等框架。
Triton 还提供模型版本化、多模型服务和并发模型执行等功能,以优化 GPU 和 CPU 资源的利用率。