02:27 · Mar 2, 2025 · Sun 看到了个有意思的文章,正常从网络读到用户态居然需要复制这么多次https://www.high-flyer.cn/blog/3fs-2/ www.high-flyer.cn 3FS优化 02 | 客户端内存使用优化 幻方AI设计了一套非常适合深度学习训练的样本读取文件系统,3FS,其采用 Direct IO 和 RDMA Read 的读取方式,让模型训练在样本读取部分只用极小的CPU和内存开销,就可以获得超高的读取带宽,从而无需再训练过程中等待加载数据,更充分地利用GPU的计算性能。