从青铜到王者系列:深入浅出理解 DeepSeek 3FS(2)
文章目录
【注意】最后更新于 August 11, 2023,文中内容可能已过时,请谨慎使用。
导读
从青铜到王者系列:深入浅出理解 DeepSeek 3FS(2)
我整理 大模型训练
- 在checkpoint时候对大的文件读写,
- 在批量查询的时候对小文件读写
目前
- 谷歌的GFS 适合 大文件顺序读写,
- Ceph mds 元数据 存在瓶颈 8k作用 因此重新实现一个新的文件系统
下篇文章:不考虑分布式,从客户端角度fuse考虑
- cat /mnt/icfs/fiel1 执行命令 用户太,和内核态发生什么变化。
- 3FS 的客户端基于用户态实现的 还是内核态实现的。 面试和项目有效结合起来 **预计2周时间