大家好，我是陆砚码。最近ChatGpt大火，很多人开始关注大模型2，但你知道大模型背后的ML system（机器学习系统）有多重要吗？今天就来跟大家聊聊ML system的入门指南，让你快速上手，开启你的ML系统学习之旅！
课程推荐
首先，想要入坑ML system，基本的计算机背景知识是必不可少的。下面是一些我推荐的进阶课程：
- 操作系统：
- 南京大学JYY OS：由南京大学JYY老师开设，内容硬核，workload巨大。
- MIT 6.S081：MIT经典OS课，资料、lab都非常全。
- 并行计算：
- CMU15418 Parallel computing：内容硬核，涉及现代多处理器、CPU加速、分布式通讯协议MPI、GPU加速Cuda编程、异构计算、同步、Cache等。
- UCB cs267 Applications of Parallel Computers：HPC祖师爷Jim Demmel 22 spring最新版本。
- 分布式系统：
- MIT6.824分布式系统：用go实现，了解传统的分布式系统知识和历史对现代的分布式机器学习系统的学习还是有一定的帮助。
- MLSystem：
- CMU DL System：陈天奇老师的课，涉及nn库实现、自动微分、GPU加速、模型部署和部分AI编译内容。
- Mini torch：完全用python实现的简单torch版本，涉及自动微分、张量、GPU加速，适合新手入门。
- 机器学习系统:设计和实现：华为Mindspore团队和一群大佬AP搞的，涉及计算图、编译器前后端、分布式训练等，内容比较全面，适合有一定基础的人阅读或者作为工具书。
- System for AI：微软发起的，目前还在快速迭代更新的工具书，涉及基础内容。
- AI Compilation：Machine Learning Compilation：陈天奇老师的课，以TVM为基础，AI编译器这样前沿的领域为数不多的课。
- Large model：
- 对于做ML system的同学而言，了解一些最新的算法也是非常必要的。不用过度关系一些fancy的技巧，更多关注模型架构、参数、大的范式上的变化即可。
小结与拓展
以上就是关于ML system的入门指南，希望能对大家有所帮助。如果你对ML system还有其他疑问，欢迎在评论区留言，我会尽力为大家解答。另外，也欢迎关注「思享编程网」（www.sxgpb.com），了解更多编程技术知识。
——陆砚码 敬上