成為 AI Compiler Engineer

本文將會持續更新，在我的認知中要成為一個 AI Compiler Engineer 需要學習到的事情跟技能脈絡發展

AI Compiler Engineer 的職位所做的目的

是將一個 AI Model 部署在硬體上時， Compile 階段可以進行的優化。
目前通常在意的會是 Inference 階段的優化 (因為 Tranining 是一次性成本、但 Inference 是每次使用的成本 )

• 從哪來

  • AI 運算的軟硬體背景知識
  • 計算機結構知識
  • 要使用哪個種類、甚至哪一個 AI 模型
  • GPU基礎知識
    • GPU puzzle https://github.com/srush/GPU-Puzzles

• 到哪去

  • 各階段的校能分析、瓶頸成因分析
    • [Profiling Tool]()
    • Simulation Methodology

• 怎麼去

  • 如何改進、優化的方式以及實作
    • Cuda Programming
    • Triton Compiler

• 一個 AI compiler Engineer 需要的技能
  

• LLVM – model parser

https://www.youtube.com/watch?v=s1ILGG0TyYM&pp=ygUPdHJpdG9uIGNvbXBpbGVy

• LLVM、MLIR 架構

  • LLVM 介紹https://medium.com/@zetavg/%E7%B7%A8%E8%AD%AF%E5%99%A8-llvm-%E6%B7%BA%E6%B7%BA%E7%8E%A9-42a58c7a7309
  • MLIR 介紹
    https://lovelessless99.github.io/coding-hub/blogs/MLIR/MLIR.html

• LLVM 與 Triton 的關聯

• AI 運算平行化的做法

  • https://colossalai.org/docs/concepts/paradigms_of_parallelism/

• pytorch 學習筆記

• 還有哪些問題或是 triton 還有哪些優化需要處理？

• https://blog.ujw.tw/flashattention-123/