FlashAttention 123 (本文編輯中
Slided Link 基礎知識 Standard Attention Impl …
分類: AI Computing
Triton Tutorial Practice: 08 Group Gemm
這篇教學的目標是用 triton 實作 GEMM 然後跟 torch.matmu …
Triton Tutorial Practice: 06 Flash-Attention & Triton Implement
FlashAttention: Fast and Memory-Efficien …
Triton Tutorial Practice: 06 Flash-Attention & Triton Implement 閱讀更多 »
Triton Tutorial Practice: 05 Layer Normalization
學習目標 Implementing backward pass in Trito …
202x 年代 AI compiler 架構發展簡述
Compiler 基礎元素 Frontend、Optimizer、backend …
安裝 triton compiler 方式的差異
https://triton-lang.org/main/getting-sta …
Triton Tutorial Practice: 04 Low-Memory Dropout
學習目標 The limitations of naive implementa …
Triton Tutorial Practice: 03 Matrix Multiplication
學習目標 Block-level matrix multiplications. …
Triton Tutorial Practice: 02 Fused Softmax
Softmax 將多分類的輸出轉換成一組介於 (0, 1) 之間並且加總為 1 …
Triton Tutorial Practice: 01 Vector Addition
Triton vs Triton Language Triton 的所有操作，可 …
Triton Compiler 教學
這裡提到的 Triton 是 OpenAI 在 2021 年 Triton: a …
一個 AI compiler Engineer 需要的技能
以反推的方式在 2024 年夏季出現在各個職缺應徵的 Job Descript …
NCU 錯誤訊息 ERR_NVGPUCTRPERM: Permission issue with Performance Counters
作業環境 Ubuntu 20.04 with Dell rack server, …
NCU 錯誤訊息 ERR_NVGPUCTRPERM: Permission issue with Performance Counters 閱讀更多 »