Програмування для GPU

[andriigrynenko]

Було б круто почути про різні способи та особливості програмувати для GPU - CUDA, Triton (https://openai.com/research/triton), розширення для існуючих мов програмування (типу https://developer.nvidia.com/blog/accelerating-standard-c-with-gpus-using-stdpar/) і т.п.

[andriigrynenko]

З цією штукою набагато простіше гратись щоб зрозуміти базові концепції - https://github.com/srush/GPU-Puzzles
А це вже набагато більше деталей про те що доводиться оптимізувати щоб витиснути максимальну швидкодію - https://siboehm.com/articles/22/CUDA-MMM