๐ค DeepSeek ๅๅธ DeepGEMM ้ๅคงๆดๆฐ๏ผๆจๅบ Mega MoE ่ๅ็ฎๅญๅนถๆฏๆ FP4 ็ฒพๅบฆ
DeepSeek ๆไธ้ซๆง่ฝ็ฎๅญๅบ DeepGEMM ไบ 2026 ๅนด 4 ๆ 16 ๆฅๅๅธ้ๅคงๆดๆฐ๏ผๆญฃๅผๆจๅบ Mega MoE ่ๅ็ฎๅญใ่ฏฅ็ฎๅญ้่ฟๅฐ dispatchใSwiGLU ็ญๅคไธช่ฎก็ฎๆญฅ้ชคไธ NVLink ้ไฟก้ๅ ๏ผๅฎ็ฐไบ่ฎก็ฎไธ้ไฟก็้ซๆ่ๅใๆญคๅค๏ผๆฌๆฌกๆดๆฐ่ฟๆฐๅขไบ FP8xFP4 GEMM ็ฎๅญใFP4 Indexer ไปฅๅ PDL๏ผ็จๅบๅไพ่ตๅฏๅจ๏ผๆฏๆ๏ผๅนถๆพ่ๆๅไบ JIT ็ผ่ฏ้ๅบฆใ
DeepGEMM ๆฏไธไธบ็ฐไปฃๅคงๆจกๅ่ฎพ่ฎก็ CUDA ๅ ๆ ธๅบ๏ผๆฏๆ NVIDIA SM90 ๅ SM100 ๆถๆใๅ ถๆ ธๅฟไผๅฟๅจไบ่ฝป้ๅ่ฎพ่ฎกไธ่ฟ่กๆถๅณๆถ็ผ่ฏ๏ผๆ ้ๅจๅฎ่ฃ ้ถๆฎต่ฟ่กๅคๆ็ผ่ฏใ็ฎๅ๏ผ่ฏฅๅบๅทฒๅจ H800 ็ญๆพๅกไธๅฑ็ฐๅบๆ้ซ็็ฎๅๅฉ็จ็๏ผๅ ถ Mega MoE ็ฎๅญ้่ฟๅฏน็งฐๅ ๅญๆๆฏ่ฟไธๆญฅไผๅไบๅคไธๅฎถๆจกๅๅจๆจ็ๅ่ฎญ็ปไธญ็ๆง่ฝ่กจ็ฐใ
๐ธ ๅจ่ฑ้ข้๏ฝ่ถ้ฆ่ฎจ่ฎบ๏ฝๆ็จฟ้้
Telegram ่ฏ่ฎบๅบ
71 ๆกๅๅค๏ผๅฏไปฅๅๅพ Telegram ็ปง็ปญ่ฎจ่ฎบใ