๐ค Qwen ๅผๆบ้ซๆง่ฝ็บฟๆงๆณจๆๅๅ ๆ ธๅบ FlashQLA๏ผ้ๅบฆๆๅ 2โ3 ๅ
Qwen ๅข้ๅผๆบ FlashQLA๏ผๅบไบ TileLang ๆๅปบ๏ผไธไธบ Gated Delta Network ๆ้ ็็บฟๆงๆณจๆๅๅ ๆ ธๅบใ้่ฟ็ฎๅญ่ๅไธไปฃๆฐไผๅ๏ผๅจ NVIDIA Hopper ไธๅฎ็ฐ forward 2โ3 ๅใbackward 2 ๅ้ๅบฆๆๅ๏ผๅฐคๅ ถ้ๅ้ข่ฎญ็ปไธ็ซฏไพงๆบ่ฝไฝๆจ็ใ้ๅฏน้ฟๅบๅไธๅฐๆน้ๅบๆฏ๏ผๅฉ็จ้จๆง่กฐๅ็นๆงๅผๅ ฅ่ชๅจๅกๅ ไธไธๆๅนถ่ก๏ผๅนถ้็จ warpgroup ็นๅๅ ๆ ธ้ๅ ่ฎก็ฎไธๆฌ่ฟ๏ผๆๆๆ้ซ SM ๅฉ็จ็ใ
๐ธ ๅจ่ฑ้ข้ ยท ่ถ้ฆ่ฎจ่ฎบ ยท ๆ็จฟ้้
Telegram ่ฏ่ฎบๅบ
26 ๆกๅๅค๏ผๅฏไปฅๅๅพ Telegram ็ปง็ปญ่ฎจ่ฎบใ