๐ถ Google Research ๆจๅบ TurboQuant๏ผๆต่ฏไธญๅฐๅคงๆจกๅ KV ็ผๅญๅ่ณ 3 ๆฏ็น
Google Research ๆจๅบๅ้้ๅ็ฎๆณ TurboQuant๏ผๅนถๅๆถๅ ฌๅธ QJL ไธ PolarQuant๏ผ็ฎๆ ๆฏๅจๅคง่ฏญ่จๆจกๅๅๅ้ๆ็ดขๅบๆฏไธญๅคงๅน ๅ็ผฉ้ซ็ปดๅ้๏ผ็ผ่งฃ KV ็ผๅญ็ๅ ๅญ็ถ้ขใๅฎ้ช็ปๆๆพ็คบ๏ผTurboQuant ๅจๆ ้่ฎญ็ปๆๅพฎ่ฐ็ๆ ๅตไธๅฏๅฐ KV ็ผๅญ้ๅๅฐ 3 ๆฏ็น๏ผๅจ้ฟไธไธๆโneedle-in-a-haystackโๆต่ฏไธญ๏ผ็ธๅ ณๅ ๅญๅ ็จ่ณๅฐๅ็ผฉ 6 ๅ๏ผๅๆถไฟๆไธๆธธ็ปๆไธๅใ
TurboQuant ๅฐๅจ ICLR 2026 ๅฑ็คบ๏ผQJL ๅ PolarQuant ๅฐๅจ AISTATS 2026 ๅฑ็คบใๅฎ้ช็ปๆ่ฟๆพ็คบ๏ผ4 ๆฏ็น TurboQuant ๅจ H100 GPU ไธ่ฎก็ฎ attention logits ็้ๅบฆ่พ 32 ๆฏ็นๆช้ๅ keys ๆ้ซๆๅ 8 ๅ๏ผๅจ้ซ็ปดๅ้ๆ็ดขไปปๅกไธญ็ recall ไนไผไบ PQ ๅ RabbiQใ
๐ธ ๅจ่ฑ้ข้๏ฝ่ถ้ฆ่ฎจ่ฎบ๏ฝๆ็จฟ้้
Telegram ่ฏ่ฎบๅบ
11 ๆกๅๅค๏ผๅฏไปฅๅๅพ Telegram ็ปง็ปญ่ฎจ่ฎบใ