๐ฑ ๅไธบๅๅธๅผๆบๆๆฏ SINQ๏ผๅคงๅน ้ไฝๅคง่ฏญ่จๆจกๅ็กฌไปถ้ๆฑ
ๅไธบ่้ปไธ่ฎก็ฎ็ณป็ปๅฎ้ชๅฎคๆจๅบๅไธบ SINQ๏ผSinkhorn-Normalized Quantization๏ผ็ๅผๆบ้ๅๆๆฏ๏ผๅฏๅฐๅคง่ฏญ่จๆจกๅๅ ๅญไฝฟ็จ้ๅๅฐ 60-70%๏ผไฝฟๅๆฌ้่ฆ่ถ ่ฟ 60GB ๅ ๅญ็ๆจกๅ่ฝๅจ็บฆ 20GB ้ ็ฝฎไธ่ฟ่กใ่ฏฅๆๆฏ่ฎฉๆญคๅ้่ฆ NVIDIA A100๏ผ1.9 ไธ็พๅ ๏ผๆ H100๏ผ่ถ ่ฟ 3 ไธ็พๅ ๏ผไผไธ็บง GPU ็ๆจกๅ๏ผ็ฐๅจๅฏๅจๅๅ RTX 4090๏ผ็บฆ 1600 ็พๅ ๏ผๆถ่ดน็บงๆพๅกไธ่ฟ่กใ
SINQ ้็จๅ่ฝด็ผฉๆพๅ Sinkhorn-Knopp ้ฃๆ ผๅฝไธๅไธค้กนๅๆฐๆๆฏ๏ผๆ ้ๆ กๅๆฐๆฎๅณๅฏๅฎ็ฐ้ซ่ดจ้้ๅใๅจ WikiText2 ๅ C4 ็ญๅบๅๆต่ฏไธญ๏ผSINQ ๅจๅค็งๆถๆๆจกๅไธๅ่กจ็ฐไผๅผ๏ผ้ๅ้ๅบฆๆฏ HQQ ๅฟซ็บฆ 2 ๅ๏ผๆฏ AWQ ๅฟซ่ถ ่ฟ 30 ๅใๅไธบๅทฒๅจ GitHub ๅ Hugging Face ไธไปฅ Apache 2.0 ่ฎธๅฏ่ฏๅผๆบ่ฏฅๆๆฏใ
๐ๅจ่ฑ้ข้ ๐ต่ถ้ฆ ๐ฎๆ็จฟ
Telegram ่ฏ่ฎบๅบ
50 ๆกๅๅค๏ผๅฏไปฅๅๅพ Telegram ็ปง็ปญ่ฎจ่ฎบใ