Low-bit Floating Point Quantization

腾讯混元团队发布研究，探索低比特浮点量化训练规模法则，揭示降低模型精度降低成本的方法，优化大模型训练效率。