大模型智算与开发落地实践：释放AI潜力的关键技术与行业应用_AI&大模型_AICon 全球人工智能开发与应用大会

大模型服务已经成为推动各行各业创新的核心力量。为了充分释放大模型的潜力，智算基础设施的建设与大模型的研发成为了关键环节。大模型智算与开发并非仅仅局限于算法的优化与创新，如何构建高效的 AI 基础设施，如何优化训练与推理架构，如何在多个行业中实现大模型的成功落地，这些都是当前技术发展的核心问题。

12 月 13 日~14 日，2024 年度最后一场「AICon全球人工智能开发与应用大会」将在北京盛大开幕！大会特别策划了《大模型智算与开发落地实践》专题，聚焦于大模型服务背后的智算基础设施与基础大模型研发中的前沿技术与实践。
更多精彩议题可以点击链接查看大会日程：https://aicon.infoq.cn/202412/beijing/schedule

本专题的出品人为阿里云智能政企事业部大模型智算负责人王浩博士，负责政企 AI 大模型智算产品研发。曾任阿里巴巴达摩院人工智能实验室天猫精灵智能语音助手产品算法负责人。之前曾是 360 搜索首席科学家以及中国科学院教授，成果大多发表在人工智能国际顶级会议和期刊：KDD、NeurIPS、SIGIR、AAAI、IJCAI、WWW、ICDE、ACM MM、ECCV、ICCV、TOIS、TKDE、TPAMI、TIP 等。

精彩分享一

智谱 GLM 技术团队专注于面向通用人工智能（AGI）的基础模型研发，早在 2022 年就训练并开源了媲美 GPT-3 性能的中英双语预训练模型 GLM-130B，后续发布的 ChatGLM 开源模型系列在 Hugging Face 社区上获得了超过一千万的下载量；2024 年 8 月，GLM 团队发布的旗舰模型 GLM-4-Plus 在 9 月的 SuperBench 大模型评测中位列世界前三。

智谱这些模型展现出来的卓越性能离不开海量互联网数据和算力训练。与此同时，大语言模型的兴起给训练基础设施带来全新的挑战，包括对算力、大规模数据处理量、复杂的系统管理等需求。针对自身的特定需求，智谱从零开始构建了一套大模型原生的训练基础设施。针对大规模训练稳定性、多算力集群数据流转、平台易用性等进行了一些优化，大会上，智谱 AI GLM 模型预训练与基础设施负责人曾奥涵将通过《智谱大模型训练基础设施落地实践》演讲，分享智谱在大模型原生基础设施建设中的经验与实践。

精彩分享二

模型量化通过降低权重精度减少计算量与内存占用，加速推理过程并降低能耗，对于提升大模型在资源受限设备上的部署效率至关重要。以往 PTQ 量化方法忽略不同层权重对量化精度的敏感性，且在超低比特量化下（2-3 位）精度损失严重。

为了应对这一挑战，阿里巴巴行业大模型智算技术负责人张跃伟，将在本次演讲中分享《大模型超低比特无损量化技术实践》，介绍 AMLQ（Adaptive Mixed precision and Low-rank Quantization error reconstruction）量化方法，探讨大模型在推理实践中的挑战以及如何通过创新的量化技术提升大模型在资源受限设备上的部署效率。

精彩分享三

在资源有限的情况下，如何提高模型训练效率，尤其是数据的质量控制，成为了一个重要的课题。许多轻量化模型如 Phi 系列，通过严谨的质量控制，在较少数据和较低算力（FLOPs）支持下，达到了显著的效果提升。当前开源数据集的趋势集中在增多 Tokens 和更精细化的质量筛选，以获得更小、效果更佳的数据集。此外，去重策略需要根据具体业务需求定制，更高比例的去重未必能带来更优结果，且数据质量这一概念难以仅依赖人类偏好定义。

来自百川智能的算法专家张宇鹏，将在本次演讲中分享《百川智能预训练数据策略的探索与实践》，他将详细阐述如何通过优化数据质量控制策略，提升模型在有限资源下的表现；介绍基于模型自我学习能力和人类标注结合的数据筛选策略，解决数据去重和质量控制问题，并分享如何通过知识类别的分类采样和小模型拟合 Scaling Law，降低实验成本并提升数据利用效率。