自ChatGPT及其背后的GPT系列大语言模型发布以来，人工智能大模型热潮持续蔓延。
除了提供云端大模型应用程序编程接口(API)的商业模式外，销售软硬件结合的大模型训推一体机是另一条备受关注的商业化路径，在中国市场上热度较高，甚至被称作AI魔盒。
大模型的训练和部署往往需要大量的计算资源。然而，当前国内在大模型训练上存在算力不够、缺少高端芯片等问题，导致大模型训练进展缓慢。
业内人士认为，在AI时代，既需要算力的强大性能，也需要考虑灵活性、普惠性和易获得性。
在此背景下，大模型训推一体机应运而生。训推一体机是指集成了大模型训练和推理功能的全栈式人工智能设备，通常包含中央处理器(CPU)、图形处理器(GPU)、存储器、操作系统、深度学习模型等软硬组件，能通过大规模数据训练掌握数据处理和预测等能力。
训推一体机的出现，通过集成硬件设备、基础软件以及AI开发平台，降低了开发门槛，使得更多的企业和开发者能够参与到AI大模型的研发和应用中来。一位机构分析师对记者指出。
目前，多家厂商都发布了基于华为昇腾AI基础软硬件平台的训推一体机产品。但从市场情况来看，仍处于商业化前期阶段。
灵活的AI魔盒
与OpenAI、谷歌等公司采取的提供云端大模型应用程序编程接口(API)的模式不同，训推一体机采取的是软硬件结合的模式。通过软硬件协同，优化了性能，降低部署成本。
训推一体机可根据企业的特定业务需求提供‘开箱即用’的定制化大模型解决方案，企业将模型放到机器里，边进行推理边进行训练，相当于把大模型私有化，先让客户用起来，边用边训练，然后不断完善模型。有业内资深人士对21世纪经济报道记者表示。
除了能够解决大模型的训练问题，训推一体机还可以提供本地化部署的解决方案，满足企业对数据安全的需求。随着数据安全和隐私保护意识的不断提高，越来越多的企业和组织希望能够在本地进行模型训练和推理，以减少数据泄露的风险。
在国内市场，自2023年3月华为昇腾携手华鹏振宇推出针对高校与科研院所的AI训练开发一体机以来，国内厂商相继发布合作版昇腾一体机，应用范围迅速拓宽，覆盖科研至AI全场景及垂类模型应用落地。
民生证券研报称，昇腾AI一体机是国内AI软硬件技术的黄金交点，是以国产算力领军者华为昇腾AI基础软硬件平台为基础，联合国内领先AI厂商打造的先进生产力工具。
2023年3月，华为昇腾与旗下华鹏振宇打造了专为高校和科研院所设计的AI训练开发一体机，奠定了将AI算力、AI平台软件、AI开发框架、开发组件和存储高效融合的算力底座基础架构。
2023年6月，软通动力(301236.SZ)发布训推一体化平台，支持用户一站式AI开发、深度适配不同AI应用场景；同年8月起，云从科技(688327.SH)、科大讯飞(002230.SZ)、智谱AI等大模型厂商合作款昇腾一体机面世。
其中，科大讯飞联合华为在去年8月15日推出讯飞星火一体机，进军私有化垂直大模型赛道。
据科大讯飞董事长刘庆峰介绍，星火一体机是国产软硬件一体化的私有专属大模型解决方案，开箱即可使用，提供从底层算力、AI框架、训练算法、推理能力、应用成效等全栈AI能力，面向金融、国企、央企等重点行业客户，提供自主可控的私有化大模型。
后续医渡科技、安恒信息、中兴通讯等公司将昇腾一体机用于自身垂类模型落地，昇腾一体机应用范围逐渐扩展到AI全场景。
值得一提的是，随着技术的进步和市场竞争的加剧，训推一体机的价格逐渐从百万级降至千元级。例如，云天励飞(688343.SH)推出的深目AI模盒，其售价在千元级，这在很大程度上降低了大模型应用的门槛。
当前，训推一体机市场上还有跨界玩家涌入。
开勒股份(301070.SZ)近日接受机构调研时表示，豫资开勒目前在研一款通用型的模型服务开发平台，以及具备训练、推理功能的一体机产品。
仍处于商业化前期
虽然训推一体机以低成本和灵活性著称，但不可忽视的是，它也存在一些局限性。
首先，其性能往往会受到硬件技术的限制，这不仅增加了技术持有和更新的成本，还在一定程度上制约了其处理复杂任务的能力。
与公共云服务或使用 API 接入大模型相比，训推一体机在效率方面可能处于劣势。由于其对大模型的使用较为零散，难以充分发挥大模型的整体优势，从而影响了处理大规模数据和复杂任务的效果。
从技术层面来看，训推一体机集成了多种高性能组件，并需要软硬件之间的紧密协同工作。尽管众多厂商陆续发布训推一体机，但记者多方了解获悉，多家厂商仍投入大量技术人员持续优化调试，以确保其在应用场景下的稳定性和效率。
目前，训推一体机覆盖的范围也逐渐扩展至能源、金融、运营商、政务、制造、教育科研等多领域的通用问答、写作辅助、代码辅助、智能分析、智能客服、知识咨询等场景。
但训推一体机仍处于商业化前期阶段。一位接近科大讯飞人士对记者表示，关于星火一体机的销售情况，目前还没有可披露的新消息。
近期，有投资者在互动平台向云从科技提问：云从科技携手华为联合发布从容大模型训推一体化解决方案，是否已与相关客户签订一体机业务合同或意向订单？
云从科技回应称，今年一体机的市场需求正随着国产算力和应用的明确，已经有了合同和未来预期的收入。另一方面，一体机订单优先会在信息化、私有化部署以及国产化算力需求明确的行业(如能源、教育和文旅等)突破。
从市场空间来看，华为董事、ICT(信息与通信技术)产品与解决方案总裁杨超斌在今年3月举行的华为中国合作伙伴大会上表示，2024年中国区人工智能训推一体机市场规模有望达到168亿元。
民生证券研报指出，以华为昇腾AI基础软硬件平台为基础，联合国内领先AI厂商打造的先进生产力工具，有着数据安全可控、开箱即用的特点，AI大模型在数据安全与数据要素驱动下，带来央国企与政府大模型本地化部署的刚需。乐观预计，2027年G端昇腾一体机市场规模超4500亿元，30%的G端PC将接入大模型AI。
文章来源于网络。发布者：北方经济网，转转请注明出处：https://www.hujinzicha.net/2024/08/03/9503.html
