返回
观点

支持训练与推理两大环节浪潮重磅发布AIStation推理平台

2024-11-04 12:320

  4月9日,2020浪潮云数据中心合作伙伴大会(IPF2020)在线上举行,浪潮重磅发布全新AIStation人工智能推理服务平台,这是业界首款智算中心算力调度软件产品,是专为企业级AI生产环境打造的AI推理服务平台,可实现推理服务资源敏捷调配,支持多源模型统一调度,使模型部署从几天缩短到几分钟,将有力地帮助企业轻松部署AI推理服务,从而大幅提升AI交付和生产效率。

  当前,AI模型开发进入到生产部署阶段面临着多重困难和挑战:AI模型需要经过大量的调试和测试才能部署上线天;AI线上服务计算资源一般较固定,对于突发需求资源响应慢,业务扩展难;AI模型来源不同,统一管理也很困难。企业希望可以无缝衔接AI模型训练开发与推理部署,进行高效的资源调度和模型管理,缩短业务上线周期。

  最新发布的浪潮AIStation推理平台是企业级AI推理服务平台,通过弹性可伸缩架构、低延迟轻量化设计、A/B测试滚动发布、多模型加权评估等重要技术创新,帮助企业高效利用AI计算资源,快速部署推理服务。AIStaion推理平台具有一键部署、快速响应、日志监控、资源管控、数据处理等功能,是功能全面强大的AI资源平台。

  AIStation推理平台支持本地On-Premise和云端Cloud部署,保证服务的可获得性和业务连续性,实现了AI模型从开发环境到生产部署繁杂过程的自动化快捷操作,将模型部署时间从两三天降低到几分钟。

  在资源调度方面,AIStation推理平台能够敏捷调配服务资源。采用创新的弹性可伸缩架构,可根据推理服务资源需求的变化及时调整资源配给,将响应突发需求的实例部署时间从几小时缩短到几分钟。并且支持新模型发布前A/B测试,在实际业务场景中验证模型有效性,保证推理业务的安全、可靠,同时避免了流量切换所导致的集群负载压力。

  在模型管理方面,AIStation推理平台实现了多源模型统一调度。通过统一平台管理多源、多场景模型的推理服务,实时掌控全局资源,对模型服务实现综合调度和动态部署。同一资源池可同时支持多家模型服务,将资源利用率从40% 提高到80%。并且可实现多模型加权评估,通过对不同预训练模型的计算结果进行自定义权值设置,有效提升实际业务场景中预测结果的可靠性,构建可靠可信的智能系统,有效降低误判率。

  之前浪潮推出的AIStation训练平台已经获得广泛应用,该平台通过计算资源细粒度调度、训练数据缓存加速、分布式训练自动编排等策略,使用户的AI计算资源利用率提高到90%以上,大幅缩短了模型开发周期。随着本次浪潮AIStation推理平台的面世,AIStation资源平台全面支持训练与推理两大场景,实现从模型开发、训练、部署、测试、发布、服务的全流程一站式高效交付。

  浪潮AI&HPC总经理刘军表示:“智算中心是人工智能新基建,它生产和供应人工智能计算力,是社会经济运行的智慧基础设施。而要让智算中心充分释放算力,就需要按需灵活调度算力。AIStation对于智算中心新基建的意义,就相当于电厂和电网的核心调度系统,它能够根据AI应用需求高效调度AI算力资源,帮助企业加速AI研发创新、提速AI生产交付,让企业更专注于AI开发本身,从而赋力更多创新可能,加速AI落地应用。”

  浪潮是人工智能计算的领导品牌,AI服务器中国市场份额保持50%以上,并与人工智能领先科技公司保持在系统与应用方面的深入紧密合作,帮助AI客户在语音、语义、图像、视频、搜索、网络等方面取得数量级的应用性能提升。浪潮与合作伙伴共建元脑生态,共享AI计算、资源与算法三大核心平台能力,助力行业用户开发并部署属于自己的“行业大脑”,加速推进产业AI化落地。(思牧)

  “微专业”是指高校围绕某个学术领域或核心素养开设的一组核心课程,具有“小而精、跨学科、灵活”等特点,不授予学位,但学生修完后可以获得证书。

  我国首个器官芯片领域的国家标准《皮肤芯片通用技术要求》(GB/T 44831-2024)正式发布。

  “三峡水库蓄水后,显著改善了三峡库区和长江中游宜昌至武汉段的航道条件,库区干流航道等级由Ⅲ级提高为Ⅰ级。湖北省兴山县古夫镇深渡河村属三峡库区淹没区,2014年前,因为坐落大山深处、交通不便,这里村民追求发展、富裕的步履走得很艰难。

  近日,记者跟随2024年“防震减灾高质量发展进行时”主题采访活动,了解江苏如何啃下海洋地震监测这块难啃的“硬骨头”。

  “天关”卫星(爱因斯坦探针卫星)在轨交付仪式暨成果发布会31日在中国科学院国家空间科学中心举行。

  大科学装置不仅能帮助人类突破认知极限,在基础科学领域做出重大突破,也能服务社会发展,解决国家重大需求。

  这项赛事由拼多多、光明食品集团、中国农业大学、浙江大学共同主办,旨在为植物工厂降本增效和产业化发展集智聚力。

  这一私域大模型以在轨卫星管理专业知识库为基础,搭建航天器操控平台,通过语音、文本互动,即可完成航天器在轨管理、航天器管理人员培训,助力卫星高效智能管理。

  比赛中,残疾人选手将操纵义肢手抓取多种物体,但由于残疾人控制义肢的信号源非常有限,确保手指、手腕的可靠运动成为需要攻克的问题。

  部分癌症发生在天生携带罕见基因序列变异的人群中,发现此类变异可改善早期癌症检测及促进靶向疗法发展。

  近日,科研团队在开展古树名木调查过程中,在吉林省延边朝鲜族自治州和龙市境内的长白山原始森林中,发现大片以珍稀濒危植物东北红豆杉为骨干树种的天然群落。

  今年进博会,医疗器械及医药保健展区将集聚全球十大医疗器械企业、十一家世界500强制药企业,大量“首秀”“首展”亮眼。

  走进玉门风电场“风电长廊”展厅,一幅幅图片、一段段影像、一件件展品,详细介绍了全球风电、中国风电、甘肃风电发展历程及现状。

  美国一项新研究显示,一种关键洋流的减缓可能会在本世纪末使预计的北极变暖幅度下降约2摄氏度。研究人员还警告说,大西洋经向翻转环流减缓还可能引发其他气候异常,例如可能导致热带辐合带的变化。

打赏
  • 0人打赏
    举报
关闭
同类新闻