开源大模型在私有云部署的实践方法论-移卡篇

全景网06-14

过去一年多的时间，由于ChatGPT验证了通用大模型路线的正确，在国内外大模型的簇拥下，大部分企业都已开始尝试将生成式AI与公司业务做结合。IDC最新的一份报告显示，70%的企业看好生成式AI能够创造新价值。到2027年，亚太区域AI支出将达到907亿美元，2022年至2027年复合年均增长率高达28.9%。对比2023年年初，人们对大模型已经从“观望”状态切入了“all in”模式；通用大模型从...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2443161331?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-06-14 13:50","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2443161331","market":"hk","top_or_hot":-1,"title":"开源大模型在私有云部署的实践方法论-移卡篇","media":"全景网","content":"<div>\n<p>过去一年多的时间，由于ChatGPT验证了通用大模型路线的正确，在国内外大模型的簇拥下，大部分企业都已开始尝试将生成式AI与公司业务做结合。IDC最新的一份报告显示，70%的企业看好生成式AI能够创造新价值。到2027年，亚太区域AI支出将达到907亿美元，2022年至2027年复合年均增长率高达28.9%。对比2023年年初，人们对大模型已经从“观望”状态切入了“all in”模式；通用大模型从...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024061413562295af471e&s=b\">网页链接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>开源大模型在私有云部署的实践方法论-移卡篇</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n开源大模型在私有云部署的实践方法论-移卡篇\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-06-14 13:50 北京时间&nbsp;&nbsp;&nbsp;<a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024061413562295af471e&s=b><strong>全景网</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>过去一年多的时间，由于ChatGPT验证了通用大模型路线的正确，在国内外大模型的簇拥下，大部分企业都已开始尝试将生成式AI与公司业务做结合。IDC最新的一份报告显示，70%的企业看好生成式AI能够创造新价值。到2027年，亚太区域AI支出将达到907亿美元，2022年至2027年复合年均增长率高达28.9%。对比2023年年初，人们对大模型已经从“观望”状态切入了“all in”模式；通用大模型从...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024061413562295af471e&s=b\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK1608","symbol_name":"元宇宙概念","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024061413562295af471e&s=b","article_id":"2443161331","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN2024061413562295af471e&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2443161331","pubTimestamp":1718344254,"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"也正是因为对大模型的了解和研发的迭代，企业在实践过程中对大模型的认知也有了新的变化，讨论也越来越深入，并形成了一些方法论。从2023年开始，公司智能客服、代码助手、AI创作工具等AIGC应用已经逐步落地，并形成了自己独特的开源大模型在私有云部署实践方法论。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK1608":"元宇宙概念","09923":"移卡","BK1253":"交易和支付处理服务","BK1609":"ChatGPT概念","BK1589":"北水核心资产","BK1590":"短视频概念股","BK1518":"SaaS概念","BK1126":"数据处理与外包服务"},"translate_title":"Practical Methodology of Open Source Large Model Deployment in Private Cloud-Yeka","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"09923":1},"content_text":"过去一年多的时间，由于ChatGPT验证了通用大模型路线的正确，在国内外大模型的簇拥下，大部分企业都已开始尝试将生成式AI与公司业务做结合。IDC最新的一份报告显示，70%的企业看好生成式AI能够创造新价值。到2027年，亚太区域AI支出将达到907亿美元，2022年至2027年复合年均增长率高达28.9%。对比2023年年初，人们对大模型已经从“观望”状态切入了“all in”模式；通用大模型从原来商业模式不清晰的处境，逐渐有了“价格战”的苗头；而大模型的应用从原来仅限于简单的AI创作、到长文本输出，甚至互联网大厂上线的代码助手可以帮技术人员做20%左右的工作。根据公开消息，百度此前曾宣布其代码助手已经编写内部四分之一的代码；百度搜索最新数据披露，11%的搜索结果由AI生成；阿里云内部已经全面推行AI写代码，未来20%的代码将有智能代码助手完成；网易严选也对外披露内部50%的商详、营销海报都由AI完成，甚至AI已经开始参与商品设计……也正是因为对大模型的了解和研发的迭代，企业在实践过程中对大模型的认知也有了新的变化，讨论也越来越深入，并形成了一些方法论。罗小辉在港股上市公司移卡（09923.HK）担任CTO，公司主要业务包括一站式支付、到店电商服务和商户解决方案，2023年年营收近40亿元。2022年年底ChatGPT出现后，罗小辉带领着10人左右的AI Lab团队开始了公司内部生成式AI系列项目的研发。从2023年开始，公司智能客服、代码助手、AI创作工具等AIGC应用已经逐步落地，并形成了自己独特的开源大模型在私有云部署实践方法论。复盘两年左右的大模型落地过程，罗小辉团队可以看作大模型浪潮下诸多企业跃跃欲试跟进大模型的时代缩影。在与罗小辉的交流中，他主要表达了三个观点：落地大模型的现阶段目标，以服务内部为主：罗小辉所在公司移卡落地大模型的一个主要考量是“向内赋能”，效果放在从研发效率、到营销素材创作效率，以及客服自助率的提升等等。开源与闭源大模型的路线选择不是非此即彼，“实用、好用才是王道”：虽然大模型提供商在开源与闭源的话题上呛声颇多，但对于大模型使用企业来说，开源和闭源大模型各有优劣，且适用场景不同，移卡在自有IDC上部署了开源大模型，也在API上接入了闭源大模型。算力瓶颈不是问题，日常训练及推理普通GPU卡也可满足：移卡使用大模型的一个背景，与很多互联网公司大量或全部使用公有云不同，作为一家有移动支付业务的公司，移卡自公司建立之日起使用的就是自建IDC的私有云，公有云只是辅助。由于在ChatGPT爆火之前公司自己囤了一些英伟达的A100，后期因为“限购”，采用较多为A10。以下为访谈实录：问：一开始是出于什么原因或契机，想要尝试生成式AI研发？罗小辉：真正开始接触是2023年年初，体验完ChatGPT之后，很震撼。作为一家大模型应用公司，我们更多聚焦在挖掘大模型应用价值的方向开展工作。首先试点的是到店电商业务中内容生成的一些需求，比如营销内容制作、微信图文、短视频生成等。问：很多企业在“All in 生成式AI”，如何评估生成式AI在公司的战略地位？罗小辉：再好的技术，如果找不到很好的落地场景，不能够输出价值的话，是没有用的。当看到一项技术潜力的时候，我们会比较务实地去找技术和公司业务的结合空间，这是第一个要回答的问题。第二步工作就是做一系列的论证，效果验证、调优。问：生成式AI的到来，是否对组织方式一定的影响？罗小辉：还是原来AI Lab的人在做，第一个阶段之后，到第二个验证阶段，需要业务团队参与效果评估，把它落到业务的工作过程中去。以图文生成工具为例，产品研发到上限前后大概经历了半年时间，其中技术团队2个月研发，业务团队花3～4个月调优，比如文风的对齐、打磨。问：踩过坑吗，或者说经验？罗小辉：通用大模型直接在具体场景中使用会有一些局限性，它对一些特定领域的知识掌握是不够的，特别是要用到业务流当中，最好的情况是能够给它一些范例，结合一些本地数据。我们是结合了本地之前已经积累的知识图谱。问：项目节奏如何把握，遇到过哪些困难、挑战？罗小辉：不同团队的节奏不一样，公司会给我们的AI团队比较大的灵活空间，快落地的时候就会与业务形成紧密的、有目的性的结合关系。难和简单是相对而言的，比如最开始设定目标的时候，如果目标是要做出很好的效果这是有难度的，包括选型的时候怎么权衡，不是说使用ChatGPT-4.0就一定比ChatGPT-3.5要好，这里还要考虑成本，4.0比3.5高10倍的成本业务场景到底能不能承受？然后在速度上，4.0响应速度要10秒、20秒，3.5会更快。以及当需要大模型跟业务进行深度结合的时候，就需要用到开源模型，这些都是要考虑的问题。问：提到开源，最近大厂来来回回就“开源”的话题有不少讨论，特别是百度公开强调很多次闭源大模型的优势，你怎么看两个路线的选择？罗小辉：百度是从自己的视角出发的，他们做基础模型。跳出基础模型的视角，站在应用的角度，我个人认为开源有开源的优势，闭源有闭源的优势，可能不同的场合不同的公司有不同的选择。特别是要私有化部署大模型的时候，并不是所有公司都适合闭源，不排除有些公司囿于技术资源，选择直接访问通用大模型API。但是对于需要跟业务场景做深度结合的科技公司，开源更合适。问：实操过程中，你们开源闭源都用了吗？罗小辉：对的，我们是两条路线都在走。问：无论是训练还是推理，算力是大模型重要影响因素，你们有遇到算力的问题吗？罗小辉：肯定会涉及算力这一块，但总体上还好。我们不涉及训练基础大模型，更多是在大模型基础之上，做一些本地化学习，也就是微调。问：目前使用的是国产GPU吗？罗小辉：没有用国产的，我们在国内没有限购之前，采购了一批A100。但是后面因为限购，又补充了一些不受限的A10。问：您刚才提到目前移卡在用的大模型应用有AI创作、智能客服、智能代码助手等等，这些应用市面上都有大厂在做，你们是选他们还是从零自研？罗小辉：我们是选择自研，比较过其他公开产品，最终还是选择了自研。不是说智能客服、代码助手随便一个公司就可以做，没有门槛。而是因为这些产品在落地应用的过程，一定要与本地数据做结合，无论是智能客服还是代码助手、AI创作，都一定会需要本地数据调优，市面上标准化的产品无法满足我们的需求，他们很少能够给企业比较大的自主和调优的空间。这些大模型应用不是一蹴而就的，而是需要把知识图谱不断扩大、不断调优，才能越来越适用企业的真实使用场景。另外，从代码助手来说，我们作为一家科技公司，如果要使用别人的代码助手，就等于把公司核心资产交出去了，这是一件很恐怖的、我们不允许出现的事情，代码泄露是非常大的风险点。问：智能客服在GPT出现之前的使用体验确实很差，你们现在的智能客服，在调优了之后可以做到哪种程度？罗小辉：在没有用大模型之前，我们的客服自助完结率是50%，也就是一半的客服能够通过智能客服解决，另外一半需要转人工。经过几次版本迭代，加上大模型调优，我们客服自助完结率已经从50%做到了超过80%。自助完结率的提升可以帮我们节省一部分成本，人效比提升之后，客服团队会减一部分，这部分人会有更多时间去处理其他更需要人来解决的问题。问：代码助手的使用效果如何？罗小辉：技术人员的代码习惯有很大差别，我们也是在基础大模型之上结合了本地代码库，来适配公司技术人员的工作习惯。这个比较难的一点是，技术人员在适应了一种工作习惯后，让他转换工作习惯很难，所以代码助手目前还没有全员推广，还处于一个内测调优的试点状态。目前平均代码采纳率已经有20%，比较好的案例是有程序员可以做到30%的代码由代码助手来写。就是技术人员他写的代码里面有30%来自大模型，编码效率得到极大提升。问：移卡从主营业务上来说是移动支付行业，最近一些机构联合推出了金融行业大模型，对于行业大模型，后期会考虑参与吗？罗小辉：有关注，但是还没有真正介入规划。金融行业大模型其实是一个比较宽泛的概念，金融业分很多领域，支付、银行、保险等等每个领域其实都有区别，那么每个具体的领域怎么定义场景，是非常重要的，所以金融大模型真正落地的话还需要再进一步。但现在可能还没到这一步。另外，就移卡目前使用大模型的阶段来说，跟支付行业的关系并没有那么大，主要是跟企业本身的关系很大。对于场景的选择、对于本地数据的要求，以及跟业务的结合程度有关系。本质上，我们把大模型看作一次技术浪潮，这个浪潮会深入影响到各行各业，只是说这个影响在什么节点体现。金融行业大模型的出现也是对浪潮的一个反应，这个反应需要一段时间才能探索出结果，找到场景和结合点。问：在数据方面，移卡是一家云原生的公司吗，早期就积累了很多数据资产？罗小辉：我们是一家云原生的公司，但我们主要使用的是自建IDC的私有云，公有云只是辅助，所以私有化部署大模型对我们来说很重要。问：为什么不主要考虑公有云？罗小辉：前几年上云确实是一个趋势，有很多好处，甚至是成本更划算的一种选择。但这两年有发生一些变化，因为云的模式，会让企业的自主性受限，特别是我们是移动支付的偏金融行业，公有云上其实不太好满足各项要求。我们定位是一家以支付为基础的科技公司，所以在很多事情上，技术自主是我们首先要考虑的事情。问：未来在大模型上，还会有别的计划吗？罗小辉：持续探索大模型的应用场景，可见的未来，我们可以开展的方向主要有几个，第一我们元宇宙游戏业务的素材生成，3D素材等等；第二个出海战略中一系列的问题，比如用大模型解决语言相通的问题、跨国界的各种问题都有待探索；第三个内部组织效率的赋能上。另外，也不排除未来有成熟的产品面向市场。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.25.1","shortVersion":"4.25.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2443161331"}