Meta连接数万个GPU的方法

半导体行业观察08-06

如果您希望可以时常见面，欢迎标星收藏哦~来源：内容由半导体行业观察（ID：icbank）编译自meta，谢谢。Meta近日撰文称，人工智能的日益普及开启了通信需求的新时代。尤其是分布式训练，给数据中心网络基础设施带来了最大的压力。例如，典型的生成式人工智能 (GenAI) 作业可能需要在数周内紧密协调数万个 GPU。构建能够满足这一日益增长的需求的可靠、高性能网络基础设施需要重新评估数据中心网络...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2457030324?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-08-06 09:20","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2457030324","market":"us","top_or_hot":-1,"title":"Meta连接数万个GPU的方法","media":"半导体行业观察","content":"<div>\n<p>如果您希望可以时常见面，欢迎标星 收藏哦~来源：内容由半导体行业观察（ID：icbank）编译自meta，谢谢。Meta近日撰文称，人工智能的日益普及开启了通信需求的新时代。尤其是分布式训练，给数据中心网络基础设施带来了最大的压力。例如，典型的生成式人工智能 (GenAI) 作业可能需要在数周内紧密协调数万个 GPU。构建能够满足这一日益增长的需求的可靠、高性能网络基础设施需要重新评估数据中心网络...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN202408060942539f11f670&s=b\">网页链接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>Meta连接数万个GPU的方法</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nMeta连接数万个GPU的方法\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-08-06 09:20 北京时间&nbsp;&nbsp;&nbsp;<a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN202408060942539f11f670&s=b><strong>半导体行业观察</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>如果您希望可以时常见面，欢迎标星 收藏哦~来源：内容由半导体行业观察（ID：icbank）编译自meta，谢谢。Meta近日撰文称，人工智能的日益普及开启了通信需求的新时代。尤其是分布式训练，给数据中心网络基础设施带来了最大的压力。例如，典型的生成式人工智能 (GenAI) 作业可能需要在数周内紧密协调数万个 GPU。构建能够满足这一日益增长的需求的可靠、高性能网络基础设施需要重新评估数据中心网络...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN202408060942539f11f670&s=b\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"IE0005OL40V9.USD","symbol_name":"JANUS HENDERSON BALANCED \"A6M\" (USD) INC","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN202408060942539f11f670&s=b","article_id":"2457030324","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN202408060942539f11f670&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2457030324","pubTimestamp":1722907230,"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"例如，典型的生成式人工智能  作业可能需要在数周内紧密协调数万个 GPU。当 Meta 引入基于 GPU 的分布式训练时，我们决定为这些 GPU 集群构建专门的数据中心网络。BE 是一种专用结构，它以非阻塞架构连接所有 RDMA NIC，可在集群中的任意两个 GPU 之间提供高带宽、低延迟和无损传输，无论它们的物理位置如何。这种设置在 GPU 规模和交换机冗余方面存在明显的限制。AI 区域旨在以非阻塞方式支持大量互连的 GPU。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"IE0005OL40V9.USD":"JANUS HENDERSON BALANCED \"A6M\" (USD) INC","IE0031619046.USD":"LEGG MASON ROYCE US SMALL CAP OPPORTUNITY \"A\" (USD) INC","IE00BKDWB100.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5H\" (SGDHDG) ACC","LU2294711713.HKD":"BNP PARIBAS ENERGY TRANSITION \"C\" (HKD) ACC","LU0823414478.USD":"法巴经典能源转换基金","LU0006306889.USD":"SCHRODER ISF US LARGE CAP \"A\" (USD) INC AV","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","GB00B4LPDJ14.GBP":"FUNDSMITH EQUITY \"R\" (GBP) ACC","LU0070302665.USD":"FRANKLIN MUTUAL U.S. VALUE \"A\" (USD) ACC","LU0130102774.USD":"Natixis Harris Associates US Equity RA USD","BK4145":"电子制造服务","GB00B4QBRK32.GBP":"FUNDSMITH EQUITY \"R\" (GBP) INC","LU0106261372.USD":"SCHRODER ISF US LARGE CAP \"A\" ACC","IE00B1BXHZ80.USD":"Legg Mason ClearBridge - US Appreciation A Acc USD","IE0002270589.USD":"LEGG MASON CLEARBRIDGE VALUE \"A\" (USD) INC","LU0198837287.USD":"UBS (LUX) EQUITY SICAV - USA GROWTH \"P\" (USD) ACC","LU0444971666.USD":"天利全球科技基金","BK4592":"伊斯兰概念","IE00BFSS8Q28.SGD":"Janus Henderson Balanced A Inc SGD-H","LU0061475181.USD":"THREADNEEDLE (LUX) AMERICAN \"AU\" (USD) ACC","IE00BMPRXQ63.HKD":"NEUBERGER BERMAN NEXT GENERATION CONNECTIVITY FUND \"A\" (HKDHDG) ACC","BE":"Bloom Energy Corp","IE00B66KJ199.SGD":"LEGG MASON ROYCE US SMALL CAP OPPORTUNITY  \" A\" (SGD) ACC","BK4507":"流媒体概念","BK4585":"ETF&股票定投概念","LU0154236417.USD":"BGF US FLEXIBLE EQUITY \"A2\" ACC","IE0034235303.USD":"PINEBRIDGE US RESEARCH ENHANCED CORE EQUITY \"A\" (USD) ACC","IE0009356076.USD":"JANUS HENDERSON GLOBAL TECHNOLOGY AND INNOVATION \"A2\" (USD) ACC","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","HBM":"HudBay Minerals Inc","BK4587":"ChatGPT概念","FE":"第一能源公司","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H","LU0109391861.USD":"富兰克林美国机遇基金A Acc","BK4077":"互动媒体与服务","LU0068578508.USD":"First Eagle Amundi International Cl AU-C USD","IE00B19Z9505.USD":"美盛-美国大盘成长股A Acc","IE00BN29S564.USD":"JANUS HENDERSON BALANCED \"A3\" (USD) INC","META":"Meta Platforms, Inc.","IE00B19Z3581.USD":"Legg Mason ClearBridge - Value A Acc USD","LU0053666078.USD":"摩根大通基金-美国股票A（离岸）美元","CTS":"CTS Corp","BK4588":"碎股","LU0082616367.USD":"摩根大通美国科技A（dist）","LU0208291251.USD":"FRANKLIN MUTUAL U.S. VALUE \"A\" (USD) INC","IE00BK4W5M84.HKD":"HSBC GLOBAL FUNDS ICAV US EQUITY INDEX \"HC\" (HKD) ACC","IE00BMPRXR70.SGD":"Neuberger Berman 5G Connectivity A Acc SGD-H","IE00BMPRXN33.USD":"NEUBERGER BERMAN 5G CONNECTIVITY \"A\" (USD) ACC","IE00BK4W5L77.USD":"HSBC GLOBAL FUNDS ICAV US EQUITY INDEX \"HC\" (USD) ACC","LU2357125470.USD":"BNP PARIBAS ENERGY TRANSITION \"CLASSIC RH\" (USDHDG) ACC"},"translate_title":"Meta's Way to Connect Tens of Thousands of GPUs","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"META":1,"BE":1,"CTS":1,"FE":1,"HBM":1},"content_text":"如果您希望可以时常见面，欢迎标星 收藏哦~来源：内容由半导体行业观察（ID：icbank）编译自meta，谢谢。Meta近日撰文称，人工智能的日益普及开启了通信需求的新时代。尤其是分布式训练，给数据中心网络基础设施带来了最大的压力。例如，典型的生成式人工智能 (GenAI) 作业可能需要在数周内紧密协调数万个 GPU。构建能够满足这一日益增长的需求的可靠、高性能网络基础设施需要重新评估数据中心网络设计。当 Meta 引入基于 GPU 的分布式训练时，我们决定为这些 GPU 集群构建专门的数据中心网络。我们选择 RDMA Over Converged Ethernet 第 2 版 (RoCEv2) 作为我们大部分 AI 容量的节点间通信传输。我们已成功扩展 RoCE 网络，从原型发展到部署多个集群，每个集群可容纳数千个 GPU。这些 RoCE 集群支持广泛的生产分布式 GPU 训练作业，包括排名、内容推荐、内容理解、自然语言处理和 GenAI 模型训练等工作负载。拓扑我们专门为分布式训练构建了一个专用的后端网络。这使我们能够独立于数据中心网络的其余部分进行发展、运行和扩展。为了支持大型语言模型 (LLM)，我们将后端网络扩展到 DC 规模，例如，将拓扑感知功能纳入训练作业调度程序。1分离训练集群依赖于两个独立的网络：用于数据提取、检查点和日志记录等任务的前端（FE）网络，以及用于训练的后端（BE）网络，如下所示。训练机架连接到数据中心网络的 FE 和 BE。FE 具有网络层级结构 - 机架交换机 (RSW)、结构交换机 (FSW) 和更高层 - 其中包含存储仓库，为 GPU 提供训练工作负载所需的输入数据。我们确保机架交换机上有足够的入口带宽，不会妨碍训练工作负载。BE 是一种专用结构，它以非阻塞架构连接所有 RDMA NIC，可在集群中的任意两个 GPU 之间提供高带宽、低延迟和无损传输，无论它们的物理位置如何。此后端结构使用 RoCEv2 协议，该协议将 RDMA 服务封装在 UDP 数据包中以通过网络传输。2人工智能专区我们的 BE 网络经历了几次转型。最初，我们的 GPU 集群使用简单的星型拓扑，其中几个 AI 机架连接到运行不可路由的 RoCEv1 协议的中央以太网交换机。这种设置在 GPU 规模和交换机冗余方面存在明显的限制。因此，我们迅速过渡到基于结构的架构，以提高可扩展性和可用性。我们为 AI 机架设计了一个两级 Clos 拓扑，称为AI Zone。机架训练交换机 (RTSW) 用作叶交换机，使用铜基 DAC 电缆为机架内的 GPU 提供扩展连接。主干层由模块化集群训练交换机 (CTSW) 组成，为集群中的所有机架提供横向扩展连接。CTSW 具有静态划分在机箱端口上的深度缓冲区。RTSW 通过单模光纤和 400G 可插拔收发器连接到 CTSW。AI 区域旨在以非阻塞方式支持大量互连的 GPU。然而，新兴的 AI 进步（例如Llama等 LLM ）需要的 GPU 规模大于单个 AI 区域所能提供的规模。为了适应这种情况，我们设计了一个聚合器训练交换机 (ATSW) 层，用于连接数据中心建筑物中的 CTSW，从而将 RoCE 域扩展到单个 AI 区域之外。请注意，跨 AI 区域连接在设计上是超额认购的，网络流量使用 ECMP 进行平衡。为了缓解跨 AI 区域流量的性能瓶颈，我们增强了训练作业调度程序，以便在将训练节点划分为不同的 AI 区域时找到“最小割点”，从而减少跨 AI 区域流量，从而缩短集体完成时间。调度程序通过学习 GPU 服务器在逻辑拓扑中的位置来推荐等级分配来实现这一点。路由上面讨论的计算能力和网络拓扑的扩展引发了一个问题：如何有效地平衡和路由大量训练流量。具体来说，AI 训练工作负载有几个具有挑战性的特征：低熵（Low entropy）：与传统数据中心工作负载相比，AI工作负载的流的数量和多样性要小得多，并且流模式通常具有重复性和可预测性。突发性：在时间维度上，流通常表现出毫秒级时间粒度的“开启和关闭”特性。大流量：每次突发，每条流量的强度都可以达到网卡的线速率。1ECMP 和路径固定我们最初考虑的是广泛采用的 ECMP，它根据五元组的哈希值随机放置流：源和目标 IP、源和目标 UDP 端口以及协议。然而，正如预期的那样，由于流熵低，ECMP 在训练工作负载方面表现不佳。或者，我们在部署的最初几年设计并部署了路径固定方案。该方案根据目标“切片”（RTSW 下行链路的索引）将数据包路由到特定路径。如果每个机架都完全分配给同一项工作并且网络没有故障，这种方法效果很好。然而，这种情况很少发生。我们发现机架可以部分分配给一项工作，机架中的两个主机中只有一台使用上行链路带宽。这种分散的工作安排导致特定 RTSW 的上行链路上流量分布不均匀和拥塞，并使训练性能降低 30% 以上。此外，上行链路或 CTSW 上的网络故障导致受影响的流通过 ECMP 不均匀地重新分配给其他 CTSW。这些重新分配的流与其他现有流发生冲突，并减慢了整个训练工作的速度。我们通过将 RTSW 上行链路带宽升级 2 倍来减轻这些流量冲突的直接影响。因此，我们允许 RTSW 上行链路容量与 RTSW 下行链路容量相比，订阅量为 1:2。虽然这减轻了直接的性能影响，但这是一个昂贵的解决方案，因为它需要 2 倍的网络容量。因此，我们认为这只是一个短期缓解措施，并进入了路由演进的进一步阶段。2队列对扩展接下来，我们重新审视 ECMP，旨在通过集体库中的队列对 (QP) 扩展软件功能增加分层集体的流数。为了解决这个问题，我们将交换机配置为执行增强型 ECMP (E-ECMP)，使用交换机 ASIC 的 UDF 功能对 RoCE 数据包的目标 QP 字段进行额外的哈希处理。这增加了熵，与没有 QP 缩放的基线 ECMP 相比，我们观察到 E-ECMP 和 QP 缩放使 AllReduce 集合的性能提高了 40%。我们评估了两种 QP 扩展策略。第一种是将每条原本要通过单个 QP 发布的消息拆分到多个 QP 上，从而产生多个流。但它也会在结构上产生较小的消息大小以及多个 ACK。第二种方法是以循环方式将每条消息发布到不同的队列。对于我们在 NCCL 生产中展示的 NIC 消息大小，我们观察到后者表现良好。此功能对于 ECMP 可扩展性非常重要，因为它可以增加 AllReduce 等分层集合的网络流量。虽然我们通过 QP 缩放提高了 ECMP 性能，但哈希算法的底层概率性质一直是这种路由方案的缺点。此外，需要根据工作负载类型定制 QP 缩放因子和方法，虽然在短期内可行，但会带来长期运营复杂性。拥塞控制随着我们过渡到 400G 部署，我们尝试调整 DCQCN 以适应新的网络速度和拓扑。然而，与 200G 网络相比，使用默认 DCQCN 设置和双倍 ECN 阈值，性能下降。进一步调查发现，固件中的 DCQCN 实现已发生变化，引入了错误并降低了与正确 CNP 计数相关的问题的可见性。我们在 400G 部署中没有使用 DCQCN。目前，我们已经有一年多使用 PFC 进行流量控制的经验，没有使用任何其他传输级拥塞控制。我们观察到训练集合的性能稳定，并且没有出现持续拥塞。1接收方驱动的流量准入为了缓解 400G 及更高速率的拥塞，我们共同设计了集体库和 RoCE 传输，以强制接收器驱动的流量接纳，从而获得更好的性能。下图显示，我们生产训练集群中的 GPU 到 GPU 通信架构主要使用通过 NCCL 集体库进行的两阶段复制和接收器发起的通信。每个 GPU 的高带宽内存 (HBM) 维护多个通道，用于并行传输分块集体消息。发送方 GPU 线程首先将数据从计算缓冲区复制到可用的通道缓冲区。发送方 CPU 代理线程只能在从接收器收到包含大小和内存信息的清除发送 (CTS) 数据包后才能发布 RDMA 写入请求。然后，接收器的 GPU 线程将通道缓冲区内容复制到目标计算缓冲区。最后，两侧的 CPU 代理线程回收通道缓冲区，一旦通道缓冲区准备就绪，接收器 CPU 代理就会发送另一个 CTS 数据包。我们有效地利用此机制作为接收器驱动的流量准入来限制网络上的飞行流量，尤其是在拥塞开始累积时。但是，配置正确的设置可能具有挑战性，因为：由于并发计算操作对 GPU 线程的资源争用，通道数量受到限制；由于 RoCE 的流量控制更粗粒度且终端主机可能速度缓慢，因此设置通道缓冲区大小需要比 Infiniband 更仔细地平衡拥塞扩散和带宽利用不足。因此，我们采取了两个步骤来提高性能。首先，我们通过实验确定了适合各种训练作业大小和集体类型的通道数量和通道缓冲区大小的正确参数设置。其次，我们在交换机上为 CTS 数据包实施了高优先级排队，以加快通知速度并缓解潜在的带宽不足。拥塞控制一直是 RDMA 网络研究的重点。DCQCN 一直是以存储为中心的网络的黄金标准。然而，我们在分布式 AI 训练工作负载方面的经验为定制拥塞控制算法提供了不同的视角。尽管关闭了 DCQCN 和 RTSW 向深度缓冲 CTSW 发送 PFC 的多个实例，但在过去四年中，我们还没有遇到过生产 AI 训练流量导致 CTSW 持续向 RTSW 发送 PFC 的情况。我们当前的解决方案依赖于集体通信库和网络之间的仔细协调。它可能取决于 GPU 和网络之间的相对吞吐量，这可能并不适用于所有场景。我们鼓励研究界更多地关注这个主题。继续向前用于分布式 AI 训练工作负载的大规模 RoCE 网络的设计和运行已经发展到可以满足日益增长的计算密度和规模需求的程度。通过分离 FE 和 BE 网络、采用各种路由方案以及优化集体流量模式，我们已经能够构建高性能且可靠的网络基础设施。这些设计和见解强调了深入了解训练工作负载并将这些影响转化为网络组件设计的重要性，最终有助于推动分布式 AI 训练基础设施的发展。随着 GenAI 工作量的快速增长趋势，我们的网络基础设施也将快速发展。参考链接https://engineering.fb.com/2024/08/05/data-center-engineering/roce-network-distributed-ai-training-at-scale/点这里 加关注，锁定更多原创内容","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":0},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.29.1","shortVersion":"4.29.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2457030324"}