破除AI数据壁垒数据DAO正当时

金色财经06-18

作者：Li Jin，Variant Fund合伙人；翻译：金色财经xiaozou最近备受瞩目的数据授权交易（如OpenAI与News Corp和Reddit之间的交易）突显了人工智能（AI）对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如，Common Crawl索引了大约10%的网页，用于LLM训练，包含超过100万亿枚代币。进一步改进人工智能模型的一个途径是扩展和增强它们可...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2444177929?lang=zh_CN&edition=full","thumbnail":"https://static.tigerbbs.com/data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABgAAAAYCAYAAADgdz34AAAACXBIWXMAABYlAAAWJQFJUiTwAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAH5SURBVHgB7VXBUQJBEJxZqiykfFwGnhGIEQgZyEMt/HAbgRgBEIESwcLLAh+QgWQARCBmwAstq7h15m454Gr3OP7Mi73d6Z7p7R0ATnEgMM8hpd59AFEGCL34i1hS6kLKh9mhXHSDKk+Ii2etw4CWvuPYgiAmWq87UtYXuQn6/Y+W1roJoL0U0HeUhOLakJYTIBTtRuO+k0nAUiAWFAFXeE0kXZKj55Iilg7aBN4wn2bUcW23G9wHF59cGQHPCTjIo3E6l7slkuqGBOMDykMsTbfgPxUp5RKOCKVGhPHHJOW4k1WVMUTEgqXWIXAugioNlBrc2QikrC21PqsyOJMYTEClhrTQ03Rr6ej1Bl+wdROdXd3YC4nuccoGYTyBCK+8QQun1UzV/s4n+l10dFLnQiM3EVFLbLfQA2eElj2dcUfbPcGPJGbDlrGdJYpjiN5CEvSKn8a2k8ZRkf5aw4ugliax34FcIEZ8mekkvsAgeLyihBq1L1l/OzjnIhOzYbpsc2NTu8XgiIjBzyekBL/yxARiUyG/QCMDW2zqlssGPizvg4dJgZZRIUaQzBjsZQ0yY3EeE01znueVtI6KFFF7c1EmZqayeZSEhUszr3wDQwqsSfN6O42VMa6TQXYLGeOaSPsAv2+uO8v5h8Maa3//DyecuaQ7xVHxD4rDJjfZUTFuAAAAAElFTkSuQmCC?op=imageView2&mode=2&width=256&height=256&quality=70&format=png","is_english":false,"pubTime":"2024-06-18 15:19","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2444177929","market":"hk","top_or_hot":-1,"title":"破除AI数据壁垒 数据DAO正当时","media":"金色财经","content":"<div>\n<p>作者：Li Jin，Variant Fund合伙人；翻译：金色财经xiaozou最近备受瞩目的数据授权交易（如OpenAI与News Corp和Reddit之间的交易）突显了人工智能（AI）对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如，Common Crawl索引了大约10%的网页，用于LLM训练，包含超过100万亿枚代币。进一步改进人工智能模型的一个途径是扩展和增强它们可...</p>\n\n<a href=\"https://www.jinse.cn/blockchain/3688640.html\">网页链接</a>\n\n</div>\n","source":"jinse_stock","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>破除AI数据壁垒 数据DAO正当时</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n破除AI数据壁垒 数据DAO正当时\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-06-18 15:19 北京时间&nbsp;&nbsp;&nbsp;<a href=https://www.jinse.cn/blockchain/3688640.html><strong>金色财经</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>作者：Li Jin，Variant Fund合伙人；翻译：金色财经xiaozou最近备受瞩目的数据授权交易（如OpenAI与News Corp和Reddit之间的交易）突显了人工智能（AI）对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如，Common Crawl索引了大约10%的网页，用于LLM训练，包含超过100万亿枚代币。进一步改进人工智能模型的一个途径是扩展和增强它们可...</p>\n\n<a href=\"https://www.jinse.cn/blockchain/3688640.html\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4510","symbol_name":"在线教育","start_time":0,"source_url":"https://www.jinse.cn/blockchain/3688640.html","article_id":"2444177929","we_media_id":null,"thumbnails":["https://static.tigerbbs.com/data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABgAAAAYCAYAAADgdz34AAAACXBIWXMAABYlAAAWJQFJUiTwAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAH5SURBVHgB7VXBUQJBEJxZqiykfFwGnhGIEQgZyEMt/HAbgRgBEIESwcLLAh+QgWQARCBmwAstq7h15m454Gr3OP7Mi73d6Z7p7R0ATnEgMM8hpd59AFEGCL34i1hS6kLKh9mhXHSDKk+Ii2etw4CWvuPYgiAmWq87UtYXuQn6/Y+W1roJoL0U0HeUhOLakJYTIBTtRuO+k0nAUiAWFAFXeE0kXZKj55Iilg7aBN4wn2bUcW23G9wHF59cGQHPCTjIo3E6l7slkuqGBOMDykMsTbfgPxUp5RKOCKVGhPHHJOW4k1WVMUTEgqXWIXAugioNlBrc2QikrC21PqsyOJMYTEClhrTQ03Rr6ej1Bl+wdROdXd3YC4nuccoGYTyBCK+8QQun1UzV/s4n+l10dFLnQiM3EVFLbLfQA2eElj2dcUfbPcGPJGbDlrGdJYpjiN5CEvSKn8a2k8ZRkf5aw4ugliax34FcIEZ8mekkvsAgeLyihBq1L1l/OzjnIhOzYbpsc2NTu8XgiIjBzyekBL/yxARiUyG/QCMDW2zqlssGPizvg4dJgZZRIUaQzBjsZQ0yY3EeE01znueVtI6KFFF7c1EmZqayeZSEhUszr3wDQwqsSfN6O42VMa6TQXYLGeOaSPsAv2+uO8v5h8Maa3//DyecuaQ7xVHxD4rDJjfZUTFuAAAAAElFTkSuQmCC?op=imageView2&mode=2&width=256&height=256&quality=70&format=png"],"rights":{"source":"jinse_stock","url":"https://www.jinse.cn/blockchain/3688640.html","rn_cache_url":null,"directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2444177929","pubTimestamp":1718695194,"sourceInfo":{"source_id":"jinse_stock","name":"金色财经"},"weMediaInfo":null,"summary":"本文，我们将分享我们对数据DAO的思考，以求回答这样一个问题：数据DAO如何加速人工智能的发展？","collect":0,"end_time":0,"defaultTopTitle":"jinse.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4510":"在线教育","BK4204":"教育服务","BK4506":"内地教育股","DAO":"有道"},"translate_title":"Breaking down AI data barriers, data DAO is at the right time","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"DAO":1},"content_text":"作者：Li Jin，Variant Fund合伙人；翻译：金色财经xiaozou最近备受瞩目的数据授权交易（如OpenAI与News Corp和Reddit之间的交易）突显了人工智能（AI）对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如，Common Crawl索引了大约10%的网页，用于LLM训练，包含超过100万亿枚代币。进一步改进人工智能模型的一个途径是扩展和增强它们可用于训练的数据。我们一直在讨论聚合数据的机制——特别是以一种去中心化的方式。我们尤为感兴趣的是探索去中心化方法如何帮助生成新的数据集，并为贡献者和创建者提供经济奖励。最近几年加密领域里的讨论话题之一就是数据DAO的概念，即创建、组织和管理数据的一群人。这个话题已经被Multicoin和其他人谈过了，但人工智能的快速发展催生了关于数据DAO的一个新的问题——“为什么现在正当时？”本文，我们将分享我们对数据DAO的思考，以求回答这样一个问题：数据DAO如何加速人工智能的发展？1、AI领域的数据现状如今，人工智能模型是在公共数据上进行训练的，要么是通过News Corp和Reddit等合作来实现，要么是通过在开放的互联网上收集数据。例如，Meta的Llama 3是使用公开来源的15万亿代币进行训练的。这些方法在快速聚合大量数据方面是很有效的，但它们在收集哪类数据以及如何收集数据方面都有局限性。首先，应收集什么样的收据：人工智能的发展受到数据质量和数量的瓶颈。Leopold Aschenbrenner曾写过限制算法进一步改进的“数据墙”相关内容：“很快，在更多的抓取数据上预训练更大的语言模型的朴素做法可能会开始遭遇严重的瓶颈。”推倒数据墙的一种方法是开启新数据集的可用性。例如，模型公司无法在不违反大多数网站服务条款的情况下抓取登录数据，而且根据定义，它们无法访问尚未收集的数据。目前还有大量的私人数据是人工智能训练无法获取的：比如Google Drive和Slacks等公司、个人健康数据或私人信息。其次，如何收集收据：在现有的模式下，数据收集公司获取了大部分价值。Reddit的S-1将数据授权作为主要的预期收入源：“我们预计，我们不断增长的数据优势和知识产权将继续成为未来LLM训练的关键要素。”生成实际内容的最终用户并没有从这些授权协议或人工智能模型本身获得任何经济利益。这种错位可能会扼杀参与积极性——已经有起诉生成式人工智能公司或选择退出训练数据集的运动。更不用说将收入集中在模型公司或平台的手中而不分给最终用户分毫所带来的社会经济影响。2、数据DAO效应上述数据问题有一个共同的主线：它们受益于来自不同的、有代表性的用户样本的大量贡献。任何单个数据点对模型性能的价值可能都可以忽略不计，但总体来看，一大群用户可以聚集对人工智能训练有价值的新的数据集。这就是数据DAO概念的用武之地。有了数据DAO，数据贡献者可以通过提供数据收获经济好处，并可管理数据的使用方式和货币化方式。数据DAO可以在当前数据领域里的哪些方面做出贡献？下面是一些想法——请注意，这并非一个详尽列表，数据DAO肯定还有其他的机会：（1）现实世界数据在去中心化物理基础设施（DEPIN）领域，Hivemapper等网络旨在收集全世界最新的全球地图数据，方法是通过激励行车记录仪的所有者贡献他们的数据，以及激励用户通过他们的应用程序贡献数据（例如关于道路封闭或维修的数据）。可以将DEPIN视为现实世界的数据DAO，其中数据集是从硬件设备和/或用户网络生成的。这些数据对许多公司都有商业价值，收入将以代币奖励的形式回馈给贡献者。（2）个人健康资料生物黑客是一项社会运动，指的是个人和社区采取DIY的方法来研究生物学，通常是拿自己来做实验。例如，一个人可能会服用不同的益智药物来提高大脑的表现，或者测试不同的治疗方法或环境变化来改善睡眠，甚至还有人给自己注射实验性药物。数据DAO可以通过组织参与者围绕共同的实验和系统地收集结果，为这些生物黑客的努力带来激励。这些个人健康DAO获得的收入，例如来自研究实验室或制药公司的收入，可以回到以自己的个人健康数据形式贡献结果的参与者。（3）用人类反馈强化学习使用RLHF（使用人类反馈强化学习）微调人工智能模型涉及到利用人类输入来提高人工智能系统的性能。通常，人们期待反馈者都是他们各自领域的专家，他们可以有效地评估模型的输出。例如，实验室可能会寻求数学博士的帮助来提高他们的LLM的数学能力，等等。代币奖励可以通过其投机优势在寻找和激励专家参与方面发挥作用，更不用说使用加密支付轨道所提供的全球访问权了。Sapien、Fraction和Sahara等公司都正在这一领域开展工作。（4）私人数据随着可供人工智能训练使用的公开数据越来越少，竞争的基础可能会转向专有数据集，包括私人用户数据。登录墙后面有大量高质量的数据仍然无法访问，例如私信、私人文件等。这些数据不仅可以有效地训练个人AI，而且还包含了在公共网络上无法访问的有价值的信息。然而，访问和利用这些数据在法律和道德上都面临着重大挑战。数据DAO可以提供一种解决方案，允许有意愿的参与者上传和变现他们的数据，并可管理数据的使用方式。例如，Reddit数据DAO允许用户上传他们从Reddit平台导出的Reddit数据，其中包含评论、帖子和投票历史，这些数据可以以隐私保护的方式出售或出租给人工智能公司。代币激励让用户不仅可以通过一次性交易赚取收益，还可以基于使用其数据训练的人工智能模型所创造的价值大小赚取收益。3、开放问题与挑战虽然数据DAO的潜在好处是巨大的，但也存在一些考量和挑战。（1）激励的扭曲影响从Crypto使用代币激励的历史中可以看到一点，那就是外部激励会改变用户行为。这对利用代币激励来实现数据目的有直接影响：激励可能会扭曲参与者群体和其所贡献的数据类型。代币激励的引入也引入了参与者寻求系统漏洞的可能性，例如提交低质量或捏造数据来让他们的收入最大化。这很重要，因为这些数据DAO的收益机会取决于数据质量。如果贡献偏离目标，就会破坏数据集的价值。（2）数据测量和奖励数据DAO的核心思想是，通过代币激励来奖励贡献者的数据提交，从长远来看，这将成为DAO所获得的收入。然而，考虑到数据价值的主观性，确切地知道应该对各种数据贡献给予多少奖励是极具挑战性的。在上面关于生物黑客的例子中，例如：某些用户的数据比其他用户的数据更有价值吗？如果是，决定因素有哪些？对于地图数据来说：某些地区的地图信息是否比其他地区更有价值？这种差异如何量化？（通过计算数据对模型性能的增量贡献来衡量人工智能中的数据价值这方面的研究非常活跃，但这种方法可能需要大量的计算。）另外，建立健全的机制来验证数据的真实性和准确性至关重要。如果没有这些措施，系统可能容易面临欺诈性数据提交（例如创建虚假账户）或Sybil攻击。DEPIN网络试图通过在硬件设备级别进行集成来解决这个问题，但是依赖于用户贡献的其他类型的数据DAO可能容易受到操纵。（3）新数据递增量大多数开放网络已经被用作训练目的，因此数据DAO操作员必须考虑，通过分布式方式收集的数据集是否真的是开放网络上现有数据的增量和附加，以及研究人员是否可以从平台上获得这些数据或通过其他方式获取这些数据。上述想法强调了收集全新数据的重要性，这些数据超越了现有的数据，导致了接下来的考量：影响大小和收益机会。（4）评估收益机会从本质上讲，数据DAO正在构建一个双边市场，将数据买家和数据贡献者联系起来。因此，数据DAO的成功取决于能否吸引稳定且多样化的、愿意为数据付费的客户群。数据DAO需要识别和验证其最终需求，并确保收益机会足够大（无论是基于总量还是基于单个贡献者），以激励所需数据的数量和质量。例如，创建一个用户数据DAO来汇集个人偏好以及出于广告目的浏览数据的想法已经讨论了好几年了，但最终，这样一个网络能够传递给用户的收益可能微乎其微。（作为对比参考，Meta在2023年底的全球ARPU为13.12美元。）随着人工智能公司计划在训练方面投入数万亿美元，分给每个用户的数据收益可能足以吸引大规模贡献，这就给数据DAO提出了一个有趣的问题：“为什么是现在？”4、攻克数据墙数据DAO代表了一种潜在的光明前景，可以生成新的高质量数据集，并攻克人工智能领域里的数据墙。具体如何实现还有待观察，但我们很高兴看到这个领域的发展。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.25.1","shortVersion":"4.25.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2444177929"}

破除AI数据壁垒 数据DAO正当时

精彩评论

破除AI数据壁垒数据DAO正当时