知识蒸馏是小模型从大模型输出中学习的过程,这些实验室在服务条款中禁止该行为,主要针对中国AI公司。 纳德拉指出,这些实验室一方面以合理使用为由在公开数据上训练,另一方面禁止蒸馏并从用户交互中学习。 他认为这导致经济价值集中在基础设施运营商手中,而非真正产生知识的公司。 纳德拉将此称为"反向信息悖论":企业为AI付费两次,先付金钱,再付"废气"--即与AI系统交互产生的修正、评分和使用数据,这些数据可能被AI提供商用于构建竞争产品。
微软CEO萨提亚·纳德拉发文批评OpenAI和Anthropic等AI实验室,称其禁止知识蒸馏的做法具有讽刺意味。
知识蒸馏是小模型从大模型输出中学习的过程,这些实验室在服务条款中禁止该行为,主要针对中国AI公司。
纳德拉指出,这些实验室一方面以合理使用为由在公开数据上训练,另一方面禁止蒸馏并从用户交互中学习。
他认为这导致经济价值集中在基础设施运营商手中,而非真正产生知识的公司。
纳德拉将此称为"反向信息悖论":企业为AI付费两次,先付金钱,再付"废气"--即与AI系统交互产生的修正、评分和使用数据,这些数据可能被AI提供商用于构建竞争产品。
In consuming intelligence, you are creating intelligence.
Nadella calls this the "reverse information paradox.":https://snscratchpad.com/posts/reverse-information-paradox/ Companies pay for AI twice. First with money, then with what he calls the "exhaust," meaning the corrections, ratings, and usage data from interactions with AI systems that reveal internal company knowledge. AI providers can learn from all of this and potentially build competing products:https://the-decoder.com/sam-altman-explains-why-openai-might-steamroll-your-ai-startup/. Nadella, of course, happens to have just the infrastructure to offer companies that want to control their own learning loop. Ad DEC_D_Incontent-1 Ad
Stay in the loop on AI. Clear, useful, no fluff.
Follow The Decoder for AI news, background stories and expert analyses.
The Decoder:https://the-decoder.com/