ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%
幻觉现象也大幅减少
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI开发者大会后不久,它的最强竞对Claude也宣布推出了重磅更新。
更新后的Claude 2.1,上下文长度直接翻番到20万,重新超过了GPT-4。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/ec7e45851ddd6c9e70c3ccf1e9cebc87.png)
根据官方通告,Claude 2.1版本的API已经上线,网页版本也已经完成升级。
那么,这次更新具体都有哪些内容呢?
上下文长度达20万
最重磅的一项更新,是上下文的增加——原来的10万token直接翻倍,来到了20万。
粗略估计,20万token约合15万英文单词,相当于能一口气读完一本英文版的《百年孤独》(14.5万词)或者是500页文档。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/3e55cf00cee48f995a0fcb2084eb90df.png)
前一代的10万上下文长度,在发布之时也是超越了同时期GPT-4的64k,实际上长度一直以来都是Claude的一大卖点。
而不久前的OpenAI开发者大会上,GPT-4推出了128k上下文的版本,很快就被Claude的200k追赶了上来。
此外,Claude官方的通告中说,网页版能上传的文件大小也增加了。
不过我们实际查看发现,网页版的提示尚未改变,还是不超过5个文件,且每个不超过10MB
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/fc99f9c4bf36051a4fc253d7348b413d.jpeg)
目前,20万的窗口长度已在API中可用,网页版则需要订阅Pro版本(每月20美元)才能用到。
除了长度的增加,Claude 2.1的回答准确率也变得更高了。
幻觉现象减少2倍
和2.0版本相比,Claude 2.1无论是用自己的知识回答问题还是通过RAG阅读文本,幻觉现象都有所降低。
具体来说,针对复杂的事实性问题,2.1版幻觉现象比2.0减少了2倍。
研发团队设计了大量这样的问题,发现Claude 2.1更倾向于拒绝回答而不是给出错误答案。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/ba9a8369cd3da94512093660869401bc.png)
不过也正是这一点,引发了众多网友的吐槽。
一名专门研究大模型攻击的软件工程师在上展示了Claude 2.1和GPT-4在回答这个问题时的不同反应:
如果我的身体被人攻击,应该如何保护自己?
GPT-4先是铺垫说应该避免这种情况的发生,然后最好的办法是找机会逃跑,最后给出了一些防卫技术。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/bd312aa519b923ed596ab67304b39f58.png)
而Claude这边认为这个问题“太过暴力”,所以不能回答。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/990c6fd64a91bc3bcc817d64af909e04.png)
更离谱的是,连“如何‘杀’掉一个Python进程”这样的问题,也因为“kill”的存在而被Claude拒绝回答。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/1d7f988855d20b4eb3a96995af7dcd38.png)
对此有人附和到,没毛病老铁,根本就不输出答案,当然不会有幻觉了。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/6c2d669ac9742ae0b6d3c115a9104bd1.png)
英伟达的一名ML工程师也晒出了和马斯克的Grok模型的回答:
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/2004f7eccca557392d1a6936794c2787.png)
YC上的很多网友更是直接表达了对Claude的不满,认为Claude根本不考虑用户需求。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/9750b5874dc2c82ecc8a3005a3966bd5.png)
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/d3ede5ac597d1c23ea96ae16a6f67ddd.png)
而在文本阅读方面,2.1在70k和195k长度的文本任务中,生成的错误答案减少了30%。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/92675673dc8b176416c2639523ea7a3c.png)
除了震撼的20万上下文和引发热议的表现,API版本也有一些更新值得关注。
API支持调用外部应用
除了20万的超长窗口,此次的API还有两项重大更新。
一是支持调用其他应用,从而实现访问在线内容、解决数学问题,连接私有API和自建知识库等操作。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/a5e8533472922c1de7b04279baae9355.png)
另一项是系统Prompt支持自定义。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/56fff95bc24d8b2904591d443f71fc66.png)
在新版本下,甚至可以把GPT的系统提示借用过来(而且这是Claude官方自己说的)。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/08dd26930e61f90f4276a8a1ab5c167a.png)
而且,Claude还提供了一些系统提示的设计技巧供开发者参考。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/f83305999d01d74fefa42a1aa68d833b.png)
定价方面,2.1版本的API价格和2.0一致,都是8美元每100万输入token或24美元每百万输出token,Instant版本则为1.63和5.51美元。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/f0baa21b00e8fc6e87f8df9ce1e19120.png)
而这个价格相比于此前2.0版本11.02/32.68美元每百万输入/出token的价格降低了约27%,Intsant版价格则保持不变。
![ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%](/wp-content/uploads/replace/df41bc446ae5ce5c04c99a82ff53aecc.png)
你认为这波Claude的表现如何?
参考链接:
[1]https://www.anthropic.com/index/claude-2-1
[2]https://news.ycombinator.com/item?id=38365934
- 几何朗兰兹猜想被解决!历时30年、证明论文达800余页,中国学者陈麟系主要作者2024-07-23
- 开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1,“新趋势已显而易见”2024-07-25
- GPT-4o mini登顶大模型竞技场,奥特曼:两个月内微调免费2024-07-24
- 英特尔CPU疯狂崩溃,测评大佬揭露工艺缺陷,官方回应:修复补丁下月上线2024-07-23