谁来评测评测者?好评测的标准
谁来评测那些评测者? 一个好的评测是: 短暂的。它只截取某一时刻的状态与能力。 有依据的。它直接衡量你关心的任务和数据上的表现。 具体的。它针对的是期望结果本身,而不是其某种代理指标。 记好了! 🔗 阅读原文 via AIHOT · https://aihot.news/items/op6i25a61eomfo7jbjrwtzbjp
正在加载简报…
共 2,298 条 · 当前 829–840 条
谁来评测那些评测者? 一个好的评测是: 短暂的。它只截取某一时刻的状态与能力。 有依据的。它直接衡量你关心的任务和数据上的表现。 具体的。它针对的是期望结果本身,而不是其某种代理指标。 记好了! 🔗 阅读原文 via AIHOT · https://aihot.news/items/op6i25a61eomfo7jbjrwtzbjp
永远不会删除这个应用。 🔗 阅读原文 via AIHOT · https://aihot.news/items/e5dh8hp544kfqw5t11le8wuoy
Elon Musk 转发 @BrianRoemmele 演示的 Grok Bot,它能用 Grok 语音打电话订餐厅:自行查找餐厅号码、确认时间姓名和回电号码、复述信息待确认后再拨号。通话结束后用英文汇报结果并引用餐厅原话,可写入日历或提供 Apple Calendar 文件;Bot 接入 ClawCall 免费额度(30 次通话或 30 分钟),内置不提供信用卡信息、不主动致电等护栏,并开放共享链接 https://x.ai/bot/...
2026年90%的软件工程: 工程师1 → AI:“构建这个并开一个PR” 工程师1 → 工程师2:“你能审查一下吗?” 工程师2 → AI:“审查这个PR” 工程师2 → 工程师1:“LGTM” 讽刺的是:两个工程师用的是完全相同的AI模型。 🔗 阅读原文 via AIHOT · https://aihot.news/items/qqv8q86dlxo6s8rtjhgs7h3ql
标签页太多。市场噪音太大。 把富途连接到 WorkBuddy,让你的投资组合进入对话。询问你的持仓、深入分析财报、探索估值假设,并在一个地方比较不同情景。 少切换。多思考。 🔗 阅读原文 via AIHOT · https://aihot.news/items/qg5oahlgqbdxejec9b91mau64
Ethan Mollick 转发并评论一份汇总:Delta 阻止 AI Agent 订机票,JPMorgan Chase 和 Charles Schwab 阻止 Agent 访问账户,Yelp 要求 Agent 付费数据授权,Amazon 已屏蔽 Grok bot 等购物 Agent。他认为在 AI 能代替用户操作电脑的时代,这种封锁并不是很稳妥的策略。 🔗 阅读原文 via AIHOT · https://aihot.news/it...
Character.AI 本周申请破产后,据 Bloomberg 披露的法律文件,Disney 同意向至少 60 名 Character.AI 员工发出录用邀约,占其大部分员工,预计年薪酬总额约 6000 万美元,绝大多数受邀员工已接受。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cwdlug2qd3tpdv0sxe5sep0o1
Hugging Face 联创 Thomas Wolf 用 napkin math 估算,Meta、NVIDIA、阿里、DeepSeek、Moonshot、Mistral 等约 35 家机构已在 Hugging Face Hub 免费共享价值近 $1B 的训练算力(按当前 GPU 租用价折算),而 2023 年底这一数字还不到 $40M。估算基于 72 个模型家族的官方算力数字加推断,未计入约 90 万个社区微调,并附可探索数据页面。 ...
Anthropic 为 6 名 METR 员工提供公司硬件、办公空间和与内部风险评估团队相当的内部工具访问权限,以自愿方式引入外部监督。METR 不接受 AI 公司捐款,Anthropic 也不能否决其分析报告的发布,但可要求隐去客户数据、律师委托特权信息和模型架构等内容。 🔗 阅读原文 via AIHOT · https://aihot.news/items/c4mwmq85nokang9v4f13tikya
由 Perplexity Computer 打造的赛博朋克风格 Roadster 自由漫游浏览器游戏:https://2049.pplx.app 🔗 阅读原文 via AIHOT · https://aihot.news/items/me71ywvn44806mn0g22bly558
今天在搞什么 🔗 阅读原文 via AIHOT · https://aihot.news/items/pcwbscohqy9tfq53w8i0ddmu0
斯坦福团队总结三年构建医疗 AI 基准的成果,PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,评测显示临床决策支持和管理流程得分最低;失败主要来自跨文档与系统传递信息时丢失上下文,两项基准均以合成数据、公开代码和排行榜开放。 🔗 阅读原文 via AIHOT ·...