# 检查你的AI代理在网页抓取上浪费了多少token **来源**: r/openclaw **作者**: u/Altruistic_Bus_211 **点赞**: 17 | **评论**: 23 **原文链接**: https://www.reddit.com/r/openclaw/comments/1s311lp/check_how_many_tokens_your_ai_agents_waste_on_web/ --- ## 正文 我检查了我的日志，每次我的agent抓取网页时，完整的原始HTML都会进入上下文。单个雅虎财经页面是704K token。其中大部分是导航栏、脚本、广告和垃圾信息。 我开始在HTML进入上下文之前剥离它： 雅虎财经：从704K减少到2.6K token 维基百科：从154K减少到19K Hacker News：从8.6K减少到859 如果你的代理定期抓取外部数据，检查你的日志。这可能是你没有意识到的最大成本。 我一直在使用这个，作为MCP服务器工作，所以OC会自动识别：https://github.com/Boof-Pack/token-enhancer --- ## 评论精选 ### u/WhilePrevious4370 (6 赞) 704K → 2.6K 太疯狂了——减少了99.6%。很好，你测量了而不是只是假设。 另一个值得跟踪的向量是*重复抓取*——我见过代理在单次会话中对同一个URL发出30-40次调用，因为没有缓存层告诉它们已经检索过该数据。你的HTML剥离很好地解决了每次抓取的成本问题，但在MCP层上的会话级缓存会完全关闭另一个循环。 有趣的时机——我现在正在构建一个工具，跟踪跨会话的MCP工具调用、错误率和每个工具的token消耗。你的token-enhancer会与这样的东西很好地配合。如果有兴趣，我会在它更完善时分享。 **回复 u/pyratellama69 (1 赞):** 好主意！ **回复 u/Altruistic_Bus_211 (1 赞):** 重复抓取说得好。代理实际上有一个内置的缓存层，所以第二次代理命中同一个URL时，它会立即从本地缓存返回，零API token。但你是对的，跨工具的会话级跟踪是缺失的部分。我绝对有兴趣看看你在构建什么，那种对token实际去向的可视性会有很大帮助。准备好了发链接。 ### u/Salt_Animator_6349 (2 赞) 真的兄弟，我以前不知道这个。现在我会留意日志了。 **回复 u/Altruistic_Bus_211 (2 赞):** 是的，日志很开眼界。告诉我你发现了什么。 **回复 u/Salt_Animator_6349 (2 赞):** 当然兄弟……你直接在系统上使用OpenClaw吗？ **回复 u/Altruistic_Bus_211 (2 赞):** 是的，本地运行。代理在同一台机器上运行，MCP服务器连接到OC，所以它会自动识别工具。 ### u/Aggressive-Arm-1182 (1 赞) 我正在努力让它达到1:1。r/AuraOS。实际上不会再有问题了。实际上要开始为自己服务，没有token限制——但有用户限制（真正的BETA）。现在正在崩溃，因为我使用的是愚蠢的免费API。 **回复 u/Altruistic_Bus_211 (2 赞):** 有趣，我会看看。你对HTML剥离采用什么方法？ **回复 u/Aggressive-Arm-1182 (1 赞):** 实际上只是每个会话结束时给你的.txt文件。它现在应该能够重新加载——但它使用的是ChatGPT的免费版本，我正在努力安装和配置OLLAMA **回复 u/Altruistic_Bus_211 (2 赞):** 不错，使用Ollama的本地方式是降低成本的方法。祝你设置顺利。 **回复 u/Aggressive-Arm-1182 (1 赞):** 发生了一些奇怪的事情。当我使用它时，我能听到我的硬盘在响应时发出刺耳的声音。（我认为是我的硬盘）。到底为什么会这样给我的硬盘带来压力？我要清理一些文件，重启并运行chkdsk，检查SMART——但它仍然不太明白为什么会给我的硬盘带来这样的压力。有什么线索吗？ **回复 u/jbijjer (3 赞):** 可能是内存使用过多，正在将内存交换到磁盘。你检查过内存使用情况吗？ **回复 u/Altruistic_Bus_211 (1 赞):** 听起来像是交换。如果Ollama使用的RAM超过了你的可用内存，你的OS就会分页到磁盘，硬盘就会发出刺耳的声音。在它运行时检查你的RAM使用情况 ### u/pyratellama69 (1 赞) 什么是aura os？我看到它创建历史记录和记忆。但它本身是一个AI，还是你把它附加到一个AI上，还是它专门用于OpenClaw或类似系统？ **回复 u/Aggressive-Arm-1182 (1 赞):** 我终于把它放在我自己的PC上，在我自己的服务器上运行了——运行中，但我还不能给出链接，因为我有一个HDD，我需要一个SSD，因为一次查询我就能听到我的HDD发出刺耳的声音！但它终于完全可用了，所以我即将投放重磅炸弹——希望今天！敬请关注r/AuraOS的更新