数据来源 · 合规
LinkDigest 怎么读取公开内容
每个平台怎么打开、留下什么、平台拒绝时怎么办——按 2026 年 11 月 9 日的代码写成。用到住宅出口或访客标识的地方,这里都写明。 我们和这些平台都没有数据合作协议:任何一个入口随时可能关闭,平台状态页上有每个平台最近一次完整读取的时间。
简单说
代码守着的五条
- 只读公开内容,一次一条链接。主页、直播间、合集链接直接拒绝。
- 不登录平台账号。从不要、也不接受用户的 cookie 或密码。
- 验证码从不处理。平台拦截或拒绝时,读取停下,返回明确的 error_code,不扣积分。
- 媒体文件在请求返回前删除,留下的只有文本。
- 评论只取帖子公开分享页随帖子一起给出的前几条,从不抓整个评论区。
逐个平台
每个平台怎么打开
| 抖音 | 用抖音自己给第三方网站嵌入帖子用的播放器(open.douyin.com/player/video),在无头 Chromium 里打开,cookie 为空,由页面自己去请求这条帖子。播放器没有给出这条帖子时,这次读取以 platform_refused 结束,不扣积分,并给出上传和浏览器扩展两条路。2026 年 11 月 9 日之前,引擎这时还会再试抖音网页接口:注册一个访客会话(ttwid),带生成的浏览器指纹(s_v_web_id、UIFID),经住宅出口发出。2026 年 10 月 9 日起抖音的安全系统一直拒绝这一步;它的作用是绕过这层安全系统,所以我们把它关了。现在读抖音不带任何 cookie,也不走出口。 |
| 小红书 | 读笔记的公开分享页,就是没登录的手机看到的那一页。我们自己的地址拿不到笔记时(通常是小红书的验证码页或登录页),同一条笔记的 rednote.com 公开页会经住宅出口再请求,最多 40 秒(不带分享 token 的链接,只在被墙拦住时才这样做)。碰到墙的出口休息 10 分钟;同一个地址两次读取至少间隔 2 秒。小红书说这条笔记本身无法浏览时,不走任何出口。验证码从不处理:每个出口都被拦,就停下来说明原因。 |
| B站 | 用 B 站的嵌入播放器(player.bilibili.com),在无头 Chromium 里打开,cookie 为空。B 站对我们的云服务器地址返回 -412「request was banned」,所以播放器页面先经住宅出口打开(最多两个),再试我们自己的地址;视频流先直连下载,直连被拒才走那个出口。 |
| 微博 | 在无头浏览器里打开 m.weibo.cn 的帖子页。没登录的浏览器,微博会自己发一个游客身份;读完什么都不留。「关注可见」的帖子直接拒绝。 |
| 图片帖走 Instagram 的嵌入页(/embed/captioned/),只能看到多图帖的第一张;Reels 和视频帖走 yt-dlp。 | |
| YouTube | 由 Google 的 Gemini 模型在 Google 那边看视频(经 OpenRouter)。为了拿简介和日期会请求一次视频页,只带一个 cookie:隐私同意选项,设为「全部拒绝」。 |
| TikTok、X、播客、公众号、网页 | 公开页面和平台自己的公开接口:yt-dlp、oEmbed、X 的嵌入接口、小宇宙的公开单集页、Apple Podcasts 的订阅源。不登录。 |
帖子页面用普通的桌面 Chrome User-Agent 请求,或者直接在真实的无头 Chromium 里打开,因为多数平台只把公开帖子给浏览器看。 我们自己的辅助请求——搜索框联想词、免费的链接解析、维基接口、webhook——User-Agent 里写明 LinkDigest,例如 LinkDigest/1.0 (+https://linkdigest.dev)。联想词每个主题最多 12 次请求、缓存一天,被拒就跳过,从不换个身份重试。
平台说不的时候
给出明确的答复,不扣积分
| platform_refused | 503 + Retry-After | 平台的安全系统拒绝自动读取。不是你的链接有问题,不扣积分。how_to_read_now 写明还能怎么读(上传保存的文件,或用浏览器扩展);用 Key 提交的链接(抖音除外)最多保留 7 天,平台放行后自动读取。 |
| not_served | 422 | 平台不通过我们读取的那个入口提供这一条,又没说它已删除(抖音播放器的 core_dep)。这条链接到此为止,不扣积分。 |
| 422(无 code) | 422 | 已删除、私密、需要登录,或者不是一条帖子:主页、直播间、音乐页、合集链接会被拒绝,并说明该贴什么。不扣积分。 |
| media_too_long | 402 | 超过当前套餐能读的时长。什么都没读,不扣积分。 |
积分只在一次读取完成时才记账,所以被拒的读取没有什么需要退。字段细节见 中文文档。
在你自己的浏览器里
上传和浏览器扩展
上传(/app/upload):你从 App 里保存的视频,在你自己的设备上转成 16 kHz 音频和几张画面,只有这些发给我们。浏览器扩展在你按下按钮之前访问不了任何页面;按下后只录这个标签页正在播放的内容——声音和每隔几秒一帧,最长 10 分钟。 「读这一页的笔记」按钮最多收集页面上给你看的 50 条笔记链接(只有你要求时才往下滚几屏),不点击任何东西,也不碰你的登录状态。 录制得到的摘要只属于你的账号,不进缓存,别人拿不到。
保留期限
存什么、存多久
- 视频、音频、图片:不存。每次读取一个临时目录,请求返回前删除。
- 摘要文本:按链接缓存 30 天(读到的内容太少时只缓存 1 小时),同一条公开链接谁来读都直接返回这份缓存。
- 公开文案库:在控制台或不带 Key 完整读取的公开帖子(API、MCP、批量读取一律不算),要点不少于 3 条的, 会生成一个 /d/… 页面,最多保留 365 天:要点和逐字核对过的引文、开头钩子、热评、画面文字摘录, 以及逐字稿的前 300 字,并链接原帖。需要下架,请在 /app/feedback 告诉我们。
- 你的账号:邮箱、每个 API Key 的哈希、每次读取的记录(链接、时间、积分),保留到你要求删除为止;批量结果 7 天; 等平台放行的链接最多 7 天;不带访客标识的浏览计数 180 天;IP 地址只为限流保留几个小时。
删除账号:发邮件到 privacy@linkdigest.dev, 账号、Key、读取记录、事件、批量、订阅日报、反馈和雷达记录全部删除。公开链接的缓存摘要不含任何身份信息,会保留。 完整说明见 隐私政策,使用规则见 服务条款。
读取量
为读链接而做,不为批量抓取
只有一个引擎实例,同时只读几条(截至 2026 年 11 月 9 日是 2 条)。每个账号每小时最多 60 次 API 请求(Studio 300 次), 一批最多 200 条链接;所有账号合计的模型花费有 24 小时上限,到了就停止新的读取。 内容经 OpenRouter 发给模型服务商(语音、视觉、文本),搜索经网页搜索 API,付款经 Stripe,邮件经 Resend,全部跑在 AWS 上。
常见问题
- 你们用 cookie 吗?会登录平台账号吗?
- 任何读取都不登录平台,也从不向用户要、也不接受用户的 cookie 或密码。读取从空的 cookie 开始;页面加载时自己设的访客 cookie,和任何浏览器一样会有。一处例外照实写:YouTube 的隐私同意 cookie(设为「全部拒绝」)。(抖音以前有一条带访客会话和生成指纹的备用路径,2026 年 11 月 9 日已关闭。)
- 你们用代理吗?
- 用。付费的住宅出口,只用在两处:B 站播放器和它的视频流、我们自己的地址拿不到的小红书笔记。抖音的备用路径以前也用,2026 年 11 月 9 日已关闭。其余都从我们在 AWS 上的服务器直接读。不管经不经出口,验证码都不处理。
- 能不能把一个博主的全部内容、或者一个平台的数据批量拿下来?
- 不能。每次读取是一条链接里的一条帖子;主页链接会被拒绝。搜索接口每次最多返回 10 条,来自网页搜索 API 已经收录的内容(YouTube 用它自己的公开搜索),从不调用小红书、抖音自己的搜索。一批链接:免费 10 条、Dev 50 条、Studio 200 条。我们不卖帖子数据集。
- 视频会被存下来吗?
- 不会。视频、音频、图片在读取期间写进临时目录,请求返回前删除。保留的只有文本:逐字稿、画面文字、图片描述和据此生成的摘要。
English: How LinkDigest reads public posts.