专利概况
DeepSeek 旗下关联实体杭州深度求索人工智能基础技术研究有限公司公开了一项新专利，名称为「一种广度数据采集的方法及其系统」。该专利的核心目标在于显著削减数据采集环节对网络资源的占用。
核心机制
为达成上述目标，该专利设计并整合了若干关键机制：
- 构建网页元信息库：通过建立结构化的元信息存储体系，为后续采集决策提供数据基础。
- 引入下载额度分配机制：对下载任务实施额度化管理，从源头控制资源消耗。
- 择优下载与额度分配：依据优先级策略选择性地执行下载操作，并将额度精准分配至高价值目标。
- 采用独立的信息回灌队列：通过专用队列处理回灌数据，避免与其他流程产生资源竞争。
技术效果
上述机制协同作用，带来多重技术收益：一方面，有效降低了数据采集过程中的网络资源消耗，并减轻了对目标网站造成的流量压力；另一方面，提升了所采集数据的质量以及整体下载效率。最终，该方案能够为大语言模型等人工智能应用的训练任务，提供更为优质且高效的数据支撑。