Common Crawl

Common Crawl 是一个非营利组织运营的开放网络爬取项目，定期对整个互联网进行大规模爬取，并将结果作为开放数据集免费提供给全球研究社区。每月爬取数十亿网页，数据以 WARC/WAT/WET 格式存储在 AWS 公开数据集中，是训练大语言模型、研究互联网结构和进行大规模文本挖掘的核心数据基础设施。