AI
9个月前 (06-29)AI
Hugging Face推出大规模文本数据集FineWeb，它是专门为训练大语言模型而设计的。FineWeb数据集来源于Common Crawl的96个快照，包含15万亿个token，这些数据被用来训练性能更好的LLMs。此外，论文还介绍了FineWeb-Edu，这是一个从FineWeb中筛选出来的、专注于教育文本的子... 阅读全文
