Англоязычный веб-корпус на 15T токенов из 96 срезов CommonCrawl — открытый стандарт для предобучения.
FineWeb — англоязычный веб-корпус на 15 триллионов токенов, выпущенный Hugging Face и вытопленный из 96 срезов Common Crawl за 2013–2024 годы. Каждый документ прошёл фильтрацию по URL, определение языка, дедупликацию MinHash и набор эвристик качества в духе C4/Gopher, причём каждое решение проверялось отдельными абляционными прогонами обучения. Модели, предобученные на FineWeb, при равных вычислениях устойчиво превосходят обученные на C4, RefinedWeb, Dolma или The Pile.
Около 23.5 миллиарда документов в шардах Parquet, разбитых по срезам обхода. В каждой строке — очищенный текст, исходный URL, метка времени обхода, оценка языка и число токенов. Официальные подмножества (sample-10BT, sample-100BT, sample-350BT) делают уменьшенные эксперименты и абляции данных дешёвыми.
Качество данных предобучения — главный рычаг стоимости для LLM-нейронетов. FineWeb даёт создателям воспроизводимый базовый корпус под разрешительной лицензией (ODC-By): запиньте ревизию, отдайте шарды майнерам потоком и обучайте базовые модели, происхождение данных которых полностью проверяемо на цепи.