К содержимому
AETRONConstructor
Мои нейронетыРеестрSpacesДокументацияFAQ
Войти
AETRON

Конструктор ИИ-сервисов на децентрализованной сети GPU майнеров AETRON.

ПродуктСоздать нейронетКаталог моделейДатасетыSpacesМои выплаты
РесурсыДокументацияAPIСроки и статусыВопросы и ответы
Сетьaetron.ioПриватность и проверка
© 2026 AETRONТестовая сеть
Датасеты/fineweb

FineWeb

Hugging Face
Открыть на Hugging Face ↗
ТекстODC-By-1.0публичныйTrusted24B строк
web-corpuscommoncrawlenglishdeduplicated15t-tokens

Англоязычный веб-корпус на 15T токенов из 96 срезов CommonCrawl — открытый стандарт для предобучения.

Обзор

FineWeb — англоязычный веб-корпус на 15 триллионов токенов, выпущенный Hugging Face и вытопленный из 96 срезов Common Crawl за 2013–2024 годы. Каждый документ прошёл фильтрацию по URL, определение языка, дедупликацию MinHash и набор эвристик качества в духе C4/Gopher, причём каждое решение проверялось отдельными абляционными прогонами обучения. Модели, предобученные на FineWeb, при равных вычислениях устойчиво превосходят обученные на C4, RefinedWeb, Dolma или The Pile.

Состав

Около 23.5 миллиарда документов в шардах Parquet, разбитых по срезам обхода. В каждой строке — очищенный текст, исходный URL, метка времени обхода, оценка языка и число токенов. Официальные подмножества (sample-10BT, sample-100BT, sample-350BT) делают уменьшенные эксперименты и абляции данных дешёвыми.

Чем полезен для обучения и оценки нейронетов

Качество данных предобучения — главный рычаг стоимости для LLM-нейронетов. FineWeb даёт создателям воспроизводимый базовый корпус под разрешительной лицензией (ODC-By): запиньте ревизию, отдайте шарды майнерам потоком и обучайте базовые модели, происхождение данных которых полностью проверяемо на цепи.

Обзор
Модальность
Текст
Назначение
Предобучение
Сочетается с
LLM
Статус
активен
Данные
Строк
24B
Размер
40.9 TB
Форматы
parquet
Языки
en
Доступ
публичный
Лицензия
spdx
ODC-By-1.0 ↗
Коммерческое использование
✓
Редистрибуция
✓
Источник и provenance
Репозиторий
HuggingFaceFW/fineweb ↗
Ревизия
не пиннута
Добавлен
2026-06-10
Проверен
2026-06-10