v2.4 · шардовая раздача с докачкой до 50 ТБ
Приватное хранение и раздача многотерабайтных обучающих датасетов для команд data science. Версионируйте каждую ревизию, раздавайте шарды .parquet и .arrow на скорости канала и держите всё внутри своего контура безопасности.
$ pip install dataset-grid-cli# авторизация токеном рабочего пространства
$ dgrid login --token $DG_TOKEN
# заливка датасета (шардами, с докачкой)
$ dgrid push ./data acme/ru-web-corpus-2026
shard-00001-of-00420.parquet 4.00 GB ████████████ 100%
shard-00002-of-00420.parquet 4.00 GB ████████████ 100%
shard-00003-of-00420.parquet 4.00 GB ███████░░░░░ 61%
# выгрузка с проверкой sha256
$ dgrid pull acme/ru-web-corpus-2026@8c1e0a2Самые скачиваемые публичные датасеты за неделю.
vault-labs /
Очищенный русскоязычный веб-корпус для предобучения языковых моделей: 412 млн документов, дедупликация по MinHash, разметка языка и качества.
volga-ai /
12 040 часов русскоязычных записей колл-центров с транскриптами и таймкодами для обучения моделей распознавания речи.
northgrid /
2,3 млн размеченных снимков дефектов на производственных линиях: сегментация, bbox и индекс Arrow для стриминговой выборки.
01 / storage
Шарды делятся на блоки по 8 МиБ с ключом SHA-256. Неизменённые шарды при новой ревизии не загружаются повторно.
02 / transfer
HTTP Range и параллельные потоки загружают канал 10 Гбит/с полностью. Прерванная передача продолжается с места остановки.
03 / access
SAML 2.0 / OIDC, SCIM-провижининг, токены только на чтение для CI и обучающих кластеров.
04 / compliance
Хранение в дата-центрах Москвы и Санкт-Петербурга, полный журнал аудита, on-premise-редакция для закрытых контуров.
Бесплатный тариф для исследователей. Тарифы Team и Business — от 1 690 ₽ за место.