Результаты бенчмарков
Воспроизводимые снимки производительности в 6 предметных областях
Опубликован первый GPU-снимок: февраль 2026
Опубликован первый публичный GPU-снимок для ML: RTX 4000 SFF Ada, JAX 0.4.38 (CUDA), NextStat 0.9.0. Снимок упакован для Zenodo: закрепленное окружение, манифест базовой линии (включая метаданные GPU через nvidia-smi) и артефакты, валидированные схемами. Дальше будут новые наборы и конфигурации железа.
github.com/NextStat/nextstat-public-benchmarks →Обзор наборов
Программа бенчмарков охватывает 6 предметных областей. Для каждого набора есть отдельный пошаговый протокол (runbook), где зафиксированы наборы данных, эталоны, метрики и контракт корректности.
| Набор | Эталоны | Ключевая метрика | Статус |
|---|---|---|---|
| HEP | pyhf, ROOT/RooFit | Wall-clock (фит, скан, ранкинг), паритет NLL | Внутреннее |
| Pharma | nlmixr2, Torsten (Stan) | Время сходимости NLME, паритет параметров | Запланировано |
| Bayesian | CmdStanPy, PyMC | ESS/сек, доля дивергенций, R-hat | Внутреннее |
| ML | neos (JAX), pyhf | Пропускная способность градиентов, компиляция vs выполнение | Опубликовано |
| Time Series | statsmodels, filterpy | Пропускная способность Калмана, сходимость EM | Внутреннее |
| Econometrics | linearmodels, statsmodels | Wall-clock FE панелей, паритет DiD/IV | Внутреннее |
Текущие внутренние результаты (предпросмотр)
Эти числа получены из внутренних прогонов CI. Вслед за ними будут публичные воспроизводимые снимки с закрепленными окружениями и скачиваемыми артефактами.
| Нагрузка | NextStat | Эталон | Ускорение |
|---|---|---|---|
| MLE-фит (2 канала, 23 параметра) | 0.8 ms | pyhf: 30 ms | 37× |
| Профильный скан (30 точек) | 22 ms | ROOT: 19.3 s | 880× |
| Батч-тои 10k (CUDA) | 7.1 ms | pyhf: ~10 s | ~1400× |
| Ранкинг (23 систематики) | 18 ms | ROOT: 5.2 s | 289× |
Опубликованные снимки
GPU-снимок ML — 2026-02-09
| ID снимка | snapshot-ml-gpu-nextstat-20260209 |
| GPU | NVIDIA RTX 4000 SFF Ada Generation |
| ОС / Python | Ubuntu 24.04 / Python 3.12.3 |
| JAX | jax 0.4.38 + jax-cuda12-plugin + CUDA 12.6 (ptxas) |
| NextStat | 0.9.0 (cp312, manylinux_2_34_x86_64) |
| SHA-256 wheel-пакета | 6c1126becb02ab1582c04c1399a09d928… |
| SHA-256 архива Zenodo | 09e1f929170071712d0f3603e0b7ce81… |
Содержимое: baseline_manifest.json (метаданные GPU через nvidia-smi), snapshot_index.json, результаты по кейсам, README_snippet_ml.md. Упаковано в .tar.gz для депозита Zenodo.
GPU-снимок (CI, все наборы) — 2026-02-09
GitHub Actions: прогон →| ID снимка | snapshot-all-gpu-hetzner-rtx4000-2026-02-09 |
| Наборы | HEP + Pharma + Bayesian + ML |
| GPU | NVIDIA RTX 4000 SFF Ada (driver 580.95.05) |
| Коммит харнесса | 43b5869a58e4da0baf38c89ffa065b5ec114b307 |
| SHA-256 wheel-пакета | 6c1126becb02ab1582c04c1399a09d928… |
| SHA-256 архива | f8cdf20d5d71cd55e925385ea2d12951ac… |
Первый снимок, сформированный CI из публичного репозитория через publish_gpu.yml на self-hosted runner Hetzner. Включает все 4 набора, nextstat_wheel.whl, baseline_manifest.json, snapshot_index.json и README-фрагменты по наборам. Размер архива: 6,6 МБ.
Пакет репликации — 2026-02-09
Артефакты независимой репликации опубликованного снимка DOI 10.5281/zenodo.18542624. Включают выводы повторного прогона, snapshot_comparison.json и шаблон подписанного отчета.
SHA-256 архива: 228287839063bbcdc2e411370cf8addbb2eef58a…
План публикации
- Отдельный публичный репозиторий: nextstat-benchmarks с закрепленными окружениями
- Каждый набор получает DOI через Zenodo + CITATION.cff
- Артефакты CI: сырые результаты JSON, сводные таблицы, манифесты базовой линии
- Независимая репликация: внешние перезапуски с отчетами, подписанными GPG/Sigstore
- Покрытие в блоге при запуске каждого набора