Как разделить данные на train/validation/test и настроить кросс-валидацию в scikit-learn

Высокая оценка модели мало говорит о будущем качестве, если данные проверки уже повлияли на выбор признаков или настроек. Правильное разбиение отделяет обучение от решений о модели и от окончательной оценки. Ниже — авторский учебный маршрут в scikit-learn с классификацией и регрессией; доли выборок и seed выбраны для упражнения, а не как универсальный стандарт.
Train, validation и test: три разных роли
На train модель обучает параметры. Validation помогает выбирать варианты: признаки, гиперпараметры и сам подход. Test оставляют для финальной проверки после этих решений. Если после каждого просмотра тестовой оценки менять модель, тест постепенно становится ещё одной валидацией.
Кросс-валидация может заменить одно выделенное validation-разбиение внутри данных разработки. Но отдельный финальный test всё равно нужен, если вы хотите получить оценку на данных, не участвовавших в выборе. Документация scikit-learn прямо описывает это различие. Для временных и группированных наблюдений принцип сохраняется, но способ отделения данных должен учитывать их структуру.
Сначала показать обычный hold-out
Используем встроенный Iris только как небольшой учебный набор классификации. Первый блок оставляет 20% под финальный тест, затем четверть оставшейся части под validation: получаем 60/20/20 от исходных данных.
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
X, y = load_iris(return_X_y=True)
X_dev, X_test, y_dev, y_test = train_test_split(
X, y, test_size=0.20, stratify=y, random_state=7
)
X_train, X_val, y_train, y_val = train_test_split(
X_dev, y_dev, test_size=0.25, stratify=y_dev, random_state=7
)
holdout_model = make_pipeline(
StandardScaler(), LogisticRegression(max_iter=1000)
)
holdout_model.fit(X_train, y_train)
print("validation accuracy:", holdout_model.score(X_val, y_val))
print("sizes:", len(y_train), len(y_val), len(y_test))
Ожидаемые размеры — 90, 30 и 30. stratify сохраняет представление классов при разбиении настолько, насколько позволяют размеры групп. Это не решает проблему любых редких классов: если объектов слишком мало, нужная схема может оказаться невозможной. Тестовый набор пока не используем для выбора.
Один hold-out прост и удобен для первичного опыта, но оценка зависит от конкретного разделения. CV позволяет увидеть несколько валидационных результатов на данных разработки, ценой повторных обучений. Она не добавляет новых независимых наблюдений и не исправляет неверный способ формирования исходной выборки.
Вместо одного validation — фолды внутри dev
Следующий блок — альтернативная стратегия выбора на тех же X_dev и y_dev. Не нужно сохранять X_val как отдельный неприкосновенный набор, а затем случайно включать его в CV под тем же названием. Здесь вся dev-часть участвует в кросс-валидации, test остаётся снаружи.
from sklearn.model_selection import StratifiedKFold, cross_val_score, cross_validate
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=7)
candidate = make_pipeline(
StandardScaler(), LogisticRegression(max_iter=1000)
)
scores = cross_val_score(candidate, X_dev, y_dev, cv=cv, scoring="accuracy")
print("fold accuracy:", scores)
print("mean accuracy:", scores.mean())
report = cross_validate(
candidate, X_dev, y_dev, cv=cv,
scoring={"accuracy": "accuracy", "f1_macro": "f1_macro"}
)
print("accuracy:", report["test_accuracy"])
print("macro F1:", report["test_f1_macro"])
cross_val_score возвращает оценки одной выбранной метрики; cross_validate позволяет запросить несколько и получить дополнительные сведения, например время обучения. Поля test_accuracy и test_f1_macro здесь относятся к валидационной части каждого CV-фолда, а не к нашему отложенному X_test. Совпадение слова test в имени поля не означает использование финального теста.
Два вызова показаны для сравнения интерфейсов и повторно выполняют обучение по фолдам. В рабочем эксперименте обычно достаточно нужного из них. После выбора зафиксированного варианта можно обучить его на всей dev-части и один раз оценить на финальном тесте:
candidate.fit(X_dev, y_dev)
print("final test accuracy:", candidate.score(X_test, y_test))
Если результат разочаровал, это информация о качестве выбранного решения, а не разрешение бесконечно подбирать seed под тест. Для следующего цикла улучшений нужно продумать, как сохранить независимую оценку.
Почему препроцессинг должен быть внутри Pipeline
StandardScaler оценивает параметры преобразования по данным обучения. Если сделать fit_transform на всём X до разделения, информация из будущего test или валидационного фолда попадёт в преобразование. То же касается многих операций заполнения пропусков и отбора признаков.
Pipeline передаётся в CV целиком: на каждом фолде обучение преобразований происходит на его train-части, а к проверочной применяется уже полученное преобразование. Не выносите обучаемый отбор признаков наружу только потому, что финальный классификатор остался внутри pipeline. Документация о типичных ошибках отдельно рекомендует сначала разделять данные и не вызывать fit на тестовой части.
При этом Pipeline не распознает утечку, уже записанную в колонке: например, признак из будущего исхода или сведения об одном человеке по обе стороны разделения. Выбор признаков и схема разбиения остаются частью содержательной работы.
Выбрать CV по устройству наблюдений
| Ситуация | Схема для рассмотрения | Что проверить |
|---|---|---|
| Обычные независимые наблюдения регрессии | KFold | Уместно ли случайное перемешивание, нет ли скрытых групп и времени |
| Классификация | StratifiedKFold | Число объектов каждого класса и метрики по классам |
| Несколько строк одного клиента, устройства или объекта | GroupKFold | Одна группа не должна оказаться в обеих частях фолда |
| Прогноз во времени | TimeSeriesSplit либо предметная временная схема | Обучение предшествует проверке, признаки доступны на момент прогноза |
Для GroupKFold число различных групп должно позволять выбранное число фолдов; передавайте groups и проверяйте фактические разбиения. Сам финальный hold-out также должен быть независим по группам. Обычный случайный train_test_split не становится групповым от того, что последующая CV использует группы.
Для временного ряда случайное перемешивание может дать обучение на будущем и оценку на прошлом. TimeSeriesSplit строит последовательные разбиения; документация также оговаривает равномерный временной шаг для сопоставимых длительностей проверочных частей. Нельзя автоматически применять пример с Iris к прогнозу продаж по датам.
Регрессия: тот же принцип, другая метрика
Отдельный воспроизводимый опыт создаёт искусственные данные. Здесь нет классов для stratify, а качество рассматриваем через абсолютную ошибку:
from sklearn.datasets import make_regression
from sklearn.model_selection import KFold, train_test_split, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_absolute_error
Xr, yr = make_regression(n_samples=200, n_features=6, noise=10, random_state=7)
Xr_dev, Xr_test, yr_dev, yr_test = train_test_split(
Xr, yr, test_size=0.20, random_state=7
)
regression = make_pipeline(StandardScaler(), Ridge(alpha=1.0))
reg_cv = KFold(n_splits=5, shuffle=True, random_state=7)
negative_mae = cross_val_score(
regression, Xr_dev, yr_dev, cv=reg_cv,
scoring="neg_mean_absolute_error"
)
print("CV MAE:", -negative_mae.mean())
regression.fit(Xr_dev, yr_dev)
print("test MAE:", mean_absolute_error(yr_test, regression.predict(Xr_test)))
В scoring используется отрицательная версия ошибки, чтобы следовать соглашению оценщиков «больше — лучше»; для привычного MAE меняем знак. Это не отрицательная физическая величина ошибки модели. Число оценивайте в единицах целевой переменной, а не сравнивайте с accuracy классификации.
Что записать вместе с итоговой оценкой
Зафиксируйте версию данных, признаки, модель, параметры разбиения, seed, метрики и назначение каждого набора. Для несбалансированной классификации одной accuracy может быть недостаточно: посмотрите распределение классов и подходящие задаче дополнительные показатели. Стратификация сохраняет состав, но не превращает плохую метрику в хорошую.
random_state делает выбранную случайную процедуру воспроизводимой; он не доказывает её представительность. Нельзя многократно искать «удачный» seed и затем представить лучший результат как независимую оценку. Полезная проверка модели — это объяснимый эксперимент с закрытым финальным тестом, а не соревнование по получению максимальной цифры на уже знакомых данных.



