О статистическом обучении

Версия: 20 января 2006.
Постановка задачи статистического обучения.
Входы и выходы.
Классификация и регрессия.
Формальная постановка задачи распознавания.
Методы обучения: терминология и общие соображения.
Параметрические и непараметрические методы.
Дискриминантные и моделирующие методы обучения.
Байесовский классификатор и байесовская регрессия.
Способность распознавателя к обобщению и регуляризация.
Вероятностный подход к регуляризации.
Пример: вероятностно мотивированные функции ошибок.
Пример: метод ближайшего соседа (NN, nearest neighbor).
Обучение с учителем и без.
Другие задачи статистического обучения.
Векторное квантование.
Линейные распознаватели: обзор.
Линейная регрессия.
Минимизация квадратичной ошибки.
Минимизация квадратичной ошибки с регуляризацией.
Минимизация других ошибок.
Линейная классификация.
Оценка вероятностей классов (logistic regression).
Линейный дискриминантный анализ (LDA, дискриминант Фишера).
Перцептрон Розенблатта.
Классификаторыс разделяющейполосой (margin classifiers).
Пространства признаков для линейных распознавателей.
Базисные функции.
Ядра (kernels).
Слабые распознаватели.
Линейные распознаватели и ядра: некоторые подробности.
Свойства ядер и теорема о реализации.
Построение ядер.
Ядра и линейная разделимость.
Сверточные ядра.
Метод опорных векторов (SVM, SVC, SVR).
Двухклассовая классификация.
Опорные и другие векторы.
Проблемы очучения.
Регрессия.
Регрессия и классификация.
Многокласовая классификация.
Сведение многоклассовой классификации к последовательности двуклассовых.
Метод уместных векторов (RVM).
RVM для регрессии.
RVM для двухклассовой классификации.
RVM для многомерной регрессии и многоклассовой классификации.
Сравнение RVM и SVM.
Нелинейные распознаватели и методы их обучения.
Нейронные сети.
Многослойные перцептроны.
RBF-сети.
Векторное квантование, подробности.
Обучение с неполными данными.
Пропущенные данные.
Цензурированные данные.