Презентация Линейная дискриминантная функция Фишера

Смотреть слайды в полном размере
Презентация Линейная дискриминантная функция Фишера


Вашему вниманию предлагается презентация «Линейная дискриминантная функция Фишера», с которой можно предварительно ознакомиться, просмотреть текст и слайды к ней, а так же, в случае, если она вам подходит - скачать файл для редактирования или печати.

Презентация содержит 12 слайдов и доступна для скачивания в формате ppt. Размер скачиваемого файла: 173.00 KB

Просмотреть и скачать

Pic.1
Линейная дискриминантная функция Фишера Данный подход не требует предположений о нормальном распреде
Линейная дискриминантная функция Фишера Данный подход не требует предположений о нормальном распределении данных. Пусть имеется обучающая выборка: x1, x2, . . . xN , где: N1 элементов из множества X1 N2 элементов из множества X2 Общее число элементов N = N1 + N2 Задача состоит в построении разделяющей функции для двух классов: X1 = {xi} i=1. . N1 X2 = { } j=1. . N2
Pic.2
Задача Фишера состоит в построении вырожденного линейного преобразования: Задача Фишера состоит в по
Задача Фишера состоит в построении вырожденного линейного преобразования: Задача Фишера состоит в построении вырожденного линейного преобразования: y = WT , ║W║ = 1 y = ║W║║x ║cos( ) фактически это выражение дает нам проекции векторов X на вектор W У Фишера такое преобразование рассматривается как проекция на ось W: { }  {y} = Y
Pic.3
Нужно найти такой вектор W, чтобы множества Y1 и Y2 были наиболее разнесены (то есть, удалены друг о
Нужно найти такой вектор W, чтобы множества Y1 и Y2 были наиболее разнесены (то есть, удалены друг от друга). Нужно найти такой вектор W, чтобы множества Y1 и Y2 были наиболее разнесены (то есть, удалены друг от друга). Критерий разнесения может быть выбран разным. Исходить будем из следующих параметров: для каждой выборки определим среднее значение: mi = xi = yi = WTxi = WT{ x} = WT mi Далее мы строим | - |: | - | = WT( ) - это скалярная величина
Pic.4
Далее проблема состоит в оценке функции разброса: Далее проблема состоит в оценке функции разброса:
Далее проблема состоит в оценке функции разброса: Далее проблема состоит в оценке функции разброса: = (y - )2 - разброс внутри класса = + - суммарный разброс Разброс внутри класса – это нечто вроде дисперсии, только ненормированной. - средняя дисперсия выборки в Y.
Pic.5
Далее идет дело техники: как это вычислить и как оптимизировать. Далее идет дело техники: как это вы
Далее идет дело техники: как это вычислить и как оптимизировать. Далее идет дело техники: как это вычислить и как оптимизировать. Мы определяем матрицу разброса внутри класса: = (WTx - WT mi)2 = WT (x - mi) WT(x - mi) = = WT (x - mi)(x - mi)T W = WT [ (x - mi)(x - mi)T]W = =WT Si W Si – матрица разброса внутри Xi.
Pic.6
Таким образом получаем следующий результат: Таким образом получаем следующий результат: = WT Si W S1
Таким образом получаем следующий результат: Таким образом получаем следующий результат: = WT Si W S1 + S2 = SW - суммарная матрица разброса для всех результатов. + = WT SW W Таким же образом можно представить ( - )2: ( - )2 = (WT - WT )2 = WT( )WT( ) = = WT( )( )T W = WT SB W Матрица SB - матрица разброса между классами
Pic.7
Тогда мы получаем искомый критерий в следующем виде: Тогда мы получаем искомый критерий в следующем
Тогда мы получаем искомый критерий в следующем виде: Тогда мы получаем искомый критерий в следующем виде: J( ) = Далее стоит задача оптимизации данного отношения (мы должны его максимизировать). Рассмотрим свойства матрицы SB: SB = ( )( )T 1. это квадратная матрица размерности n  n 2. произведение этой матрицы на произвольный вектор SB = ( )( )T = С( ) C - скаляр дает вектор, который по направлению совпадает с разностью ( )
Pic.8
3. ранг матрицы SB равен единице, это легко показать, если представить ее в виде ddT: 3. ранг матриц
3. ранг матрицы SB равен единице, это легко показать, если представить ее в виде ddT: 3. ранг матрицы SB равен единице, это легко показать, если представить ее в виде ddT: d1d1 d1d2 . . . d1dn d2d1 d2d2 . . . d2dn . = ( ) . . dnd1 dnd2 . . . dndn - матрица вырожденная и ранг ее равен единице.
Pic.9
Условная оптимизация по Лагранжу Условная оптимизация по Лагранжу Запишем функцию Лагранжа: F = WT S
Условная оптимизация по Лагранжу Условная оптимизация по Лагранжу Запишем функцию Лагранжа: F = WT SB W -  WT SW W, где  -произвольная константа Эта функция зависит от W Мы должны найти производную этой функции по вектору : = 2 SB - 2  SW = 0 = 2A - такое правило существует, его легко доказать Получаем следующее: SB W -  SW W
Pic.10
C( ) =  SW , отсюда окончательно имеем: C( ) =  SW , отсюда окончательно имеем: = SW-1 ( ) . Так к
C( ) =  SW , отсюда окончательно имеем: C( ) =  SW , отсюда окончательно имеем: = SW-1 ( ) . Так как вектор произвольной длины, положим =1, тогда имеем : = SW-1 ( ). Соответственно линейный дискриминант Фишера получается в следующем виде: y = T = XTW = SW-1( ) - это проекция вектора на ось W
Pic.11
Линейная дискриминантная функция Фишера, слайд 11
Pic.12
Матрица SW = S1 + S2  N  пропорциональна суммарной матрице ковариации и соответственно для случая
Матрица SW = S1 + S2  N  пропорциональна суммарной матрице ковариации и соответственно для случая нормального распределения исходных данных дискриминант Фишера дает результат такой же, как и байесовская линейная дискриминантная функция: Матрица SW = S1 + S2  N  пропорциональна суммарной матрице ковариации и соответственно для случая нормального распределения исходных данных дискриминант Фишера дает результат такой же, как и байесовская линейная дискриминантная функция: XT -1(M1 – M2) + C1 . . .  C2


Скачать презентацию

Если вам понравился сайт и размещенные на нем материалы, пожалуйста, не забывайте поделиться этой страничкой в социальных сетях и с друзьями! Спасибо!