Презентация - Методы анализа данных. Примеры задач. Иллюстрации

Смотреть слайды в полном размере
Презентация Методы анализа данных. Примеры задач. Иллюстрации


Вашему вниманию предлагается презентация на тему «Методы анализа данных. Примеры задач. Иллюстрации», с которой можно предварительно ознакомиться, просмотреть текст и слайды к ней, а так же, в случае, если она вам подходит - скачать файл для редактирования или печати.

Презентация содержит 131 слайд и доступна для скачивания в формате ppt. Размер скачиваемого файла: 11.24 MB

Просмотреть и скачать

Pic.1
Методы анализа данных Примеры задач. Иллюстрации Ганелина Наталья Давидовна Кафедра АСУ 12657@211. r
Методы анализа данных Примеры задач. Иллюстрации Ганелина Наталья Давидовна Кафедра АСУ 12657@211. ru
Pic.2
Структура курса Задачи и методы анализа данных Корреляционный анализ данных Регрессионный анализ дан
Структура курса Задачи и методы анализа данных Корреляционный анализ данных Регрессионный анализ данных Поиск ассоциативных взаимосвязей Кластеризация Классификация Снижение размерности многомерного признака. Отбор наиболее информативных показателей. Факторный анализ Исследование и прогнозирование временных рядов
Pic.3
Структура курса Генетические алгоритмы и эволюционное моделирование задач анализа данных Statistica
Структура курса Генетические алгоритмы и эволюционное моделирование задач анализа данных Statistica PolyAnalyst SPSS Deductor Excel
Pic.4
БРС Лабораторные работы: 40 баллов РГР: 40 баллов Зачет: 20 баллов «Автомат»: от 77 баллов
БРС Лабораторные работы: 40 баллов РГР: 40 баллов Зачет: 20 баллов «Автомат»: от 77 баллов
Pic.5
Рекомендуемая литература Айвазян С. А. , Бухштабер В. М. , Енюков И. С. , Мешалкин Л. Д. Прикладная
Рекомендуемая литература Айвазян С. А. , Бухштабер В. М. , Енюков И. С. , Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности. - М. : Финансы и статистика, 1989. Айвазян С. А. , Енюков И. С. , Мешалкин Л. Д. Прикладная статистика: Основы моделирования и первичная обработка данных. – М. : «Финансы и статистика», 1983. – 471 с. Айвазян С. А. , Мхитарян В. С. Прикладная статистика и основы эконометрики. Учебник для вузов. – М. : ЮНИТИ, 1998. – 1022 с. Альсова О. К. Решение задач интеллектуального анализа данных на основе вариативного моделирования. /Методические указания к лабораторным работам; составитель Альсова О. К. – Новосибирск: Изд-во НГТУ, 2005. – 75 с. Барсегян А. А. , Куприянов М. С. , Степаненко В. В. , Холод И. И. Методы и модели анализа данных: OLAP и Data Mining. – Спб. : БХВ-Петербург, 2004. – 336 с. Боровиков В. П. Statistica. Искусство анализа данных на компьютере: Для профессионалов. 2-е изд. – СПб. : Питер, 2003. – 688 с. Гладков Л. А. , Курейчик В. В. , Курейчик В. М. Генетические алгоритмы. – М. : ФИЗМАТЛИТ, 2006. – 320 с.
Pic.6
Рекомендуемая литература
Рекомендуемая литература
Pic.7
Рекомендуемая литература Бериков В. Б. Анализ статистических данных с использованием деревьев решени
Рекомендуемая литература Бериков В. Б. Анализ статистических данных с использованием деревьев решений: Учебное пособие. – Новосибирск. Изд-во НГТУ, 2002. – 60 с. Бокс Дж. , Дженкинс Г. Анализ временных рядов. Прогноз и управление. М. : Мир, вып. 1, 1974. – 406 с. ; вып. 2 – 197 с. Боровиков В. П. , Ивченко Г. И. Прогнозирование в системе Statistica в среде Windows. Основы теории и интенсивная практика на компьютере. Учеб. Пособие. – М. : Финансы и статистика, 1999. – 384 с. Губарев В. В. Интеллектуальный анализ данных и вариативное моделирование в экспериментальных исследованиях. //Информационные системы и технологии. ИСТ, 2001: Сб. научн. статей. – Новосибирск: НГТУ, 2001. – С. 5-25. Губарев В. В. Вероятностные модели / Новосиб. электротехн. ин-т. – Новосибирск, 1992. – Ч. 1. – 198 с; Ч. 2. – 188 с. Губарев В. В. , Альсова О. К. Вариативное моделирование на примере решения прикладной задачи. // ИСТ-2000: Матер. междун. науч. -техн. конф. – Новосибирск, НГТУ, 2000, том 2, С. 285-286. Губарев В. В. , Альсова О. К. , Швайкова И. Н. Интеллектуальный анализ «данных» и вариативное моделирование с системных позиций. // SCM’2000: International Conference on Soft Computing and Measurements. – Санкт-Петербург, СПб-ГЭТУ, 2000, С. 65-68.
Pic.8
Рекомендуемая литература Дюк В. А. , Самойленко А. П. Data Mining: учебный курс. — СПб. : Питер, 200
Рекомендуемая литература Дюк В. А. , Самойленко А. П. Data Mining: учебный курс. — СПб. : Питер, 2001. – 368 с. Елманова Н. Введение в Data Mining. // Компьютер Пресс 8, 2003, С. 28-39. Кендэл М. Временные ряды. – М. : Финансы и статистика, 1981. – 199 с. Корнеев В. В. , Гареев А. Ф. , Васютин С. В. , Райх В. В. Базы данных. Интеллектуальная обработка информации. – М. : Изд-во Нолидж, 2001. – 496 с. Курейчик В. М. , Родзин С. И. Эволюционные алгоритмы: генетическое программирование. Обзор // Известия РАН. ТиСУ. 2002. №1. С. 127-137. Струнков Т. Что такое генетические алгоритмы. //PC Week RE, №19, 1999. Факторный, дискриминантный и кластерный анализ/Пер. с англ. А. М. Хотинского. Под ред. И. С. Енюкова. -М. : Финансы и статистика, 1989. Четыркин Е. М. Статистические методы прогнозирования. – М. : Статистика, 1977. – 199с. Шапот М. Интеллектуальный анализ данных в системах поддержки принятия решений. //Открытые системы, №1, 1998, С. 30-35. Шапот М. , Рощупкина В. Интеллектуальный анализ данных и управление процессами. //Открытые системы №4-5, 1998, С. 40-44. Щавелев Л. В. Способы аналитической обработки данных для поддержки принятия решений. // СУБД. - 1998. - № 4-5. Эвоинформатика: Теория и практика эволюционного моделирования. /И. Л. Букатова, Ю. И. Михасев, А. М. Шаров. – М. : Наука, 1991. – 206 с.
Pic.9
Рекомендуемая литература Гайдышев И. Анализ и обработка данных: специальных справочник. – Спб. : Пит
Рекомендуемая литература Гайдышев И. Анализ и обработка данных: специальных справочник. – Спб. : Питер, 2001. – 752 с. И. Гайдышев. Решение научных и инженерных задач средствами Excel, VBA и C/C++. - СПб. : БХВ-Петербург, 2004. – 504 с.
Pic.10
Иллюстрации Большинство примеров и иллюстраций заимствованы из учебных пособий, представленных в спи
Иллюстрации Большинство примеров и иллюстраций заимствованы из учебных пособий, представленных в списке рекомендованной литературы. На лекции в обязательном порядке указывается источник.
Pic.11
Признаки
Признаки
Pic.12
Методы DM
Методы DM
Pic.13
Системы DM
Системы DM
Pic.14
Программное обеспечение анализа данных
Программное обеспечение анализа данных
Pic.15
Программное обеспечение анализа данных
Программное обеспечение анализа данных
Pic.16
Пакеты
Пакеты
Pic.17
Методы анализа данных. Примеры задач. Иллюстрации, слайд 17
Pic.18
Методы анализа данных. Примеры задач. Иллюстрации, слайд 18
Pic.19
Методы анализа данных. Примеры задач. Иллюстрации, слайд 19
Pic.20
Методы анализа данных. Примеры задач. Иллюстрации, слайд 20
Pic.21
Методы анализа данных. Примеры задач. Иллюстрации, слайд 21
Pic.22
Методы анализа данных. Примеры задач. Иллюстрации, слайд 22
Pic.23
Методы анализа данных. Примеры задач. Иллюстрации, слайд 23
Pic.24
Методы анализа данных. Примеры задач. Иллюстрации, слайд 24
Pic.25
Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность о
Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность операций
Pic.26
Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Обозначения СК или S
Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Обозначения СК или SS – сумма квадратов SSфакт. – вариативность, обусловленная действием исследуемого фактора SSобщ. – общая вариативность SSсл. – случайная вариативность MS – «средний квадрат» (математическое ожидание суммы квадратов, усредненная величина соответствующих SS) df – число степеней свободы.
Pic.27
Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность о
Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность операций
Pic.28
Дисперсионный анализ
Дисперсионный анализ
Pic.29
Дисперсионный анализ
Дисперсионный анализ
Pic.30
Корреляционный анализ
Корреляционный анализ
Pic.31
Корреляционный анализ Коэффициенты корреляции в зависимости от типа переменных
Корреляционный анализ Коэффициенты корреляции в зависимости от типа переменных
Pic.32
Линия регрессии
Линия регрессии
Pic.33
Регрессионный анализ
Регрессионный анализ
Pic.34
Регрессионный анализ
Регрессионный анализ
Pic.35
Регрессионный анализ Пример расчетов
Регрессионный анализ Пример расчетов
Pic.36
Регрессионный анализ
Регрессионный анализ
Pic.37
Регрессионный анализ
Регрессионный анализ
Pic.38
Регрессионный анализ
Регрессионный анализ
Pic.39
Регрессионный анализ
Регрессионный анализ
Pic.40
Регрессионный анализ
Регрессионный анализ
Pic.41
Регрессионный анализ
Регрессионный анализ
Pic.42
Задание на л/р По результатам статистического исследования физического развития мальчиков 5 лет изве
Задание на л/р По результатам статистического исследования физического развития мальчиков 5 лет известно, что их средний рост (х) равен 109 см, а средняя масса тела (у) равна 19 кг. Коэффициент корреляции между ростом и массой тела составляет + 0,9, средние квадратические отклонения представлены в таблице. Требуется: 1) рассчитать коэффициент регрессии; 2) по уравнению регрессии определить, какой будет ожидаемая масса тела мальчиков 5 лет при росте, равном х1 = 100 см, х2 = 110 см, х3= 120 см; 3) рассчитать сигму регрессии, построить шкалу регрессии и предста- вить результаты ее решения в графическом виде; 4) сделать соответствующие выводы.
Pic.43
Задание на л/р
Задание на л/р
Pic.44
Решение задачи ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ 1. Коэффициент регрессии: Ry/x = rxy х (σy/σx) = +0,9 × (0,8/4,4
Решение задачи ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ 1. Коэффициент регрессии: Ry/x = rxy х (σy/σx) = +0,9 × (0,8/4,4) = 0,16 кг/см. Таким образом, при увеличении роста мальчиков 5 лет на 1 м масса тела увеличивается на 0,16 кг. 2. Уравнение регрессии: y = My + Ry/x (x – Mx) х1 = 100 см х2 = 110 см х3 = 120 см у1 = 19 + 0,16 (100 – 109) = 17,56 кг у2 = 19 + 0,16 (110 – 109) = 19,16 кг у3 = 19 + 0,16 (120 – 109) = 20,76 кг
Pic.45
Решение
Решение
Pic.46
Транзакции
Транзакции
Pic.47
Алгоритм (* [Чубукова])
Алгоритм (* [Чубукова])
Pic.48
Алгоритм (* Чубукова)
Алгоритм (* Чубукова)
Pic.49
Алгоритм (* Чубукова)
Алгоритм (* Чубукова)
Pic.50
Алгоритм
Алгоритм
Pic.51
Алгоритм
Алгоритм
Pic.52
Алгоритм. Свойство антимонотонности
Алгоритм. Свойство антимонотонности
Pic.53
Алгоритм
Алгоритм
Pic.54
Примеры
Примеры
Pic.55
Примеры
Примеры
Pic.56
Примеры
Примеры
Pic.57
Деревья решений (decision trees)
Деревья решений (decision trees)
Pic.58
Деревья решений Дерево решений (выдача кредита)
Деревья решений Дерево решений (выдача кредита)
Pic.59
Методы анализа данных. Примеры задач. Иллюстрации, слайд 59
Pic.60
Конструирование модели Конструирование модели
Конструирование модели Конструирование модели
Pic.61
Классификация Использование модели
Классификация Использование модели
Pic.62
Классификация Пример решения методом линейной регрессии (схематическое решение)
Классификация Пример решения методом линейной регрессии (схематическое решение)
Pic.63
Классификация Пример решения методом деревьев решений
Классификация Пример решения методом деревьев решений
Pic.64
Классификация Пример решения методом нейронный сетей
Классификация Пример решения методом нейронный сетей
Pic.65
Классификация Метод находит образцы, находящиеся на границах между двумя классами, т. е. опорные век
Классификация Метод находит образцы, находящиеся на границах между двумя классами, т. е. опорные вектора. Опорными векторами называются объекты множества, лежащие на границах областей.
Pic.66
Классификация Классификация считается хорошей, если область между границами пуста.
Классификация Классификация считается хорошей, если область между границами пуста.
Pic.67
Классификация
Классификация
Pic.68
Классификация Метод k-ближайших соседей для решения задач классификации
Классификация Метод k-ближайших соседей для решения задач классификации
Pic.69
Классификация
Классификация
Pic.70
Классификация
Классификация
Pic.71
Классификация
Классификация
Pic.72
Классификация
Классификация
Pic.73
Классификация Y – вектор выходных сигналов, X – вектор входных сигналов, в выходном слое N0 нейронов
Классификация Y – вектор выходных сигналов, X – вектор входных сигналов, в выходном слое N0 нейронов, в каждом скрытом слое – NH нейронов, входной слой – NI нейронов.
Pic.74
Классификация Результат работы i-го слоя (Yi – вектор выхода i-го слоя многослойного перцептрона):
Классификация Результат работы i-го слоя (Yi – вектор выхода i-го слоя многослойного перцептрона):
Pic.75
Классификация Если заданы начальные значения Y: yj,0=xj, то результат работы перцептрона
Классификация Если заданы начальные значения Y: yj,0=xj, то результат работы перцептрона
Pic.76
Классификация Двухслойный перцептрон
Классификация Двухслойный перцептрон
Pic.77
Классификация
Классификация
Pic.78
Классификация
Классификация
Pic.79
Кластеризация
Кластеризация
Pic.80
Кластеризация Кластеры: пересекающиеся и непересекающиеся
Кластеризация Кластеры: пересекающиеся и непересекающиеся
Pic.81
Кластеризация Дендрограмма
Кластеризация Дендрограмма
Pic.82
Кластеризация Необходимость нормировки (разные масштабы  разные классы)
Кластеризация Необходимость нормировки (разные масштабы  разные классы)
Pic.83
Кластеризация
Кластеризация
Pic.84
Кластеризация Расстояние в пространстве трех измерений
Кластеризация Расстояние в пространстве трех измерений
Pic.85
Кластеризация
Кластеризация
Pic.86
Кластеризация Задание: описать последовательность объединения в классы
Кластеризация Задание: описать последовательность объединения в классы
Pic.87
Кластеризация
Кластеризация
Pic.88
Кластеризация Метод k-средних, k=2
Кластеризация Метод k-средних, k=2
Pic.89
Факторный анализ Жирным выделены значимые нагрузки
Факторный анализ Жирным выделены значимые нагрузки
Pic.90
Факторный анализ
Факторный анализ
Pic.91
Факторный анализ
Факторный анализ
Pic.92
Факторный анализ
Факторный анализ
Pic.93
Анализ временных рядов График ежедневных данных о среднем числе дефектов на грузовик в конце сборочн
Анализ временных рядов График ежедневных данных о среднем числе дефектов на грузовик в конце сборочного конвейера на предприятии по производству грузовиков. Наблюдения осциллируют на некотором постоянном уровне. Стационарный временной ряд (стационарный в среднем, специальный случай стационарных временных рядов). Ряд может быть описан авторегрессионной моделью скользящего среднего (ARMA), предложенной в методологии Бокса–Дженкинса.
Pic.94
Анализ временных рядов Данные о производстве (ежегодном) табака в США. Не варьируются около постоянн
Анализ временных рядов Данные о производстве (ежегодном) табака в США. Не варьируются около постоянного значения, выявляют предельный, вверх направленный тренд. Дисперсия увеличивается с увеличением времени. Нестационарный по среднему и по дисперсии временной ряд.
Pic.95
Анализ временных рядов Ежеквартальные данные о производстве пива в США в течение нескольких лет. Сез
Анализ временных рядов Ежеквартальные данные о производстве пива в США в течение нескольких лет. Сезонный временной ряд, проявляющий ежегодную тенденцию к повторению. Период сезонности, т. е. интервал, через который тенденция повторяется, равен 4. Для анализа данного ряда может быть предложена модификация модели Бокса–Дженкинса. Альтернативным способом моделирования является сезонная декомпозиция.
Pic.96
Анализ временных рядов График реализации вина сладкого сорта на территории Австралии с января 1980 п
Анализ временных рядов График реализации вина сладкого сорта на территории Австралии с января 1980 по июнь 1994 года. Нестационарный ряд– изменение в структуре ряда, возникшее из-за некоторого внешнего события. Такой тип нестационарности нельзя учесть, применяя то или иное стандартное преобразование.
Pic.97
Анализ временных рядов Двумерный временной ряд. Ряды коррелированны. Переменные взаимно влияют друг
Анализ временных рядов Двумерный временной ряд. Ряды коррелированны. Переменные взаимно влияют друг на друга. Необходимо использовать сложные методы анализа, например, векторные авторегрессионные модели скользящего среднего.
Pic.98
Анализ временных рядов
Анализ временных рядов
Pic.99
Анализ временных рядов
Анализ временных рядов
Pic.100
Анализ временных рядов
Анализ временных рядов
Pic.101
Анализ временных рядов
Анализ временных рядов
Pic.102
Анализ временных рядов
Анализ временных рядов
Pic.103
Анализ временных рядов Обнаружена сезонная составляющая с периодом, равным 12 месяцев (r120. 9).
Анализ временных рядов Обнаружена сезонная составляющая с периодом, равным 12 месяцев (r120. 9).
Pic.104
Анализ временных рядов
Анализ временных рядов
Pic.105
Анализ временных рядов
Анализ временных рядов
Pic.106
Анализ временных рядов
Анализ временных рядов
Pic.107
Анализ временных рядов
Анализ временных рядов
Pic.108
Анализ временных рядов
Анализ временных рядов
Pic.109
Анализ временных рядов Неадекватная модель
Анализ временных рядов Неадекватная модель
Pic.110
Анализ временных рядов
Анализ временных рядов
Pic.111
Анализ временных рядов Выделены тренд-циклический, сезонный и случайный компоненты
Анализ временных рядов Выделены тренд-циклический, сезонный и случайный компоненты
Pic.112
Анализ временных рядов
Анализ временных рядов
Pic.113
Анализ временных рядов
Анализ временных рядов
Pic.114
Анализ временных рядов Временной ряд, содержащий тренд: коррелограмма не стремится к 0.
Анализ временных рядов Временной ряд, содержащий тренд: коррелограмма не стремится к 0.
Pic.115
Анализ временных рядов Ряд с сезонной составляющей, после удаления тренда: коррелограмма показывает
Анализ временных рядов Ряд с сезонной составляющей, после удаления тренда: коррелограмма показывает наличие сезонной составляющей
Pic.116
Анализ временных рядов
Анализ временных рядов
Pic.117
Анализ временных рядов 2 =1
Анализ временных рядов 2 =1
Pic.118
Анализ временных рядов
Анализ временных рядов
Pic.119
Анализ временных рядов Автокорреляционные функции авторегрессионных рядов экспоненциально затухают и
Анализ временных рядов Автокорреляционные функции авторегрессионных рядов экспоненциально затухают или представляют экспоненциально затухающие синусоидальные волны.
Pic.120
Анализ временных рядов
Анализ временных рядов
Pic.121
Методы анализа данных. Примеры задач. Иллюстрации, слайд 121
Pic.122
Генетические алгоритмы
Генетические алгоритмы
Pic.123
Генетические алгоритмы
Генетические алгоритмы
Pic.124
Генетические алгоритмы
Генетические алгоритмы
Pic.125
Параллельные ГА Модель миграции
Параллельные ГА Модель миграции
Pic.126
Параллельные ГА
Параллельные ГА
Pic.127
Параллельные ГА
Параллельные ГА
Pic.128
Параллельные ГА
Параллельные ГА
Pic.129
PolyAnalyst
PolyAnalyst
Pic.130
Методы анализа данных. Примеры задач. Иллюстрации, слайд 130
Pic.131
НАЧАЛО // простой генетический алгоритм Создать начальную совокупность структур(популяцию) Оценить к
НАЧАЛО // простой генетический алгоритм Создать начальную совокупность структур(популяцию) Оценить каждую структуру останов := FALSE ПОКА НЕ останов ВЫПОЛНЯТЬ НАЧАЛО // новая итерация (поколение) Применить оператор отбора ПОВТОРИТЬ (размер_популяции/2) РАЗ НАЧАЛО // цикл воспроизводства Выбрать две структуры (родители) из множества предыдущей итерации Применить оператор скрещивания с заданной вероятностью к выбранным структурам и получить две новые структуры (потомки) Оценить эти новые структуры Если оператор скрещивания не применяется, то потомки становятся копиями своих родителей Поместить потомков в новое поколение КОНЕЦ Применить оператор мутации с заданной верояностью ЕСЛИ популяция сошлась ТО останов := TRUE КОНЕЦ КОНЕЦ НАЧАЛО // простой генетический алгоритм Создать начальную совокупность структур(популяцию) Оценить каждую структуру останов := FALSE ПОКА НЕ останов ВЫПОЛНЯТЬ НАЧАЛО // новая итерация (поколение) Применить оператор отбора ПОВТОРИТЬ (размер_популяции/2) РАЗ НАЧАЛО // цикл воспроизводства Выбрать две структуры (родители) из множества предыдущей итерации Применить оператор скрещивания с заданной вероятностью к выбранным структурам и получить две новые структуры (потомки) Оценить эти новые структуры Если оператор скрещивания не применяется, то потомки становятся копиями своих родителей Поместить потомков в новое поколение КОНЕЦ Применить оператор мутации с заданной верояностью ЕСЛИ популяция сошлась ТО останов := TRUE КОНЕЦ КОНЕЦ


Скачать презентацию

Если вам понравился сайт и размещенные на нем материалы, пожалуйста, не забывайте поделиться этой страничкой в социальных сетях и с друзьями! Спасибо!