Презентация «Методы интеллектуального анализа данных и некоторые их приложения»

Смотреть слайды в полном размере
Презентация «Методы интеллектуального анализа данных и некоторые их приложения»

Вы можете ознакомиться с презентацией онлайн, просмотреть текст и слайды к ней, а также, в случае, если она вам подходит - скачать файл для редактирования или печати. Документ содержит 48 слайдов и доступен в формате ppt. Размер файла: 3.08 MB

Просмотреть и скачать

Pic.1
Методы интеллектуального анализа данных и некоторые их приложения д. ф. -м. н. И. В. Машечкин (mash@
Методы интеллектуального анализа данных и некоторые их приложения д. ф. -м. н. И. В. Машечкин (mash@cs. msu. su), к. ф. -м. н. М. И. Петровский (michael@cs. msu. su) лаборатория «Технологий …
Pic.2
Эволюция технологий хранения и обработки данных … — 1960-е: Файлы и файловые архивы 1960-е: Первые С
Эволюция технологий хранения и обработки данных … — 1960-е: Файлы и файловые архивы 1960-е: Первые СУБД, иерархические, сетевые и т. д. 1970-е: Реляционная модель данных, реляционные СУБД 1980-е: …
Pic.3
Актуальность и необходимость интеллектуального анализа данных Проблема больших объемов («Data explos
Актуальность и необходимость интеллектуального анализа данных Проблема больших объемов («Data explosion»): Средства автоматического сбора данных, повсеместное внедрение СУБД, электронный …
Pic.4
Интеллектуальный анализ данных (Data Mining)
Интеллектуальный анализ данных (Data Mining)
Pic.5
Процесс ИАД (1) Анализ предметной области: выявление и формулировка необходимых априорных знаний о п
Процесс ИАД (1) Анализ предметной области: выявление и формулировка необходимых априорных знаний о предметной области, целей анализа, задач приложения, сценариев использования Формирование и …
Pic.6
Процесс ИАД (2) Выбор (или разработка) алгоритма анализа: определение ограничений и требований к алг
Процесс ИАД (2) Выбор (или разработка) алгоритма анализа: определение ограничений и требований к алгоритму по точности, размеру, интерпретируемости, скорости построения и применения получаемых …
Pic.7
Программные системы ИАД Типовая архитектура: Классификация систем ИАД: По типу анализируемых данных
Программные системы ИАД Типовая архитектура: Классификация систем ИАД: По типу анализируемых данных По типу решаемых задач По методам анализа и классам алгоритмов По области применения
Pic.8
Типы исходных данных (1) Транзакционные базы данных и репозитории «событий» Объекты анализа – «событ
Типы исходных данных (1) Транзакционные базы данных и репозитории «событий» Объекты анализа – «события» различной структуры с числовыми и категориальными атрибутами, и с временной меткой Реляционные …
Pic.9
Типы исходных данных (2) Географические и пространственные данные Привязка к пространственным коорди
Типы исходных данных (2) Географические и пространственные данные Привязка к пространственным координатам, учет географии объектов при анализе (например при определении меры сходства или расстояния) …
Pic.10
Задачи ИАД = типы выявляемых закономерностей Классификация («Обучение с учителем») Отнесение объекто
Задачи ИАД = типы выявляемых закономерностей Классификация («Обучение с учителем») Отнесение объектов к заранее определенным категориям Прогнозирование («Обучение с учителем») На основании известных …
Pic.11
Методы анализа
Методы анализа
Pic.12
Область применения систем ИАД Системы ИАД «общего назначения» По сути включают framework, библиотеку
Область применения систем ИАД Системы ИАД «общего назначения» По сути включают framework, библиотеку алгоритмов анализа и набор программных средств для реализации ИАД процесса для широкого класса …
Pic.13
ИАД в проектах лаборатории «Технологий Программирования» Компьютерная безопасность Обнаружение внешн
ИАД в проектах лаборатории «Технологий Программирования» Компьютерная безопасность Обнаружение внешних и внутренних вторжений Моделирование и анализ поведения пользователей Электронный …
Pic.14
ИАД в компьютерной безопасности Цели компьютерной безопасности: обеспечение конфиденциальности, цело
ИАД в компьютерной безопасности Цели компьютерной безопасности: обеспечение конфиденциальности, целостности и доступности данных Вторжение – действия программы или пользователя, направленные на …
Pic.15
Традиционные средства выявления вторжений Основные концепции: Используют базах сигнатур известных ат
Традиционные средства выявления вторжений Основные концепции: Используют базах сигнатур известных атак Источники информации: системные журналы и файлы, содержимое сетевого трафика и файлов. …
Pic.16
Методы ИАД в задачах выявления вторжений Основное предположение: активность пользователей и программ
Методы ИАД в задачах выявления вторжений Основное предположение: активность пользователей и программ можно полностью отследить и построить ее адекватную модель Особенности: накопление исторической …
Pic.17
Обнаружение нарушений Особенности: Строится обобщенная модель атаки Основано на методах классификаци
Обнаружение нарушений Особенности: Строится обобщенная модель атаки Основано на методах классификации Атакой считаются события или последовательности событий, соответствующие модели Основные …
Pic.18
Обнаружение аномалий Особенности : Строится обобщенная модель нормальной активности пользователей ил
Обнаружение аномалий Особенности : Строится обобщенная модель нормальной активности пользователей или программ (профайл) Основано на методах поиска исключений Атакой считаются события или …
Pic.19
Разработанные и реализованные алгоритмы Обнаружение аномалий: Оценка степени «типичности» событий и
Разработанные и реализованные алгоритмы Обнаружение аномалий: Оценка степени «типичности» событий и их последовательностей - нечеткая кластеризация в бесконечномерном пространстве характеристик. …
Pic.20
Система мониторинга и анализа поведения пользователей Функциональность: Сбор и консолидация данных о
Система мониторинга и анализа поведения пользователей Функциональность: Сбор и консолидация данных о работе пользователей Статистический и интеллектуальный анализ Построение и визуализация моделей …
Pic.21
Архитектура системы мониторинга
Архитектура системы мониторинга
Pic.22
Особенности реализации и результаты Подсистема консолидации исходных данных: Мульти-агентный подход
Особенности реализации и результаты Подсистема консолидации исходных данных: Мульти-агентный подход Нет ограничений на источники собираемых данных Универсальный интерфейс для работы с модулями сбора …
Pic.23
Электронный документооборот Интеллектуальная система анализа и фильтрации электронной почты масштаба
Электронный документооборот Интеллектуальная система анализа и фильтрации электронной почты масштаба предприятия Система анализа и много-темной классификации Web трафика Интеллектуальная систему …
Pic.24
ИАД для системы анализа и фильтрации электронной почты Алгоритм классификации (на SVM): векторная фо
ИАД для системы анализа и фильтрации электронной почты Алгоритм классификации (на SVM): векторная форма представления письма высокая точность эффективность по скорости персональная модель …
Pic.25
Архитектура системы фильтрации Особенности реализации: Учет ресурсоемкости алгоритмов на этапе обуче
Архитектура системы фильтрации Особенности реализации: Учет ресурсоемкости алгоритмов на этапе обучения Распределение и баланс нагрузки Классификация в режиме реального времени Возможность …
Pic.26
Результаты экспериментальной реализации и апробации Почтовый сервер лаборатории «Технологий программ
Результаты экспериментальной реализации и апробации Почтовый сервер лаборатории «Технологий программирования» эксплуатация с весны 2004 около 1 тыс. писем в день (после RBL) из них > 70% спам …
Pic.27
Цели создания систем анализа и фильтрации Интернет-трафика Блокирование доступа к нелегальной (экстр
Цели создания систем анализа и фильтрации Интернет-трафика Блокирование доступа к нелегальной (экстремистской, антисоциальной, террористической и т. п. ) информации Предотвращение использования …
Pic.28
Существующие системы фильтрации Традиционный подход («сигнатурные» методы): Использование при анализ
Существующие системы фильтрации Традиционный подход («сигнатурные» методы): Использование при анализе Интернет-трафика специализированных, формируемых экспертами, баз знаний, содержащих информацию об …
Pic.29
Анализ и фильтрация Интернет- трафика на основе методов ИАД Основная идея: Классификация потока гипе
Анализ и фильтрация Интернет- трафика на основе методов ИАД Основная идея: Классификация потока гипертекстовой информации в режиме реального времени с учетом содержания и структуры ссылок документов …
Pic.30
Преимущества Классификация в реальном времени статических и динамических интернет ресурсов; Точность
Преимущества Классификация в реальном времени статических и динамических интернет ресурсов; Точность выше, чем у «сигнатурных» методов; Автономность - независимость от внешних экспертов, поддержка …
Pic.31
Архитектура системы
Архитектура системы
Pic.32
Основные результаты Реализация системы: Формализованы требования и сценарии взаимодействия Спроектир
Основные результаты Реализация системы: Формализованы требования и сценарии взаимодействия Спроектированы и реализованы базовые компоненты, их функционал, интерфейсы, алгоритмы работы Разработана …
Pic.33
Интеллектуальная система анализа и мониторинга электронного документооборота организации
Интеллектуальная система анализа и мониторинга электронного документооборота организации
Pic.34
Архитектура
Архитектура
Pic.35
Архитектура ИАД системы анализа поведения технологических процессов Особенности реализации: выявлени
Архитектура ИАД системы анализа поведения технологических процессов Особенности реализации: выявление аномалий в характеристик ТП функционирование в промышленной среде работа в режиме мягкого …
Pic.36
Выявление нештатных ситуаций построение модели поведения ТП (на этапе обучения) оценка отклонения те
Выявление нештатных ситуаций построение модели поведения ТП (на этапе обучения) оценка отклонения текущего состояния ТП от модельного используются методы анализа временных рядов и …
Pic.37
Анализ и прогнозирование качества ТП Какие параметры производственного процесса влияют на качество п
Анализ и прогнозирование качества ТП Какие параметры производственного процесса влияют на качество продукции?
Pic.38
Результат Разработаны алгоритмы: на основе нечетких деревьев решений с поддержкой эволюционных метод
Результат Разработаны алгоритмы: на основе нечетких деревьев решений с поддержкой эволюционных методов оптимизации нечетких переменных и структуры правил Реализована экспериментальная программная …
Pic.39
Ситуационный центр Основная задача СЦ — строить наглядные образы ситуаций, возникающих в предметной
Ситуационный центр Основная задача СЦ — строить наглядные образы ситуаций, возникающих в предметной области, на основе которых оперативный состав принимает управляющие решения. в СЦ обязательно …
Pic.40
Место ИАД в процессе поддержки принятия решений в СЦ
Место ИАД в процессе поддержки принятия решений в СЦ
Pic.41
Расчет и хранение индикаторов Проведение статистического анализа и вычисление индикаторов, описывающ
Расчет и хранение индикаторов Проведение статистического анализа и вычисление индикаторов, описывающих ситуацию
Pic.42
Выявление аномалий в значениях индикаторов
Выявление аномалий в значениях индикаторов
Pic.43
Определение тенденций и прогнозирование значений индикаторов
Определение тенденций и прогнозирование значений индикаторов
Pic.44
Текущие результаты Проектирование и создание рабочего места аналитика ситуационного центра мониторин
Текущие результаты Проектирование и создание рабочего места аналитика ситуационного центра мониторинга и анализа ситуаций: Просмотр ситуации по срезам OLAP-куба в виде сводной таблицы, диаграммы или …
Pic.45
Спасибо за внимание! и Вопросы?
Спасибо за внимание! и Вопросы?
Pic.46
Отличия ИАД систем (1) Наличие «обучения» база знаний формируются на основе анализируемых данных, а
Отличия ИАД систем (1) Наличие «обучения» база знаний формируются на основе анализируемых данных, а не экспертных знаний (в отличии от традиционных экспертных систем и систем информационного поиска) …
Pic.47
Отличия ИАД систем (2) Наличие большого объема данных сложной структуры зачастую скорость работы алг
Отличия ИАД систем (2) Наличие большого объема данных сложной структуры зачастую скорость работы алгоритмов в ИАД важнее отклонений по точности (“quick and dirty solution”) большинство алгоритмов …
Pic.48
Отличия ИАД систем (3) Наличие человека - аналитика как оконечного потребителя результатов работы ИА
Отличия ИАД систем (3) Наличие человека - аналитика как оконечного потребителя результатов работы ИАД системы в сценарии работы любой системы ИАД всегда присутствует аналитик, даже если полученная в …


Скачать презентацию

Если вам понравился сайт и размещенные на нем материалы, пожалуйста, не забывайте поделиться этой страничкой в социальных сетях и с друзьями! Спасибо!