Слайды и текст доклада
Pic.1
Методы интеллектуального анализа данных и некоторые их приложения д. ф. -м. н. И. В. Машечкин (mash@cs. msu. su), к. ф. -м. н. М. И. Петровский (michael@cs. msu. su) лаборатория «Технологий …
Pic.2
Эволюция технологий хранения и обработки данных … — 1960-е: Файлы и файловые архивы 1960-е: Первые СУБД, иерархические, сетевые и т. д. 1970-е: Реляционная модель данных, реляционные СУБД 1980-е: …
Pic.3
Актуальность и необходимость интеллектуального анализа данных Проблема больших объемов («Data explosion»): Средства автоматического сбора данных, повсеместное внедрение СУБД, электронный …
Pic.4
Интеллектуальный анализ данных (Data Mining)
Pic.5
Процесс ИАД (1) Анализ предметной области: выявление и формулировка необходимых априорных знаний о предметной области, целей анализа, задач приложения, сценариев использования Формирование и …
Pic.6
Процесс ИАД (2) Выбор (или разработка) алгоритма анализа: определение ограничений и требований к алгоритму по точности, размеру, интерпретируемости, скорости построения и применения получаемых …
Pic.7
Программные системы ИАД Типовая архитектура: Классификация систем ИАД: По типу анализируемых данных По типу решаемых задач По методам анализа и классам алгоритмов По области применения
Pic.8
Типы исходных данных (1) Транзакционные базы данных и репозитории «событий» Объекты анализа – «события» различной структуры с числовыми и категориальными атрибутами, и с временной меткой Реляционные …
Pic.9
Типы исходных данных (2) Географические и пространственные данные Привязка к пространственным координатам, учет географии объектов при анализе (например при определении меры сходства или расстояния) …
Pic.10
Задачи ИАД = типы выявляемых закономерностей Классификация («Обучение с учителем») Отнесение объектов к заранее определенным категориям Прогнозирование («Обучение с учителем») На основании известных …
Pic.12
Область применения систем ИАД Системы ИАД «общего назначения» По сути включают framework, библиотеку алгоритмов анализа и набор программных средств для реализации ИАД процесса для широкого класса …
Pic.13
ИАД в проектах лаборатории «Технологий Программирования» Компьютерная безопасность Обнаружение внешних и внутренних вторжений Моделирование и анализ поведения пользователей Электронный …
Pic.14
ИАД в компьютерной безопасности Цели компьютерной безопасности: обеспечение конфиденциальности, целостности и доступности данных Вторжение – действия программы или пользователя, направленные на …
Pic.15
Традиционные средства выявления вторжений Основные концепции: Используют базах сигнатур известных атак Источники информации: системные журналы и файлы, содержимое сетевого трафика и файлов. …
Pic.16
Методы ИАД в задачах выявления вторжений Основное предположение: активность пользователей и программ можно полностью отследить и построить ее адекватную модель Особенности: накопление исторической …
Pic.17
Обнаружение нарушений Особенности: Строится обобщенная модель атаки Основано на методах классификации Атакой считаются события или последовательности событий, соответствующие модели Основные …
Pic.18
Обнаружение аномалий Особенности : Строится обобщенная модель нормальной активности пользователей или программ (профайл) Основано на методах поиска исключений Атакой считаются события или …
Pic.19
Разработанные и реализованные алгоритмы Обнаружение аномалий: Оценка степени «типичности» событий и их последовательностей - нечеткая кластеризация в бесконечномерном пространстве характеристик. …
Pic.20
Система мониторинга и анализа поведения пользователей Функциональность: Сбор и консолидация данных о работе пользователей Статистический и интеллектуальный анализ Построение и визуализация моделей …
Pic.21
Архитектура системы мониторинга
Pic.22
Особенности реализации и результаты Подсистема консолидации исходных данных: Мульти-агентный подход Нет ограничений на источники собираемых данных Универсальный интерфейс для работы с модулями сбора …
Pic.23
Электронный документооборот Интеллектуальная система анализа и фильтрации электронной почты масштаба предприятия Система анализа и много-темной классификации Web трафика Интеллектуальная систему …
Pic.24
ИАД для системы анализа и фильтрации электронной почты Алгоритм классификации (на SVM): векторная форма представления письма высокая точность эффективность по скорости персональная модель …
Pic.25
Архитектура системы фильтрации Особенности реализации: Учет ресурсоемкости алгоритмов на этапе обучения Распределение и баланс нагрузки Классификация в режиме реального времени Возможность …
Pic.26
Результаты экспериментальной реализации и апробации Почтовый сервер лаборатории «Технологий программирования» эксплуатация с весны 2004 около 1 тыс. писем в день (после RBL) из них > 70% спам …
Pic.27
Цели создания систем анализа и фильтрации Интернет-трафика Блокирование доступа к нелегальной (экстремистской, антисоциальной, террористической и т. п. ) информации Предотвращение использования …
Pic.28
Существующие системы фильтрации Традиционный подход («сигнатурные» методы): Использование при анализе Интернет-трафика специализированных, формируемых экспертами, баз знаний, содержащих информацию об …
Pic.29
Анализ и фильтрация Интернет- трафика на основе методов ИАД Основная идея: Классификация потока гипертекстовой информации в режиме реального времени с учетом содержания и структуры ссылок документов …
Pic.30
Преимущества Классификация в реальном времени статических и динамических интернет ресурсов; Точность выше, чем у «сигнатурных» методов; Автономность - независимость от внешних экспертов, поддержка …
Pic.31
Архитектура системы
Pic.32
Основные результаты Реализация системы: Формализованы требования и сценарии взаимодействия Спроектированы и реализованы базовые компоненты, их функционал, интерфейсы, алгоритмы работы Разработана …
Pic.33
Интеллектуальная система анализа и мониторинга электронного документооборота организации
Pic.35
Архитектура ИАД системы анализа поведения технологических процессов Особенности реализации: выявление аномалий в характеристик ТП функционирование в промышленной среде работа в режиме мягкого …
Pic.36
Выявление нештатных ситуаций построение модели поведения ТП (на этапе обучения) оценка отклонения текущего состояния ТП от модельного используются методы анализа временных рядов и …
Pic.37
Анализ и прогнозирование качества ТП Какие параметры производственного процесса влияют на качество продукции?
Pic.38
Результат Разработаны алгоритмы: на основе нечетких деревьев решений с поддержкой эволюционных методов оптимизации нечетких переменных и структуры правил Реализована экспериментальная программная …
Pic.39
Ситуационный центр Основная задача СЦ — строить наглядные образы ситуаций, возникающих в предметной области, на основе которых оперативный состав принимает управляющие решения. в СЦ обязательно …
Pic.40
Место ИАД в процессе поддержки принятия решений в СЦ
Pic.41
Расчет и хранение индикаторов Проведение статистического анализа и вычисление индикаторов, описывающих ситуацию
Pic.42
Выявление аномалий в значениях индикаторов
Pic.43
Определение тенденций и прогнозирование значений индикаторов
Pic.44
Текущие результаты Проектирование и создание рабочего места аналитика ситуационного центра мониторинга и анализа ситуаций: Просмотр ситуации по срезам OLAP-куба в виде сводной таблицы, диаграммы или …
Pic.45
Спасибо за внимание! и Вопросы?
Pic.46
Отличия ИАД систем (1) Наличие «обучения» база знаний формируются на основе анализируемых данных, а не экспертных знаний (в отличии от традиционных экспертных систем и систем информационного поиска) …
Pic.47
Отличия ИАД систем (2) Наличие большого объема данных сложной структуры зачастую скорость работы алгоритмов в ИАД важнее отклонений по точности (“quick and dirty solution”) большинство алгоритмов …
Pic.48
Отличия ИАД систем (3) Наличие человека - аналитика как оконечного потребителя результатов работы ИАД системы в сценарии работы любой системы ИАД всегда присутствует аналитик, даже если полученная в …
Скачать презентацию
Если вам понравился сайт и размещенные на нем материалы, пожалуйста, не забывайте поделиться этой страничкой в социальных сетях и с друзьями! Спасибо!