Для поиска темы - пользуйтесь СИСТЕМОЙ ПОИСКА


Стоимость дипломной работы


Home Материалы для работы Методика розв’язування задач в аналітичній системі «Deductor Warehouse»

Методика розв’язування задач в аналітичній системі «Deductor Warehouse»
загрузка...
Рейтинг пользователей: / 0
ХудшийЛучший 

Методика розв’язування задач в аналітичній системі «Deductor Warehouse»

«Deductor Warehouse» призначений для ефективного вирішення проблеми тиражування знань. Deductor - це аналітична платформа, основа для створення закінчених прикладних рішень в області аналізу даних. Реалізовані в Deductor технології дозволяють на базі єдиної архітектури пройти всі етапи побудови аналітичної системи від створення сховища даних до автоматичного підбору моделей і візуалізації отриманих результатів.
Deductor складається з 3-х частин – багатовимірного сховища даних Deductor Warehouse, аналітичного додатку Deductor Studio і робочого місця користувача Deductor Viewer.
Deductor Warehouse - багатовимірне сховище даних, що акумулює всю необхідну для аналізу предметної області інформацію. Використання єдиного сховища дозволяє забезпечити несуперечність даних, їх централізоване зберігання і автоматично забезпечує всю необхідну підтримку процесу аналізу даних. Deductor Warehouse оптимізований для вирішення саме аналітичних задач, що позитивно позначається на швидкості доступу до даних.
Deductor Studio – програма, що реалізовує функції імпорту, обробки, візуалізації і експорту даних. Deductor Studio може функціонувати і без сховища даних, одержуючи інформацію з будь-яких інших джерел, але найбільш оптимальним є їх сумісне використовування. В Deductor Studio включений повний набір механізмів, що дозволяє отримати інформацію з довільного джерела даних, провести весь цикл обробки (очищення, трансформацію даних, побудову моделей), відобразити отримані результати найбільш зручним чином (OLAP, діаграми, дерева) і експортувати результати. Це повністю відповідає концепції витягання знань з баз даних (KDD).
Deductor Viewer – робоче місце користувача. Дозволяє відділити процес побудови моделей від використання вже готових моделей. Всі складні операції по підготовці моделей виконуються аналітиками-експертами за допомогою Deductor Studio, а Deductor Viewer забезпечує користувачам простий спосіб роботи з готовими результатами, приховує від них всі складнощі побудови моделей і не пред'являє високих вимог до кваліфікації співробітників.
Архітектура системи побудована таким чином, що вся робота по аналізу даних в Deductor Studio базується на виконанні наступних дій (рис.1.22):
- імпорт даних;
- обробка даних;
- візуалізація;
- експорт даних.
Процес побудови моделей в Deductor ґрунтується на наступних трьох принципах:
1. Використання обробників;
2. Використання візуалізаторів;
3. Створення сценаріїв.
Обробка і візуалізація – дві атомарні операції з даними в Deductor. Під обробкою розуміються будь-які маніпуляції над набором даних: від найпростіших (наприклад, сортування) до складних (побудова нейроної мережі). Обробник можна представити у вигляді «чорного ящика», на вхід якого подається набір даних, а на виході формується перетворений набір даних .

Реалізовані в Deductor обробники задовольняють основну потребу в аналізі даних і створення закінчених аналітичних рішень на базі Data Mining.
Будь-який набір даних можна візуалізувати яким-небудь доступним способом або декількома способами, оскільки візуалізація допомагає інтерпретувати побудовані моделі.
В Deductor передбачені наступні способи візуалізації даних.
- OLAP. Багатовимірне представлення даних. Будь-які дані, що використовуються в програмі, можна подивитися у вигляді крос-таблиці і крос-діаграми.
- Таблица. Стандартне табличне уявленні з можливістю фільтрації даних.
- Диаграмма. Графік зміни будь-якого показника.
- Гистограмма. Графік розкиду показників.
- Статистика. Статистичні показники набору даних.
- Диаграмма рассеяния. Графік відхилення прогнозованих за допо-могою моделі значень від реальних. Може бути побудована тільки для безперервних величин і лише після використовування механізмів побудови моделі, наприклад, нейромережі або лінійної регресії. Використовується для візуальної оцінки якості побудованої моделі.
- Таблица сопряженности. Призначена для оцінки результатів класифікації незалежно від моделі, що використовується. Таблиця зв'язаності відображає результати порівняння категоріальних значень початкового вихідного стовпця і категоріальних значень розрахованого вихідного стовпця. Використовується для оцінки якості класифікації.
- «Что-если». Таблиця і діаграма. Дозволяють «проганяти» через побудовану модель будь-які дані, що цікавлять користувача, і оцінити вплив того або іншого чинника на результат.
- Обучающая выборка. Набір даних, що використовується для побудови моделі.
- Диаграмма прогноза. Застосовується після використовування методу обробки - Прогнозирование. Прогнозні значення виділяються кольором.
- Граф нейросети. Візуальне відображення навченої нейромережі. Відображається структура нейроної мережі і значення ваги;
- Дерево решений. Відображення дерева рішень, отриманого при допомозі відповідного алгоритму.
- Дерево правил. Відображення в ієрархічному виді (у вигляді дерева) асоціативних правил.
- Правила. Відображає в текстовому вигляді правила, отримані за допомогою алгоритму побудови дерев рішень або пошуку асоціацій.
- Карта Кохонена. Відображення карт, побудованих за допомогою відповідного алгоритму.
- Описание. Текстовий опис параметрів імпорту/обробки/експорту в дереві сценаріїв обробки.
Сценарій є ієрархічною послідовністю обробки і візуалізації наборів даних. Сценарій завжди починається з імпорту набору даних з довільного джерела. Після імпорту може використовуватися довільне число обробників будь-якого ступеня глибини і вкладеності. Кожній операції обробки відповідає окремий вузол дерева, або об'єкт сценарію. Будь-який об'єкт можна візуалізувати тим або іншим доступним засобом. Набір даних служить механізмом, що сполучає всі об'єкти сценарію. Можна сказати, що сценарій - найбільш природний з погляду аналітика спосіб представлення етапів побудови моделі. Це дозволяє швидко створювати моделі, що володіють великою гнучкістю і розширюваністю, порівнювати декілька моделей.
Інтерфейс Deductor Studio складається з головного вікна, всередині якого розташовуються панелі сценаріїв, звітів, джерел даних і результати моделювання (таблиці, графіки, крос-діаграми, правила і т.д.).
Всі сценарії створюються на основі запуску майстрів. В розпорядженні аналітика є 4 майстри: імпорт, експорт, обробка, відображення.
Майстер імпорту призначений для автоматизації отримання даних з будь-якого джерела, передбаченого в системі. На першому кроці майстра імпорту відкривається список всіх передбачених в системі типів джерел даних. Число кроків майстра імпорту, а також набір параметрів, що настроюється, відрізняється для різних типів джерел.
Майстер обробки призначений для настройки всіх параметрів вибраного алгоритму.
Майстер відображень дозволяє в покроковому режимі вибрати і настроїти найбільш зручний спосіб представлення даних. Залежно від обробника, в результаті якого була отримана гілка сценарію, список доступних для нього видів відображень буде різним.
Наприклад, після побудови дерев рішень їх можна відобразити за допомогою візуалізаторів «Дерево решений» і «Правила». Ці способи відображення не доступні для інших обробників.
Майстер експорту дозволяє в покроковому режимі виконати експорт даних у файли найбільш поширених форматів.


 
загрузка...

Добавить комментарий


Защитный код
Обновить