Анализ больших данных (Big Data)

Программа

Структурированный сбор и обработка данных с применением различных инструментов (SQL, Excell, Power BI)

Обработка данных в EXCEL

1. Работа с формулами и функциями
— Логика построения формул для быстрого сбора и сравнения информации

2. Основные формулы для обработки данных
— АГРЕГАТ, , ПРОМЕЖУТОЧНЫЕ.ИТОГИ, СУММЕСЛИ, СУММЕСЛИМН, СЧЁТ, СЧЁТЗ, , СЧЁТЕСЛИ, СЧЁТЕСЛИМН, ЛЕВСИМВ, ПРАВСИМВ
— Практические примеры использования текстовых функций

3. Функции для работы с датой и временем
—  Особенности учёта времени и даты в Excel
—  Расчёт календарных дат без функций
—  ТДАТА, СЕГОДНЯ, ГОД, ДАТАМЕС, ДЕНЬНЕД, НОМНЕД, ЧИСТРАБДНИ, РАБДЕНЬ, РАБДЕНЬМЕЖД

4. Логические функции и выражения
—  Операторы логики в Excel, логические значения
—  ЕСЛИ, И, ИЛИ, ЕСЛИОШИБКА, ЕСЛИМН

5.Функции ссылки и массивы
— ПОИСКПОЗ, ИНДЕКС, ФИЛЬТР

6. Функции для проверки данных
—  Создание выпадающих списков
—  Использование в формулах ссылок на ячейки других листов и других рабочих книг
—  Эффективное использование ссылок
—  Создание формулы, использующей значения другого листа или книги
—  Синтаксис ссылки на ячейку на другом листе в той же книге
—  Синтаксис ссылки на ячейку в другой книге
— Работа с внешними связями
— Изменение значений формул с внешними связями. Проверка состояния связей

7. Работа с таблицами
— Работа с объектом таблица (Table)
— Общие положения
— Создание таблицы
— Использование инструмента быстрый анализ для создания таблиц
—  Возможности таблицы
—  Раскрывающиеся списки фильтра
—  Использование среза для фильтрации данных
—  Строка вставки
—  Строка итогов
—  Редактирование таблицы
—  Создание вычисляемого столбца таблицы

8. Визуальный анализ данных
— Условное форматирование (Conditional Formatting)
—  Понятие условного форматирования
— Общий подход к созданию условного форматирования
— Типы правил условного форматирования
—  Использование формулы в качестве критерия форматирования
— Диспетчер правил условного форматирования
—  Приоритет обработки правил условного форматирования
—  Условное и «безусловное» форматирования

Обработка данных в Power BI

1. Работа с источниками

2. Работа с Power Query
— Обзор функционального языка M, на основе которого обрабатываются запросы в Power Query Editor
— Подготовка данных из таблиц. Удаление лишних столбцов, продвинутая фильтрация данных, замена значений, разделений столбцов по разделителю. Добавление условных столбцов (столбцов, значения которых зависят от других столбцов). Различные способы объединения нескольких таблиц: склейка нескольких похожих таблиц, добавление недостающих данных из других таблиц (аналог ВПР в Excel). Установка формата данных. Использование Unpivot

3. Mодель данных
— Введение в теорию реляционной базы данных. Виды таблиц. Типы связей между таблицами (One to Many, Many to Many). Основные разновидности реляционной базы данных
— Построение модели данных. Детальное изучение установки связей. Настройка модели данных. Форматирование данных

4. Создание вычислений модели с использованием DAX
— Обзор функционального языка DAX. Создание простых мер с помощью функций DAX (SUM, AVERAGE, COUNT, DISTINCTCOUNT,What IF). Добавление вычисляемых столбцов. Создание вычисляемых таблиц. Создание календаря, необходимого для работы функций Time Intelligence (PREVIOUSMONTH, PREVIOUSQUARTER, PREVIOUSYEAR, SAMEPERIODLASTYEAR, DATEYTD, STARTOFMONTH, ENDOFMONTH и многие другие): на основе функции CALENDARAUTO и CALENDAR (для более точной настройки календаря)
— Использование мер, вычисляемых столбцов в аналитических отчетах. Рекомендации по использованию мер. Построение сложных формул DAX с использованием переменных (CALCULATE, FILTER, SUMX,AVERAGEX,ALL,ALLEXEPT,SWITCH и др.)

5. Определение и реализация соответствующих визуализаций
— Обзор различных видов визуализаций в Power BI: таблица, матрица, график, гистограмма, диаграмма и др. Добавление визуализаций из магазина приложений Power BI. Срезы

6. Обработка информации и практическое создание DASHBOARD для быстрого принятия управленческих решений

7. Теория подключения к базам данных

8. Создание структурированных запросов для анализа базы данных

Обработка данных в SQL

1. Понятие реляционной СУБД
— Популярные сервисы для работы с SQL
— Виды SQL-запросов
— Структура SQL-запросов
— Принципы создания базы данных
— Язык запросов SQL

2. Работа с таблицами и базами данных в SQL
— Создание и редактирование таблиц. Типы данных
— Базы данных. Типы данных. Агрегатные функции
— Группировка данных. Агрегатные формулы
— Работа с данными — фильтр, отбор, редактирование, и т.д.
— Чтение данных — заполнение строк таблиц
— Форма обработки. Закладка «Подключение, сервис»

3. Синтаксис запросов в SQL
— Понятие запроса и разбор состава
— Запросы SQL(ALTER TABLE, DROP TABLE, DELETE, UPDATE, SELECT, INSERT, CREATE TABLE, SELECT ALL/DISTINCT, FROM, WHERE, GROUP BY, HEAVING, LIKE, BETWEEN, IN, NOT IN, sum, min, max, coun и т.д.

4. Single-ROW функции
— Разновидности функций и работы с БД (LOWER, UPPER, INITCAP, CONCAT, LENGTH, LPAD и RPAD, TRIM
— Введение в CONVERSION функции

JOIN Функции объединения