[Система рекомендаций по обучению фильма с большими данными Scala Edition] Lin Ziyu Data Pro -обработка
Вес товара: ~0.7 кг. Указан усредненный вес, который может отличаться от фактического. Не включен в цену, оплачивается при получении.
Описание товара
Основная информация
Название книги: Система рекомендаций кейсов и видеороликов для обучения работе с большими данными (версия Scala)
Цена: 45,00 Юань
Автор: Лин Зию
Пресса: People's Puss and Telecommunications Publishing House
Дата публикации: 2019-05-01
ISBN: 9787115503060
Количество слов:
Номер страницы:
Издание:
Переплет: в мягкой обложке, идеальный переплет.
Открыто: 16
Товарный вес:
Краткое содержание
В этой книге подробно описывается случай применения больших данных.—&-Система рекомендаций фильмов (версия Scala), кейс включает в себя предварительную обработку данных, хранение и управление данными, анализ данных и визуализацию данных и т. д., включая установку и использование Linux, MySQL, Hadoop, Spark, IntelliJ IDEA, Spring и других систем и программного обеспечения.Языками программирования, использованными в деле, являются Scala и Java.
об авторе
Линь Цзыю (1978-), мужчина, доктор философии, доцент кафедры компьютерных наук Сямэньского университета, один из основателей Центра облачных вычислений и исследований больших данных Сямэньского университета, руководитель лаборатории баз данных Сямэньского университета, член Комитета по базам данных Китайской компьютерной федерации и член Комитета по информационным системам Китайской компьютерной федерации.Он получил степень бакалавра в области водного хозяйства и гидроэнергетики в Университете Фучжоу в 2001 году, степень магистра компьютерных наук в Университете Сямэнь в 2005 году и степень доктора компьютерных наук в Пекинском университете в 2009 году.Китайские университеты&Ldquo; цифровой учитель”Предложено и построено (http://www.cs.xmu.edu.cn/linziyu), 2009 г., сегодня,&Ldquo; цифровой учитель”Большая платформа бесплатно разместила в Интернете более 500 слов ценных материалов обучения и научных исследований и получила более 500 онлайн-посещений.Его основные направления исследований — базы данных, хранилища данных, интеллектуальный анализ данных и большие данные. Он опубликовал множество научных статей в журналах и на конференциях.В качестве руководителя проекта он руководил проектом Национального фонда естественных наук, проектом Фонда естественных наук провинции Фуцзянь и проектом реформы образования провинции Фуцзянь.В качестве волонтера он перевел большое количество академических материалов на английский язык, таких как Google Spanner, BigTable и «Архитектура системы баз данных», и поделился ими с большинством пользователей сети, что пользовалось большой популярностью.В 2013 году он начал проводить курсы по большим данным в Университете Сямэнь.Благодаря выдающемуся вкладу в преподавательскую деятельность и признанию студентов он стал победителем преподавательской стипендии Университета Сямэнь в 2013 и 2017 годах.Выиграл Открытый онлайн-курс провинции Фуцзянь за отличные достижения в 2017 году, Специальную награду за достижения в области преподавания высшего образования Университета Сямынь в 2018 году и Вторую премию за достижения в области преподавания в провинции Фуцзянь в 2018 году.Преподаваемый основной курс: «Технология обработки больших данных». Персональная домашняя страница: http://www.cs.xmu.edu.cn/linziyu. Электронная почта: ziyulin@xmu.edu.cn. Веб-сайт лаборатории базы данных: http://dblab.xmu.edu.cn.Он создал общедоступную платформу для курсов по большим данным в университетах (http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/) и стал известным брендом преподавания больших данных в университетах по всей стране. Платформа предоставляет универсальные бесплатные услуги учителям для преподавания и студентам для изучения курсов по большим данным, включая учебную программу, раздаточные материалы PPT, учебные пособия, руководство по подготовке к урокам, руководство по экспериментам, компьютерные упражнения, обучающие видео, технические материалы и т. д. Платформа посещается более 0 раз в год. Он также предоставляет планы создания экспериментальных платформ для больших данных и услуги по подготовке преподавателей курсов по большим данным для университетов.
Оглавление
Глава Обзор случая 1
1.1 Цель дела 1
1.2 Применимые объекты 1
1.3 Тайминг 2
1.4 Предварительные знания 2
1.5 Требования к оборудованию 2
1.6 Программные инструменты 3
1.7 Набор данных 3
1.8 Кейс-задание 3
1.9 Экспериментальный этап 4
1. Интернет-ресурсы 6
1..1 Список интернет-ресурсов 6
1..2 Область загрузки 7
1..3 Предварительные курсы 8
1..4 Платформа государственных услуг курса по большим данным 8
1.11 Краткое содержание этой главы 9
Глава 2. Построение экспериментальной среды больших данных
2.1 Как использовать систему Linux и соответствующее программное обеспечение
2.1.1 Оболочка 11
2.1.2 Корневой пользователь 11
2.1.3 Создание обычного пользователя 11
2.1.4 команда sudo 12
2.1.5 Часто используемые системные команды Linux 12
2.1.6 Распаковка файлов 13
2.1.7 Часто используемые каталоги 13
2.1.8 Разрешения каталога 14
2.1.9 Обновление APT 14
2.1. Переключение между китайским и английским способами ввода 15
2.1.11 Как установить и использовать редактор vim 16
2.2 Установка JDK 16
2.3 Установка Scala 17
2.4 Установка и базовое использование Hadoop 18
2.4.1 Подготовка перед установкой Hadoop 18
2.4.2 Установка Hadoop 20
2.4.3 Часто используемые команды оболочки для операций HDFS 23
2.5 Установка и базовое использование Spark 25
2.5.1 Скачать установочный файл 25
2.5.2 Файлы, связанные с конфигурацией 26
2.5.3 Взаимодействие между Spark и Hadoop 26
2.5.4 Выполнение кода в искровой оболочке 27
2.6 Установка и основы базы данных MySQL
Как использовать 29
2.6.1 Установка MySQL 29
2.6.2 Общие операции MySQL 32
2.7 Краткое содержание этой главы 34
Глава 3 Как установить и использовать инструменты разработки IntelliJ IDEA 35
3.1 Загрузите и установите IDEA 35
3.2 Загрузите плагин Scala и установите его 35
3.3 Запуск ИДЕИ 36
3.4 Установка плагина Scala для IDEA 39
3.5 Настройка JDK проекта 42
3.6 Использование IDEA для разработки программы WordCount 44
3.6.1 Создайте новый проект WordCount 45
3.6.2 Добавление поддержки платформы Scala в проект WordCount 47
3.6.3 Настройка каталога проекта 50
3.6.4 Создание нового файла кода Scala 52
3.6.5 Настройка файла pom.xml 53
3.6.6 Обновление файлов зависимостей Maven 55
3.6.7 Запуск программы WordCount 56
3.6.8 Генерация с помощью программы WordCount
JAR 57
3.6.9 Отправьте JAR в Spark для запуска 61
3.7 Краткое содержание этой главы 61
Глава 4 Установка и установка ETL-инструмента Kettle
Как использовать 62
4.1 Установка чайника 62
4.1.1 Загрузка и установка 62
4.1.2 Извлеките файлы в каталог установки 62
4.1.3 Скопируйте драйвер базы данных MySQL
JAR 63
4.1.4 Стартовая ложка в чайнике 63
4.1.5 Настройка китайского интерфейса 65
4.2 Используйте Kettle для загрузки данных в HDFS 65
4.2.1 Настройка чайника 66
4.2.2 Новая работа 66
4.2.3 Добавление компонента СТАРТ 67
4.2.4 Добавить“Hadoop Copy Files”Контроль 68
4.2.5 Настройки“Hadoop Copy Files”
Свойства управления 68
4.2.6 Выполнение задания и просмотр результатов 69
4.2.7 Просмотр данных в HDFS 70
4.3 Краткое содержание этой главы 70
Глава 5 Чтение и запись с использованием Spark SQL
Методы базы данных MySQL 71
5.1 Обзор Spark SQL 71
5.2 Создание базы данных MySQL 72
5.3 В интерактивной среде искровой оболочки
Чтение и запись базы данных MySQL 72
5.3.1 Чтение данных в базе данных MySQL 73
5.3.2 Запись данных в базу данных MySQL 74
5.4 Написание независимых приложений для чтения и записи MySQL
База данных 75
5.4.1 Новый проект 75
5.4.2 Установка зависимостей 76
5.4.3 Настройка каталога кодов 78
5.4.4 Создание нового файла кода Scala 79
5.4.5 Настройка файла pom.xml 80
5.4.6 Компиляция и запуск программы 82
5.4.7 Генерация JAR приложения 83
5.4.8 Отправка JAR в Spark для запуска 85
5.5 Краткое содержание этой главы 86
Глава 6. Использование Spark MLlib для совместной работы
Алгоритм фильтра 87
6.1 Обзор системы рекомендаций 87
6.1.1 Что такое рекомендательная система 87
6.1.2 Теория длинного хвоста 88
6.1.3 Рекомендуемые методы 88
6.1.4 Рекомендуемая модель системы 89
6.1.5 Применение системы рекомендаций 89
6.2 Алгоритм совместной фильтрации 90
6.2.1 Совместная фильтрация на основе пользователей 90
6.2.2 Совместная фильтрация на основе элементов 91
6.2.3 Алгоритм UserCF и алгоритм ItemCF
Сравнение 92
6.2.4 Совместная фильтрация на основе модели 92
6.3 Алгоритм совместной фильтрации в Spark MLlib 92
6.3.1 Основные принципы алгоритма ALS 93
6.3.2 Запуск алгоритма ALS в искровой оболочке 95
6.3.3 Написание автономного приложения для запуска ALS
Алгоритм 99
6.4 Краткое содержание главы 3
Глава 7 Установка и использование Node.js
Способ 4
7.1 Установка Node.js 4
7.2 Создание приложений Node.js 5
7.2.1 Введение модуля Node.js 5
7.2.2 Создание сервера 5
7.2.3 Получение запросов и ответ на запросы 6
7.3 Использование платформы Express и механизма шаблонов Jade 6
7.3.1 Создание каталога проекта 6
7.3.2 Установка среды разработки Express 7
7.3.3 Установка механизма шаблонов Jade 7
7.3.4 Создание сервера 7
7.3.5 Создание файлов шаблонов 7
7.3.6 Тестовая веб-страница 8
7.4 Пример 1. Разработка веб-страницы для регистрации и входа пользователей.
Функция 8
7.4.1 Создание базы данных MySQL 8
7.4.2 Создание каталога проекта 9
7.4.3 Установка среды разработки Express 9
7.4.4 Установка модуля драйвера MySQL 9
7.4.5 Создание сервера 9
7.4.6 Создание веб-страницы 111
7.4.7 Тестовая веб-страница 112
7.5 Пример 2: реализован с использованием механизма шаблонов Jade
Регистрация пользователя и функция входа 113
7.5.1 Создание каталога проекта 113
7.5.2 Установка среды разработки Express 113
7.5.3 Установка механизма шаблонов Jade 114
7.5.4 Установка модуля драйвера MySQL 114
7.5.5 Установка модуля body-парсера 114
7.5.6 Создание сервера 114
7.5.7 Создание файлов шаблонов веб-страниц 116
7.5.8 Тестовая веб-страница 116
7.6 Пример 3: Вызов приложения статистики частоты слов через веб-страницу
Программа 118
7.6.1 Создание каталога проекта 119
7.6.2 Установка среды разработки Express 119
7.6.3 Создание сервера 119
7.6.4 Установка механизма шаблонов Jade 119
7.6.5 Добавьте маршрутизацию и т. д. во вход приложения index.js
Функция 121
7.6.6 Вызов программы на веб-странице и отображение результатов 123
7.7 Краткое содержание этой главы 124
Глава 8 Система рекомендаций фильмов (базовая версия)
Процесс реализации 125
8.1 Общий процесс анализа данных 125
8.2 Загрузка набора данных в HDFS 126
8.2.1 Основная информация о наборе данных 126
8.2.2 Загрузка набора данных 127
8.2.3 Используйте инструмент Kettle для очистки данных и загрузки их в HDFS 127.
8.3 Написание программы Spark для реализации рекомендации фильма 134
8.3.1 Новые проекты 134
8.3.2 Установка зависимостей 136
8.3.3 Настройка каталога кодов 137
8.3.4 Создание нового файла кода Scala 137
8.3.5 Настройка файла pom.xml 141
8.3.6 Компиляция и запуск программы 142
8.3.7 Генерация JAR приложения 145
8.3.8 Отправка JAR в Spark для запуска 147
8.4. Использование Node.js для отображения результатов на веб-страницах 148
8.4.1 Создание каталога проекта 148
8.4.2 Установка связанных модулей 148
8.4.3 Создание сервера 148
8.4.4 Добавление файлов шаблонов 149
8.4.5 Вызов программы на веб-странице и отображение результатов 150
8.5 Краткое содержание этой главы 151
Глава 9. Система рекомендаций фильмов (обновленная версия)
Проектирование и реализация 152
9.1 Обзор системы 152
9.2 Общая конструкция системы 153
9.3 Проектирование и внедрение базы данных 153
9.3.1 Проектирование базы данных 153
9.3.2 Реализация базы данных 154
9.4 Разработка и реализация программы Spark 155
9.4.1 Новый проект 156
9.4.2 Создание нового файла кода Scala 156
9.4.3 Настройка файла pom.xml 161
9.4.4 Запуск программы 163
9.4.5 Генерация JAR приложения 165
9.5 Проектирование и реализация сайта системы 166
9.5.1 Дизайн сайта системы 166
9.5.2 Реализация сайта системы 168
9.6 Краткое содержание этой главы 179
Ссылки 180
Выбор редактора
Эта книга представляет собой обобщение многолетнего опыта коллектива авторов Сямэньского университета. Эта книга написана на основе вводного учебника по большим данным Сямэньского университета «Принципы и приложения технологий больших данных». Чтобы обеспечить качество учебных пособий, перед составлением и публикацией бумажных учебников лаборатория в марте 2016 года бесплатно выпустила и распространила упрощенную версию онлайн-учебников Spark и связанных с ними учебных ресурсов через официальный сайт лаборатории.В то же время онлайн-учебники также использовались для преподавания курсов по большим данным для аспирантов на факультете компьютерных наук Университета Сямэнь и стали учебным содержанием курсов подготовки преподавателей больших данных и курсов по обмену в университетах по всей стране.На основании большого количества отзывов читателей об онлайн-учебнике Spark и проблем, обнаруженных в педагогической практике, лаборатория внесла множество исправлений и улучшений в онлайн-учебник Spark. Вся эта предварительная подготовка заложила прочную основу для составления и издания бумажных учебников.