Подлинная бесплатная книга по доставке Kafka Guide Neha Narkheade, Gwen Shapira, Todd Palino Computer и Интернет Большие данные и облачные вычисления людей Prop и Telecommunations Press 97871154732711
Вес товара: ~0.7 кг. Указан усредненный вес, который может отличаться от фактического. Не включен в цену, оплачивается при получении.
Описание товара
Основная информация
Название: Guide Kafka
Цена: 69 юаней
Автор: Неха Наркхед, Гвен Шапира, Тодд Палино
Пресса: People's Puss and Telecommunications Publishing House
Дата публикации: 2018-01-01
ISBN: 9787115473271
Слова:
номер страницы:
Издание: 1
Рамка
Открыто: 16
Краткое содержание
Эта книга о комплексном учебном положении Kafka. Понимание в производстве метод развертывания Zuijia;
об авторе
Неха Наркхед, соучредитель и технический директор Confluent, привел Кафку и Апач Самзу построить потоковую инфраструктуру в LinkedIn.
Gweshapira, Confluent System Architect, помогает клиентам построить системы на основе Kafka, более десяти лет в масштабировании архитектуры данных;Это также «архитектура приложения Hadoop».
Тодд Палино, директор LinkedIn -Level SRE, отвечает за развертывание управления KAFKA, Zookeeper и Samza Cluster.
Введение в переводчик
Сюэ Мин Фонарины, окончившись в Колледже программного обеспечения Университета Xiamen, более десяти лет разработки программного обеспечения и опыта архитектуры, редактор InfoQ Advanced Community.Переведенные книги, такие как «Революция Силиконовой долины» и «Микро -сервис производства микро -сайта».Общественный аккаунт Codeep.
Оглавление
Предисловие XIII
Предисловие XV
Глава 1 Кафка 1
1.1 Система сообщений о выпуске и подписке 1
1.1.1 Как начать 2
1.1.2 Независимая система очередей 3
1.2 Кафка дебют 4
1.2.1 Сообщение и партия 4
1.2.2 Режим 4
1.2.3 Тема и раздел 5
1.2.4 Производитель и потребители 5
1.2.5 брокер и кластер 6
1.2.6 Multi -Cluster 7
1.3 Почему выбирайте Kafka 8
1.3.1 Несколько производителей 8
1.3.2 Несколько потребителей 8
1.3.3 Дисковый хранение данных 9
1.3.4 Расширение 9
1.3.5 Высокая производительность 9
1.4 Экосистема данных 9
1.5 История происхождения 11
1.5.1 LinkedIn Вопрос 11
1.5.2 Рождение Кафки 12
1.5.3 На пути открытого исходного кода 12
1.5.4 Имя 13
1.6 Начать Кафку путешествие 13
Глава 2 Установите Kafka 14
2.1 Заплатить заранее 14
2.1.1 Выберите операционную систему 14
2.1.2 Установите Java 14
2.1.3 Установите Zookeeper 15
2.2 Установите кафка брокер 17
2.3 Конфигурация брокера 18
2.3.1 Обычная конфигурация 18
2.3.2 Конфигурация по умолчанию темы 19
2.4 Выбор оборудования 23
2.4.1 Пропускная способность диска 23
2.4.2 емкость диска 23
2.4.3 Память 23
2.4.4 Сеть 24
2.4.5 ЦП 24
2.5 KAFKA 24 в облаке
2.6 Кафка Кластер 24
2.6.1 Сколько брокера 25 он нуждается в
2.6.2 Конфигурация брокера 25
2.6.3 Настройка операционной системы 26
2.7 Меры предосторожности для производственной среды 28
2.7.1 Варианты переработки мусора 28
2.7.2 макет центра обработки данных 29
2.7.3 Обмен Zookeeper 29
2.8 Резюме 30
ГЛАВА 3 Продюсер KAFKA——
3.1 Обзор продюсера 32
3.2 Создать производитель kafka 33
3.3 Отправить сообщение в Кафку 34
3.3.1 Синхронное сообщение 35
3.3.2 Асинхронное отправляющее сообщение 35
3.4 Конфигурация производителя 36
3.5 сериализатор 39
3.5.1 Стоящий сериализатор 39
3.5.2 Использовать сериализацию AVRO 41
3.5.3 Используйте AVRO 42 в Кафке
3.6 Отдел 45
3.7 Производитель старой версии API 46
3.8 Резюме 47
Глава 4 Потребители Кафки——
4.1 Cafkaconsumer Concept 48
4.1.1 Потребительскую и потребительскую группу 48
4.1.2 Группа потребителей и реконструкция подразделения 51
4.2 Создать потребителей Kafka 52
4.3 Подпишитесь на тему 53
4.4 Кольцевой запрос 53
4.5 Конфигурация потребителей 55
4.6 Отправление и смещение 57
4.6.1 Автоматически отправьте 58
4.6.2 Отправить текущее смещение 59
4.6.3 Асинхронное представление 59
4.6.4 Синхронная и асинхронная комбинация 61
4.6.5 Отправить конкретное смещение 61
4.7 Сбалансированный директор 62
4.8 Начать записи обработки из конкретного смещения 64
4.9 Как выйти 66
4. Обратный последовательный эффект 67
4.11 Независимые потребители——
4.12 Старая версия потребительского API 71
4.13 Резюме 72
Глава 5 Глубокая Кафка 73
5.1 Отношения членов кластера 73
5.2 Контроллер 74
5.3 Копия 74
5.4 Запрос на лечение 76
5.4.1 Производственный запрос 78
5.4.2 Получить запрос 78
5.4.3 Другие запросы 80
5.5 Физическое хранилище 81
5.5.1 Распределение разделов 81
5.5.2 Управление файлами 82
5.5.3 Формат файла 83
5.5.4 Индекс 84
5.5.5 Уборка 84
5.5.6 Принцип уборки 84
5.5.7 Удаленное событие 86
5.5.8 Когда будет тема 86
5.6 Резюме 86
Глава 6 Достоверная передача данных 87
6.1 Гарантия надежности 87
6.2 Копия 88
6.3 Конфигурация брокера 89
6.3.1 Коэффициент копирования 89
6.3.2 Выборы неполных лидеров 90
6.3.3 Маленькая синхронная копия 91
6.4 Используйте производителей в надежной системе 92
6.4.1 Отправить подтверждение 92
6.4.2 Настройте параметры повторной попытки производителя 93
6.4.3 Дополнительные ошибки 94
6.5 Используйте потребителей в надежной системе 94
6.5.1 Конфигурация надежности потребителей 95
6.5.2 Дифференциальное представление смещения 95
6.6 Система проверки надежность 97
6.6.1 Проверка конфигурации 98
6.6.2 Проверка заявления 98
6.6.3 Мониторинг надежности в производственной среде 99
6.7 Резюме 0
Глава 7 Строительный трубопровод данных 1
7.1 Вопросы, которые необходимо учитывать при создании конвейера данных 2 данных
7.1.1 Своевременно 2
7.1.2 Надежность 2
7.1.3 высокая пропускная способность и динамическая пропускная способность 3
7.1.4 Формат данных 3
7.1.5 Преобразование 4
7.1.6 Безопасность 4
7.1.7 емкость обработки разломов 4
7.1.8 Связь и гибкость 5
7.2 Как сделать выбор между API Connect и клиентом API 5
7.3 KAFKA Connect 6
7.3.1 Запустить Connect 6
7.3.2 Пример разъема——
7.3.3 Пример разъема——
7.3.4 В -Depth Inpect Connect 114
7.4 Выбор, кроме подключения 116
7.4.1. Структура впуска для других хранилищ данных 116
7.4.2 Инструменты ETL на основе графического интерфейса 117
7.4.3 Стоковая обработка 117
7.5 Резюме 117
Глава 8 Cross -Cluster Data Mirror 118
8.1 Использование использования перекрестного зеркального изображения 118
8.2 Multi -Cluster Architecture 119
8.2.1 Некоторая реальность Cross -Data Center Communication 119
8.2.2 Hub и Spoke Architecture 120
8.2.3 Двойная архитектура 121
8.2.4 Основная архитектура 123
8.2.5 Расширение кластер 127
8.3 KAFKA'S Mirrormaker 128
8.3.1 Как настроить 129
8.3.2 зеркалки 130 в производственной среде
8.3.3 зеркалки
8.4 Другая схема зеркала перекрестного сбора 134
8.4.1 Uber's Urplicator 134
8.4.2 Репликатор 135 из Confluent
8.5 Сводка 135
Глава 9 Управление Кафкой 136
9.1 Операция темы 136
9.1.1 Создать тему 137
9.1.2 Добавить раздел 138
9.1.3 Удалить тему 138
9.1.4 Перечислите все темы в кластере 139
9.1.5 Список подробности темы 139
9.2 Группа потребителей 140
9.2.1 Перечислите и опишите группу 140
9.2.2 Удалить группу 142
9.2.3.
9.3 Динамическое изменение конфигурации 143
9.3.1 Конфигурация по умолчанию темы 143
9.3.2 Конфигурация по умолчанию клиента 145
9.3.3 Перечислите покрывающую конфигурацию 145
9.3.4 Удалите покрывающую конфигурацию 146
9.4 Управление разделениями 146
9.4.1 Выборы лидеров 146
9.4.2 Изменить копию разделения 147
9.4.3 Измените коэффициент копии 150
9.4.4 Drial Logs 151
9.4.5 Проверка копии 152
9,5 Потребление и производство 153
9.5.1 Потребители консоли 153
9.5.2 Производитель консоли 155
9.6 Клиент ACL 157
9.7 Небезопасная операция 157
9.7.1 Мобильный контроллер кластера 157
9.7.2 Отмена реинтерминации разделов 157
9.7.3 Удалите тему, которая будет удалена 158
9.7.4 Ручная тема Удаления 158
9.8 Резюме 159
Глава первая монитор Кафка 160
.1 MERTURE INDEX BASE 160
.1.1 Где находится индикатор измерения 160
.1.2 Внутреннее или внешнее измерение 161
.1.3 Тест на здоровье приложения 161
.1.4 охват индекса измерения 161
.2 Индикатор измерения брокера 162
.2.1 Синхронное разделение 162
.2.2 Индекс измерения брокера 166
.2.3 Индикатор измерения темы и раздела 173
.2.4 Мониторинг виртуальной машины Java 174
.2.5 Мониторинг операционной системы 175
.2.6 Log 176
.3 Мониторинг клиента 177
.3.1 Индекс измерения производителя 177
.3.2 Индекс потребительского измерения 179
.3.3 Квота 181
.4 Поздний мониторинг 182
.5 -Определите мониторинг 183
.6 Резюме 183
Глава 11 Потоковая обработка 184
11.1 Что транслируется 185
11.2 Некоторые концепции потокового процесса 186
11.2.1 Время 187
11.2.2 Статус 188
11.2.3 Двойственность потока и таблица 188
11.2.4 окно 189
11.3 Режим проектирования потокового процесса 190
11.3.1 Обработка единого события 191
11.3.2 Используйте локальный статус 191
11.3.3 Множественная фазовая обработка и тяжелые подразделения 193
11.3.4 Используйте внешний поиск——
11.3.5 Связь между потоком и потоком 195
11.3.6 Инцидент характер 195
11.3.7 re -process 196
11.4 Пример потоков 197
11.4.1 Статистика слов 197
11.4.2 Статистика фондового рынка 199
11.4.3 Заполните клики по потоку событий 201
11.5 Обзор архитектуры потоков Кафкки 202
11.5.1 Строительная топология 202
11.5.2 Расширение топологии 203
11.5.3 Обследование от разлома 205
11.6 Сцена потоковой обработки 205
11.7 Как выбрать потоковую обработку 206
11.8 Резюме 208
Приложение A Установлен KAFKA 209 в других операционных системах
Введение автора 214
Обложка Введение 214
Выбор редактора
Каждое приложение генерирует данные, включая сообщения журнала, индикаторы измерений, записи об активности пользователей, сообщения ответов и т. Д.Как перемещать данные почти так же важно, как и сами данные.Если вы архитектор, разработчик или инженер -продукт, и новичок Apache Kafka, то это практическое руководство поможет вам стать экспертом в реальных данных на потоковой платформе.
Эта книга была написана основными авторами и передовыми техниками из Кафки, которые родились в LinkedIn, чтобы подробно описать, как развернуть кластеры Kafka, разработать надежные микросервисы, основанные на событиях, и создавать масштабируемые потоковые приложения на основе платформы Kafka.С учетом подробных примеров вы узнаете о принципах проектирования, гарантиях надежности, ключевых API и копировании протоколов, контроллеров и уровнях хранения.
● Понять модель сообщений о выпуске и подписке, а также то, как модель применяется к экосистеме больших данных
● Научитесь использовать производителей и потребителей KAFKA для генерации сообщений и чтения сообщений
● Понять требования к режиму и сцене Kafka для обеспечения передачи данных надежности
● Используйте kafka для создания трубопроводов и приложений данных Zuijia Practice
● Управление кафкой в производственной среде, включая мониторинг, настройку и обслуживание
● Понять ключевые показатели измерения кафки
● Изучение того, как Кафка становится оружием обработки потока