Python3 Интернет -разработка аварийная разработка фактическая борьба 2 -й издание
Цена: 1 458руб. (¥69)
Артикул: 667295319520
Вес товара: ~0.7 кг. Указан усредненный вес, который может отличаться от фактического. Не включен в цену, оплачивается при получении.
Описание товараПродавец:天猫超市
Рейтинг:
Всего отзывов:0
Положительных:0
Добавить в корзину
Другие товары этого продавца
¥1593 360руб.
¥49.91 055руб.
¥115.92 449руб.
¥179.83 800руб.
Основная информация
| наименование товара: | Python3 Network Crawler Development Faction Bight № 2 издание | формат: | 16 |
| Автор: | Cui Qingcai | Количество страниц: | |
| Цены: | 139.8 | Опубликованная дата: | 2021-11-01 |
| Номер ISBN: | 9787115577092 | Время печати: | 2021-11-01 |
| Издательство: | Народные сообщения и телекоммуникации | Версия: | 2 |
| Типы продукта: | книги | Индийский: | 2 |
Об авторе:
Cui Qingcai - инженер -программист в Microsoft (China), степень магистра в Пекинском университете аэронавтики и астронавтики, в основном изучая веб -сканеров, веб -разработку, машинное обучение и другие направления.
Краткое содержание:
В этой книге описывается, как разработать веб -сканеры с помощью Python 3. Эта книга является вторым изданием.По сравнению с первым изданием, он оснащен целенаправленными учебными станциями для практических проектов каждой точки знания, избегая проблемы истечения срока действия.Кроме того, знания, такие как асинхронные сканеры, JavaScript Reverse, App Reverse, интеллектуальный анализ страниц, код проверки распознавания глубокого обучения, были добавлены эксплуатация и техническое обслуживание и развертывание Kubernetes.В то же время, такие инструменты, как запрос, хранение, анализ и тестирование, связанные с каждой точкой знаний, были обогащены и новыми.
Эта книга подходит для программистов Python для чтения.
Эта книга подходит для программистов Python для чтения.
......
Оглавление:
Глава 1 Основы гусеницы 1
1.1 http Basic Principle 1
1.2 Основы веб -страницы 12
1.3 Основные принципы Crawlers 19
1,4 сеанса и куки 21
1.5 Основные принципы агента 24
1.6 Основные принципы многопоточного и многопроцесса 26
Глава 2 Использование базовой библиотеки 29
2.1 Использование Urllib 29
2.2 Использование запросов 47
2.3 Регулярное выражение 63
2.4 Использование HTTPX 73
2.5 Основная практика корпуса Crawler 78
Глава 3 Анализ и извлечение данных веб -страницы 90
3.1 xpath Использование 90
3.2 Использование красивого супа 99
3.3 Использование Pyquery 113
3.4 Использование Парселя 124
Глава 4 Хранение данных 128
4.1 TXT Text File Storage 128
4.2 JSON File Storage 130
4.3 CSV File Storage 134
4.4 MySQL Storage 138
4.5 хранилище документов MongoDB 144
4.6 Redis Cache Storage 151
4.7 Elasticsearch Search Engine Storage 159
4.8 Использование Rabbitmq 166
Глава 5 Ajax Data Clawling 174
5.1 Что такое Ajax 174
5.2 Метод анализа AJAX 176
5.3 Ajax Analysis and Clawling Practice 179
Глава 6 Асинхронный гусеница 191
6.1 Основные принципы Coroutines 191
6.2 Использование AIOHTTP 201
6.3 AIOHTTP Асинхронная практика ползания 207
Глава 7 Страница динамического рендеринга JavaScript 212
7.1 Использование селена 212
7.2 Использование Splash 226
7.3 Использование Pyppeteer 242
7.4 Использование драматурга 257
7.5 Selenium Practicking 269
7.6 Pyppeteer Clawling Practice 276
7.7 CSS Position Offset Anti-Climbing Case Analysis и Practice 282
7.8 АНАЛИЗ АНТИ-КЛИМСИНГОВОГО АНАЛИЗА И ПРАКТИЧЕСКИЙ КЛАЗОВЫЙ РАСПРАВЛЕНИЕ 287
Глава 8 Идентификация кода проверки 293
8.1. Определите графические коды проверки с использованием технологии OCR 293
8.2 Используйте OpenCV, чтобы определить пробелы в кодах скольжения. 298
8.3. Определите коды проверки графика, используя глубокое обучение 304
8.4. Определите пробел в коде скольжения проверки, используя глубокое обучение 309
8.5 Используйте платформу кодирования для определения кодов проверки 316
8.6 Автоматическая обработка кода проверки мобильного телефона 324
Глава 9 Использование агента 331
9.1 Настройки прокси 331
9.2 Техническое обслуживание пула агентов 340
9.3 Использование платных агентов 351
9.4 Как построить ADSL Neleing Agent 357
9.5 Фактическое ползание агентских случаев противозачаточных случаев 365
Глава 10 Симуляция. Вход 373
10.1 Основные принципы моделируемого входа 373
10.2 Смоделированная ползание в логин на основе сеанса и файлов cookie 376
10.3 Смоделированная ползание в логине на основе JWT 381
10.4 Строительство крупномасштабного бассейна 385
Глава 11 JavaScript Reverse Crawler 397
11.1 Введение в технологии шифрования и запутывания веб -сайтов 397
11.2 Общие методы отладки браузеров 413
11.3 Использование JavaScript Hook 430
11.4 Принцип и обход бесконечного отладчика 440
11.5 Проработка моделирования JavaScript 445 с Python
11.6 Выполнение моделирования с node.js 451
11.7 Выполнение моделирования JavaScript в среде браузера 454
11.8 AST Technology Введение 460
11.9 Восстановите запутываемый код с использованием технологии AST 472
11.10 Восстановление специальных случаев запутывания 480
11.11 Анализ случаев вагонов и практического полки 490
11.12 JavaScript обратные навыки резюме 498
11.13 JavaScript обратный ползание 505
Глава 12 Данные приложения Ползание 530
12.1 Использование инструмента Charles Packet Catching 530
12.2 Использование пакета MITMProxy Grabber 538
12.3 MI UMP в реальном времени обработка пакетов 544
12.4 Использование Appium 551
12.5 Практика ползания приложения на основе Appium 562
12.6 Использование Airtest 568
12.7 Ползание приложения на основе Airtest 585
12.8 Управление группой мобильных телефонов Практика ползания 591
12.9 Использование облачных мобильных телефонов 594
Глава 13 Android Reverse 603
13.1 Использование JADX 603
13.2 Использование JEB 615
13.3 Использование xposed framework 624
13.4 Практические случаи ползания на основе Xposed 635
13.5 Frida Use 643
13.6 SSL Pending Проблема Решение 650
13.7 ВВЕДЕНИЕ И ПРАКТИЧЕСКИЙ БОРЬЯ ТЕХНОЛОГИИ УДАЛЕНИЯ ANDROID SHELLE 657
13.8 ИСПОЛЬЗОВАНИЕ IDA PRO Статический анализ и динамическая отладка, поэтому файлы 664
13.9 Проверка моделирования, поэтому файл на основе FRIDA-RPC 680
13.10 Выполнение моделирования, поэтому файл на основе и Server-RPC 685
13.11 Проработка моделирования, поэтому файл на основе Unidbg 692
Глава 14 Страница интеллектуального анализа 700
14.1 Введение в Page Intelligent Analysis 700
14.2 Введение в алгоритм интеллектуального анализа деталей Страница 707
14.3 Реализация алгоритма интеллектуального анализа на деталях страницы 714
14.4 Введение в алгоритм интеллектуального анализа для страниц списков 722
14.5 Реализация алгоритма интеллектуального анализа в списке страницы 727
14.6 Как разумно различить листические страницы и детали страниц 735
Глава 15 Использование структуры скрещивания 739
15.1 Введение в структуру скрещивания 739
15.2 Начало работы с Scrapy 743
15.3 Использование селектора 754
15.4 Использование пауков 759
15.5 Использование промежуточного программного обеспечения для загрузки 766
15.6 Использование промежуточного программного обеспечения Spider 775
15.7 Использование элементарного трубопровода 781
15.8 Использование расширения 792
15.9 Сккрас -соединение Selenium 795
15.10 Скрейка стыковки Splash 801
15.11 Скррапия стыковки Pyppeteer 806
15.12 Scrapy регулятор Crawler 813
15.13 Практика скраски 827
Глава 16 Распределенные гусеницы 840
16.1 Распределенная концепция Crawler 840
16.2 Принцип Scrapy-Redis и анализ исходного кода 842
16.3 Распределенная реализация Crawler на основе Scrapy-Redis 847
16.4 крупномасштабная дедупликация на основе фильтра Bloom 851
16.5 Распределенные гусеницы на основе Rabbitmq 859
Глава 17 Управление и развертывание Crawlers 862
17.1 Использование Scrapyd и Scrapyd API 862
17.2 Использование Scrapyd-Client 867
17.3 Использование рамки управления Герапером Crawler 869
17.4 Упаковка проекта скраски в изображение Docker 873
17.5 Docker Compose Использование 878
17.6 Kubernetes Использование 880
17.7 Развертывание и управление скрещинами с Kubernetes 888
17.8 Схема статистики данных для распределенных сканеров Scrapy 899
17.9 Схема мониторинга распределенного хрупка на основе Прометея и Графана 904
Приложение Crawlers and Laws 917
1.1 http Basic Principle 1
1.2 Основы веб -страницы 12
1.3 Основные принципы Crawlers 19
1,4 сеанса и куки 21
1.5 Основные принципы агента 24
1.6 Основные принципы многопоточного и многопроцесса 26
Глава 2 Использование базовой библиотеки 29
2.1 Использование Urllib 29
2.2 Использование запросов 47
2.3 Регулярное выражение 63
2.4 Использование HTTPX 73
2.5 Основная практика корпуса Crawler 78
Глава 3 Анализ и извлечение данных веб -страницы 90
3.1 xpath Использование 90
3.2 Использование красивого супа 99
3.3 Использование Pyquery 113
3.4 Использование Парселя 124
Глава 4 Хранение данных 128
4.1 TXT Text File Storage 128
4.2 JSON File Storage 130
4.3 CSV File Storage 134
4.4 MySQL Storage 138
4.5 хранилище документов MongoDB 144
4.6 Redis Cache Storage 151
4.7 Elasticsearch Search Engine Storage 159
4.8 Использование Rabbitmq 166
Глава 5 Ajax Data Clawling 174
5.1 Что такое Ajax 174
5.2 Метод анализа AJAX 176
5.3 Ajax Analysis and Clawling Practice 179
Глава 6 Асинхронный гусеница 191
6.1 Основные принципы Coroutines 191
6.2 Использование AIOHTTP 201
6.3 AIOHTTP Асинхронная практика ползания 207
Глава 7 Страница динамического рендеринга JavaScript 212
7.1 Использование селена 212
7.2 Использование Splash 226
7.3 Использование Pyppeteer 242
7.4 Использование драматурга 257
7.5 Selenium Practicking 269
7.6 Pyppeteer Clawling Practice 276
7.7 CSS Position Offset Anti-Climbing Case Analysis и Practice 282
7.8 АНАЛИЗ АНТИ-КЛИМСИНГОВОГО АНАЛИЗА И ПРАКТИЧЕСКИЙ КЛАЗОВЫЙ РАСПРАВЛЕНИЕ 287
Глава 8 Идентификация кода проверки 293
8.1. Определите графические коды проверки с использованием технологии OCR 293
8.2 Используйте OpenCV, чтобы определить пробелы в кодах скольжения. 298
8.3. Определите коды проверки графика, используя глубокое обучение 304
8.4. Определите пробел в коде скольжения проверки, используя глубокое обучение 309
8.5 Используйте платформу кодирования для определения кодов проверки 316
8.6 Автоматическая обработка кода проверки мобильного телефона 324
Глава 9 Использование агента 331
9.1 Настройки прокси 331
9.2 Техническое обслуживание пула агентов 340
9.3 Использование платных агентов 351
9.4 Как построить ADSL Neleing Agent 357
9.5 Фактическое ползание агентских случаев противозачаточных случаев 365
Глава 10 Симуляция. Вход 373
10.1 Основные принципы моделируемого входа 373
10.2 Смоделированная ползание в логин на основе сеанса и файлов cookie 376
10.3 Смоделированная ползание в логине на основе JWT 381
10.4 Строительство крупномасштабного бассейна 385
Глава 11 JavaScript Reverse Crawler 397
11.1 Введение в технологии шифрования и запутывания веб -сайтов 397
11.2 Общие методы отладки браузеров 413
11.3 Использование JavaScript Hook 430
11.4 Принцип и обход бесконечного отладчика 440
11.5 Проработка моделирования JavaScript 445 с Python
11.6 Выполнение моделирования с node.js 451
11.7 Выполнение моделирования JavaScript в среде браузера 454
11.8 AST Technology Введение 460
11.9 Восстановите запутываемый код с использованием технологии AST 472
11.10 Восстановление специальных случаев запутывания 480
11.11 Анализ случаев вагонов и практического полки 490
11.12 JavaScript обратные навыки резюме 498
11.13 JavaScript обратный ползание 505
Глава 12 Данные приложения Ползание 530
12.1 Использование инструмента Charles Packet Catching 530
12.2 Использование пакета MITMProxy Grabber 538
12.3 MI UMP в реальном времени обработка пакетов 544
12.4 Использование Appium 551
12.5 Практика ползания приложения на основе Appium 562
12.6 Использование Airtest 568
12.7 Ползание приложения на основе Airtest 585
12.8 Управление группой мобильных телефонов Практика ползания 591
12.9 Использование облачных мобильных телефонов 594
Глава 13 Android Reverse 603
13.1 Использование JADX 603
13.2 Использование JEB 615
13.3 Использование xposed framework 624
13.4 Практические случаи ползания на основе Xposed 635
13.5 Frida Use 643
13.6 SSL Pending Проблема Решение 650
13.7 ВВЕДЕНИЕ И ПРАКТИЧЕСКИЙ БОРЬЯ ТЕХНОЛОГИИ УДАЛЕНИЯ ANDROID SHELLE 657
13.8 ИСПОЛЬЗОВАНИЕ IDA PRO Статический анализ и динамическая отладка, поэтому файлы 664
13.9 Проверка моделирования, поэтому файл на основе FRIDA-RPC 680
13.10 Выполнение моделирования, поэтому файл на основе и Server-RPC 685
13.11 Проработка моделирования, поэтому файл на основе Unidbg 692
Глава 14 Страница интеллектуального анализа 700
14.1 Введение в Page Intelligent Analysis 700
14.2 Введение в алгоритм интеллектуального анализа деталей Страница 707
14.3 Реализация алгоритма интеллектуального анализа на деталях страницы 714
14.4 Введение в алгоритм интеллектуального анализа для страниц списков 722
14.5 Реализация алгоритма интеллектуального анализа в списке страницы 727
14.6 Как разумно различить листические страницы и детали страниц 735
Глава 15 Использование структуры скрещивания 739
15.1 Введение в структуру скрещивания 739
15.2 Начало работы с Scrapy 743
15.3 Использование селектора 754
15.4 Использование пауков 759
15.5 Использование промежуточного программного обеспечения для загрузки 766
15.6 Использование промежуточного программного обеспечения Spider 775
15.7 Использование элементарного трубопровода 781
15.8 Использование расширения 792
15.9 Сккрас -соединение Selenium 795
15.10 Скрейка стыковки Splash 801
15.11 Скррапия стыковки Pyppeteer 806
15.12 Scrapy регулятор Crawler 813
15.13 Практика скраски 827
Глава 16 Распределенные гусеницы 840
16.1 Распределенная концепция Crawler 840
16.2 Принцип Scrapy-Redis и анализ исходного кода 842
16.3 Распределенная реализация Crawler на основе Scrapy-Redis 847
16.4 крупномасштабная дедупликация на основе фильтра Bloom 851
16.5 Распределенные гусеницы на основе Rabbitmq 859
Глава 17 Управление и развертывание Crawlers 862
17.1 Использование Scrapyd и Scrapyd API 862
17.2 Использование Scrapyd-Client 867
17.3 Использование рамки управления Герапером Crawler 869
17.4 Упаковка проекта скраски в изображение Docker 873
17.5 Docker Compose Использование 878
17.6 Kubernetes Использование 880
17.7 Развертывание и управление скрещинами с Kubernetes 888
17.8 Схема статистики данных для распределенных сканеров Scrapy 899
17.9 Схема мониторинга распределенного хрупка на основе Прометея и Графана 904
Приложение Crawlers and Laws 917
......
Цвет страница:
