Парсинг. Практика. Пример. ч.1. Работа с библиотеками requests и Beautifulsoup4

Работа с библиотеками requests и Beautifulsoup4. Запросы, сохранение главной страницы, парсинг нужной нам информации. Сохранение данных в файлы json и CSV формата. Подробно, по шагам: что делаем, как делаем, почему. Лучший способ что-то понять - попытаться кому-то объяснить. В этом случае чтобы выразить свою мысль, ее надо самому понять и оформить в виде слов, речи. А это вынуждает совершенствовать уровень знания и, не побоюсь этого слова, мышления. Совершенствуется и речевой аппарат. Четкой и законченной мысль становится тогда, когда она получает четкую словесную формулировку. Психология, однако! Таймкоды: 00:00 - о чем ролик; 00:51 - сайт для парсинга; 01:30 - начинаем; о параметре запроса "headers"; 03:02 - о библиотеке Requests; 03:58 - пользовательский заголовок, согласование контента; 07:58 - параметры пользовательского заголовка: "Accept", "User-Agent" 12:57 - сохранение кода страницы, чтобы не "дергать" и не "злить" сайт, который будем парсить (а правильнее, скрапить).

Иконка канала ITshka
4 подписчика
12+
3 просмотра
15 дней назад
12+
3 просмотра
15 дней назад

Работа с библиотеками requests и Beautifulsoup4. Запросы, сохранение главной страницы, парсинг нужной нам информации. Сохранение данных в файлы json и CSV формата. Подробно, по шагам: что делаем, как делаем, почему. Лучший способ что-то понять - попытаться кому-то объяснить. В этом случае чтобы выразить свою мысль, ее надо самому понять и оформить в виде слов, речи. А это вынуждает совершенствовать уровень знания и, не побоюсь этого слова, мышления. Совершенствуется и речевой аппарат. Четкой и законченной мысль становится тогда, когда она получает четкую словесную формулировку. Психология, однако! Таймкоды: 00:00 - о чем ролик; 00:51 - сайт для парсинга; 01:30 - начинаем; о параметре запроса "headers"; 03:02 - о библиотеке Requests; 03:58 - пользовательский заголовок, согласование контента; 07:58 - параметры пользовательского заголовка: "Accept", "User-Agent" 12:57 - сохранение кода страницы, чтобы не "дергать" и не "злить" сайт, который будем парсить (а правильнее, скрапить).

, чтобы оставлять комментарии