Арсений Савин. Эволюция скрапера: путь от 403 Forbidden до 200 OK

Тезисы Скрапинг давно перестал быть просто отправкой HTTP-запросов и парсингом HTML. Со временем он превратился в настоящую инженерную задачу, требующую нестандартных решений и комплексного подхода. В докладе проследим эволюцию инструментов — от примитивных клиентов до продвинутых систем, имитирующих действия реального пользователя. Поговорим о том, в каких случаях достаточно легковесного HTTP-клиента, а когда уже приходится подключать Playwright с управлением через прокси и эмуляцией поведения браузера. Разберём, как устроены современные скраперы: с системой ротации IP, автоматическим решением CAPTCHA и постоянной адаптацией к изменениям защиты. Также обсудим, какие техники позволяют обойти самые сложные барьеры — от Stealth-браузеров до применения LLM. И всё это — с акцентом на масштабируемость, разумные затраты и этичное отношение к источникам данных. Аудитория Backend-developer, frontend-developer, team-lead, engineers. Уровень сложности Advanced. Сайт – https://codefest.ru Презентация – https://disk.yandex.ru/i/0ZUS3DBGPhkAiQ