D4Vinci /Scrapling

Python-фреймворк для веб-скрапинга, который обходит защиту сайтов вроде Cloudflare и сам подстраивается под изменения страниц.

Scrapling — библиотека для сбора данных с сайтов: от одного запроса до полноценного обхода с параллельными сессиями, ротацией прокси и адаптивной скоростью под нагрузку сайта. Парсер запоминает расположение нужных элементов и находит их заново, если сайт изменил вёрстку, а встроенные загрузчики обходят антибот-системы вроде Cloudflare Turnstile.

Описание автора: 🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ

Python★ 81 160создан 13 октября 2024форков 8 204BSD-3-Clause
crawlercrawlingcrawling-pythonplaywrightpythonscrapingselectorsstealth

Открыть на GitHub → Сайт проекта

Сколько звёзд прибавилось

Прирост по дням за 3 месяца

17 июня: ≈46018 июня: ≈34819 июня: ≈21020 июня: ≈8821 июня: ≈34822 июня: ≈6323 июня: ≈21024 июня: ≈10725 июня: ≈13526 июня: ≈27827 июня: ≈14228 июня: ≈27629 июня: ≈14130 июня: ≈2101 июля: ≈2922 июля: ≈3063 июля: ≈1424 июля: ≈1575 июля: ≈3686 июля: ≈3367 июля: ≈08 июля: ≈09 июля: ≈26110 июля: ≈30511 июля: ≈012 июля: ≈013 июля: ≈014 июля: ≈015 июля: ≈26816 июля: ≈017 июля: ≈15718 июля: ≈67419 июля: ≈63820 июля: ≈71621 июля: ≈38722 июля: ≈023 июля: ≈42024 июля: ≈22225 июля: ≈026 июля: ≈027 июля: ≈26128 июля: ≈029 июля: ≈1 20230 июля: ≈031 июля: ≈01 августа: ≈02 августа: ≈4023 августа: ≈04 августа: ≈5655 августа: ≈06 августа: ≈07 августа: ≈838 августа: ≈969 августа: ≈010 августа: ≈011 августа: ≈39412 августа: ≈26013 августа: ≈014 августа: ≈015 августа: ≈016 августа: ≈46217 августа: ≈33018 августа: ≈019 августа: ≈76120 августа: ≈17021 августа: ≈11922 августа: ≈023 августа: ≈024 августа: ≈32925 августа: ≈43726 августа: ≈19827 августа: ≈028 августа: ≈28829 августа: ≈77830 августа: ≈10531 августа: ≈2571 сентября: ≈1302 сентября: ≈2233 сентября: ≈1094 сентября: ≈1785 сентября: ≈1596 сентября: ≈2177 сентября: ≈4498 сентября: ≈3789 сентября: ≈21110 сентября: ≈19411 сентября: ≈31412 сентября: ≈20413 сентября: ≈27314 сентября: ≈23615 сентября: ≈15917 июняиюльавгсент

Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.