unclecode /crawl4ai

Открытый веб-краулер, который собирает страницы сайтов и превращает их в чистый текст для ИИ-систем и баз знаний.

Crawl4AI обходит сайты и конвертирует страницы в аккуратный текст в формате Markdown, удобный для загрузки в языковые модели, поисковые системы и конвейеры обработки данных. Проект активно развивается и имеет большое сообщество; последние версии закрывают уязвимости безопасности и повышают надёжность работы.

Описание автора: 🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://discord.gg/jP8KfhDhyN

Python★ 83 562создан 9 мая 2024форков 8 634Apache-2.0

Открыть на GitHub → Сайт проекта

Сколько звёзд прибавилось

Прирост по дням за 3 месяца

17 июня: ≈11518 июня: ≈17419 июня: ≈14020 июня: ≈2921 июня: ≈11622 июня: ≈12623 июня: ≈10524 июня: ≈16125 июня: ≈27026 июня: ≈13927 июня: ≈4728 июня: ≈12329 июня: ≈28230 июня: ≈841 июля: ≈2922 июля: ≈613 июля: ≈04 июля: ≈1175 июля: ≈1236 июля: ≈1687 июля: ≈1488 июля: ≈3689 июля: ≈26110 июля: ≈30511 июля: ≈012 июля: ≈013 июля: ≈014 июля: ≈33915 июля: ≈016 июля: ≈32617 июля: ≈018 июля: ≈019 июля: ≈020 июля: ≈35821 июля: ≈38722 июля: ≈49423 июля: ≈21024 июля: ≈44425 июля: ≈026 июля: ≈55527 июля: ≈028 июля: ≈43429 июля: ≈030 июля: ≈29731 июля: ≈4501 августа: ≈02 августа: ≈03 августа: ≈04 августа: ≈05 августа: ≈06 августа: ≈7077 августа: ≈838 августа: ≈969 августа: ≈64410 августа: ≈011 августа: ≈19712 августа: ≈13013 августа: ≈014 августа: ≈015 августа: ≈016 августа: ≈017 августа: ≈018 августа: ≈13619 августа: ≈020 августа: ≈021 августа: ≈17922 августа: ≈023 августа: ≈024 августа: ≈025 августа: ≈026 августа: ≈19827 августа: ≈028 августа: ≈14429 августа: ≈48630 августа: ≈31431 августа: ≈5141 сентября: ≈3892 сентября: ≈1113 сентября: ≈2184 сентября: ≈1055 сентября: ≈3196 сентября: ≈2617 сентября: ≈1398 сентября: ≈1089 сентября: ≈2110 сентября: ≈8811 сентября: ≈5212 сентября: ≈29713 сентября: ≈56514 сентября: ≈7915 сентября: ≈8517 июняиюльавгсент

Оценка по выборке GH Archive. Бледные столбцы — дни, история за которые ещё загружается.