基于AI的爬虫工具,项目开源。
一、介绍
一个开源的网络搜刮 python 库,通过整合 LLM 和直接图逻辑,可自动创建网站和各种本地文档(XML、HTML、JSON 等)的搜刮管道。
只需说出您要提取的信息,即可自动提取,可通过接口(OpenAI、Groq、Azure、Gemini)或使用 Ollama 的本地模型来使用不同的 LLM。
抓取通道有三种:
- SmartScraperGraph :只需要用户提示和输入源的单页抓取工具;
- SearchGraph :从搜索引擎的前 n 个搜索结果中提取信息的多页抓取工具;
- SpeechGraph :从网站中提取信息并生成音频文件的单页抓取工具。
二、快速安装
pip install scrapegraphai
playwright install
使用文档: https://scrapegraph-doc.onrender.com/
三、预览

四、地址
项目地址: https://github.com/VinciGit00/Scrapegraph-ai
在线试用: Google Colab;
最新评论
不是个人的吧,华为应用商店里有公司名称,可以搜到的
怎么获取下载密码不对啊?
你给钱了吗在这叫
夸克和百度给了你钱吧?这么多不限速的网盘不用,限速限的一坨屎一样的网盘拼命推荐