通用采集 API 使用文档
阅读目录
最后更新日期：2025年3月17日
此文档适用于开发者，供开发者高效、便捷的对接数据并快速对接API
接口名称
通用采集Api
接口描述
用于便捷采集公网数据
请求 URL
http://xscrape.pangolinfo.com/scrape/v2请求方法
POST / GET
支持post或get请求方式
参数
POST 请求参数
参数名 | 参数类型 | 参数说明 |
|---|---|---|
token | String | 用户认证信息，请联系管理员获取 |
GET 请求参数
参数名 | 参数类型 | 参数说明 |
|---|---|---|
token | String | 用户认证信息，请联系管理员获取 |
task | String | 任务信息，注意用URLEncoder进行编码，task格式如下 { “url”:”https://x.com/elonmusk”, “responseFilter”: { “name”: “urlRuleFilter”, “values”: [ “UserTweets” ] } } |
task属性说明
参数名 | 参数类型 | 是否必填 | 参数说明 |
|---|---|---|---|
url | String | 是 | 目标页面地址 |
responseFilter.name | String | 否 | 响应过滤器名称，枚举值： urlRuleFilter（url过滤器） resourceTypeFilter（资源类型过滤器） |
responseFilter.values | String数组 | 否 | |
响应参数
{
"code": 0,
"message": "ok",
"completedTime": 1741749438354,
"data": {
"taskId": "239b1e398c1f472180e4e016568d014f",
"xhrs": [
],
"documents": [
],
"imgs": [
]
}
}
错误码
1001
- 含义：参数为空 / 参数不正确
- 解决方案：检查请求参数是否正确
1004
- 含义：访问被拒绝 / Token 不正确 / 超出体验次数
- 解决方案：请检查Token
示例请求
1、谷歌搜索、亚马逊前台数据采集已内置并做了优化，更方便用户调用，后续逐步叠加主流站点
2、Twitter、沃尔玛采集是通用的采集方案
具体如下：
1、谷歌搜索
体验：http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX&task=%7B%22url%22%3A%20%22https%3A%2F%2Fwww.google.com%2Fsearch%3Fq%3desk%22%7D
# 请求
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '{"url": "https://www.google.com/search?q=desk"}'
2、亚马逊
体验：
参数名 | 参数类型 | 是否必填 | 参数说明 |
|---|---|---|---|
url | String | 是 | 亚马逊目标页面地址 |
parserName | String | 否 | 解析器名称，包含以下枚举值 amzKeyword：关键词搜索结果页 amzProductDetail：商品详情页 amzProductOfCategory：类目下商品列表页 amzProductOfSeller：卖家商品列表页 amzBestSellers：热卖榜 amzNewReleases：新品榜 |
bizContext.zipcode | String | 否 | 邮编，支持任意邮编，格式如下： 美国：10041 | 90001 | … 德国：80331 | 10115 | … 英国：W1S 3AS | EH15 1LR | … 日本：100-0004 | 060-8588 | … 法国：75000 | 69001 | … 意大利：20019 | 50121 | … 西班牙：41001 | 28001 | … 加拿大：M4C 4Y4 | V6E 1N2 | … |
示例一，采集https://www.amazon.com/s?k=desk，参数如下：
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '{"url": "https://www.amazon.com/s?k=desk"}'
示例二，采集https://www.amazon.com/s?k=desk，且邮编设为10041，参数如下:
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '{"url": "https://www.amazon.com/s?k=desk","bizContext":{"zipcode":"10041"}}'
示例三，采集https://www.amazon.com/s?k=desk，且邮编设为10041，解析器为amzKeyword，参数如下:
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '{"url": "https://www.amazon.com/s?k=desk","parserName":"amzKeyword","bizContext":{"zipcode":"10041"}}'
Twitter个人主页
POST请求
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '
{
"url": "https://x.com/elonmusk",
"responseFilter": {
"name": "urlRuleFilter",
"values": [
"UserTweets"
]
}
}'
GET请求
http://xscrape.pangolinfo.com/scrape/v1?token=c2f4c686ee2a41369a44db5d7aa0fe09&task=%7B%22url%22%3A%22https%3A%2F%2Fx.com%2Felonmusk%22%2C%22responseFilter%22%3A%7B%22name%22%3A%22urlRuleFilter%22%2C%22values%22%3A%5B%22UserTweets%22%5D%7D%7D
沃尔玛商品列表页
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '{
"url":"https://www.walmart.com/shop/clothing-and-accessories/mens-new-arrivals?povid=GlobalNav_rWeb_ClothingShoesAccessories_NewArrivals_MensNewArrivals",
"responseFilter": {
"name": "urlRuleFilter",
"values": [
"https://www.walmart.com/shop"
]
},
"blockResources":["font","image","media"]
}'
沃尔玛商品详情页
curl --location 'http://xscrape.pangolinfo.com/scrape/v1?token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
--header 'Content-Type: application/json' \
--data '{
"url":"https://www.walmart.com/ip/George-Men-s-Slim-Chino-Pants/366426548?classType=VARIANT&athbdg=L1600",
"responseFilter": {
"name": "urlRuleFilter",
"values": [
"https://www.walmart.com/ip"
]
},
"blockResources":["font","image","media"]
}'
准备好开始了吗？
无需信用卡，注册即可获得300积分
