注册与试用

免费试用

注册Oxylabs账户后可获得7天免费试用（提供5,000条结果），无需付款信息。

试用权益

5,000条搜索结果

创建API用户

  1. 登录Oxylabs仪表盘 https://dashboard.oxylabs.io/
  2. 在"Users"标签页创建API用户，设置用户名和密码
  3. 妥善保存凭证（用于身份验证）

测试查询

仪表盘会提供预置的cURL测试代码（支持Amazon、Google和通用网站），可直接复制到Postman或终端运行。

AmazonGoogle通用网站

环境准备

依赖安装

# 创建虚拟环境
python3.9 -m venv venv
source venv/bin/activate  # Linux/Mac
venv\Scripts\activate    # Windows

# 安装依赖库
pip install requests pandas

代码结构

使用requests库发送POST请求至API端点。

关键参数

  • source: 数据源（如universal、google_search）
  • url: 目标网页链接
  • parse: 设为true以获取结构化数据
  • geo_location: 地理定位（如"United States"）

推荐配置

  • Python 3.9+ (Scheduler要求)
  • 最新版requests和pandas库
  • 适当增加超时时间（默认30秒）

发送首个请求

实时集成方式

import requests
from pprint import pprint

# 替换为你的API凭证
username = "YOUR_USERNAME"
password = "YOUR_PASSWORD"

payload = {
    "source": "universal",
    "url": "https://sandbox.oxylabs.io/products/",
    "geo_location": "United States",
    "parse": True  # 启用结构化数据解析
}

response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=(username, password),
    json=payload
)

# 打印结果
pprint(response.json())

API端点选择

实时端点

适合即时需求，快速获取数据

高延迟容忍度

推拉式端点

适合批量处理，降低成本

中等延迟

代理端点

适合需要代理IP的场景

高延迟

处理响应

成功响应（200 OK）

数据存储在response.json()['results'][0]['content']中。

{
  "status": "success",
  "results": [
    {
      "content": {
        "title": "产品名称",
        "price": "$99.99",
        "availability": "In stock"
      },
      "url": "https://example.com/product"
    }
  ]
}

常见错误码

401

凭证错误（检查用户名/密码）

400

请求参数无效（如URL格式错误）

429

请求超限（需升级计划或联系支持）

数据导出

使用pandas将结果保存为CSV：

import pandas as pd
data = response.json()['results'][0]['content']
pd.DataFrame(data).to_csv('output.csv')

高级功能

调度任务（Scheduler）

使用run.py设置定时任务（每日/每周/每月），结果直存AWS S3或Google Cloud。

python run.py  # 启动向导，选择频率和存储位置

AI辅助（OxyCopilot）

在仪表盘的"Scraper API Playground"用自然语言描述需求，自动生成解析代码。

示例

"提取所有商品标题和价格"

系统将自动生成类似以下的XPath选择器：

"parsing_instructions": {
  "product_name": {
    "_fns": [{"_fn": "xpath_one", "_args": ["//h2[@class='product-title']/text()"]}]
  },
  "price": {
    "_fns": [{"_fn": "xpath_one", "_args": ["//span[@class='price']/text()"]}]
  }
}

自定义解析

通过parsing_instructions参数定义XPath/CSS选择器，提取特定数据：

"parsing_instructions": {
  "product_name": {
    "_fns": [{"_fn": "xpath_one", "_args": ["//h1/text()"]}]
  }
}

资源与支持

文档

官方文档包含完整参数表和示例：

官方文档

GitHub示例

参考实战代码：

oxylabs/how-to-scrape-imdb 示例

技术支持

在线聊天

24/7在线聊天（仪表盘内）

邮件支持

support@oxylabs.io

定价计划

免费试用

7天试用，5,000条结果

  • 无需付款信息
  • 基础功能完整
  • 适合学习和测试

基础计划

起价 $49/月

  • 基本请求量
  • 标准地理定位
  • 无高级调度

企业计划

按需定制

  • 高并发支持
  • 专用代理
  • 高级调度
  • 专属客户经理