如何批量请求多个 URL 并将结果汇总保存为 CSV 文件_网络技术

本文介绍如何将单 url 请求的 python 脚本扩展为批量处理多个 url：通过循环遍历 url 列表，逐个发起 http 请求，解析 json 响应并提取指定字段，动态累积至一个 pandas dataframe，最终统一导出为 csv 文件。

要实现对多个 URL 的自动化批量请求与结构化数据聚合，核心在于：将硬编码的单 URL 替换为 URL 列表、封装请求与解析逻辑于循环中，并使用 pd.concat()（推荐）或 DataFrame.append()（已弃用，需注意兼容性）持续合并结果。以下是优化后的完整可运行教程代码：

import requests
import pandas as pd

# ✅ 定义待请求的 URL 列表（支持任意数量）
urls = [
    'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=L2A%200A2&LanguagePreference=en&LastId=CA%7CCP%7CENG%7C0A2-L2A&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
    'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=M5V%203L9&LanguagePreference=en&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
    # 可继续添加更多 URL...
]

# ✅ 统一请求头（避免重复定义）
headers = {
    'authority': 'ws1.postescanada-canadapost.ca',
    'accept': '*/*',
    'accept-language': 'en-US,en;q=0.9',
    'cache-control': 'no-cache',
    'origin': 'https://www.canadapost-postescanada.ca',
    'pragma': 'no-cache',
    'referer': 'https://www.canadapost-postescanada.ca/ac/',
    'sec-ch-ua': '"Not A(Brand";v="99", "Google Chrome";v="121", "Chromium";v="121"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'cross-site',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
}

# ✅ 初始化空列表用于高效累积数据（比反复 append DataFrame 更快）
all_results = []

print("? 开始批量请求...")
for i, url in enumerate(urls, 1):
    print(f"  → 正在请求第 {i}/{len(urls)} 个 URL: {url[:60]}...")

    try:
        response = requests.get(url, headers=headers, timeout=15)
        response.raise_for_status()  # 自动抛出 HTTP 错误（如 404、500）

        data = response.json()
        items = data.get('Items', [])

        # ✅ 使用列表推导式高效提取字段（更简洁、更 Pythonic）
        for item in items:
            all_results.append({
                'text': item.get('Text', ''),
                'description': item.get('Description', '')
            })

    except requests.exceptions.RequestException as e:
        print(f"  ⚠️  请求失败（URL #{i}）: {e}")
        continue
    except (KeyError, ValueError) as e:
        print(f"  ⚠️  解析响应失败（URL #{i}）: {e}")
        continue

# ✅ 构建最终 DataFrame（一次性创建，性能最优）
if all_results:
    final_df = pd.DataFrame(all_results)
    # ✅ 保存为 CSV（禁用索引，确保纯数据格式）
    final_df.to_csv('address_results.csv', index=False, encoding='utf-8-sig')
    print(f"✅ 成功保存 {len(final_df)} 条记录到 address_results.csv")
else:
    print("❌ 未获取到任何有效数据，请检查 URL 或 API 响应结构。")

✅ 关键改进说明：

性能优化：避免在循环中反复调用 DataFrame.append()（Pandas ≥ 2.0 已移除该方法），改用列表累积 + 一次性 pd.DataFrame() 构造，大幅提升大数据量下的执行效率。
健壮性增强：添加 try/except 捕获网络异常（超时、连接拒绝）和 JSON 解析异常；使用 .get() 防止 KeyError；response.raise_for_status() 确保 HTTP 错误被及时发现。
可维护性提升：URL 列表清晰独立，便于维护；日志输出明确每步状态，便于调试；CSV 文件名语义化（address_results.csv）。
兼容性保障：encoding='utf-8-sig' 确保 Excel 能正确识别中文等 Unicode 字符。

? 提示：若需处理数百以上 URL，建议增加请求间隔（如 time.sleep(0.5)）以遵守服务端速率限制；生产环境还应考虑使用 requests.Session() 复用连接、添加重试机制（如 tenacity 库）及异步并发（aiohttp + asyncio）进一步提升吞吐量。

# excel # python # html # js # json # go # windows # 编码 # 大数据 # app # session

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】