Naver画像検索をPythonでスクレイピングする方法：APIで取得してCSVに保存

python3 -m venv .venv
source .venv/bin/activate
python -m pip install "requests==2.34.2"
export NAVER_CLIENT_ID='YOUR_CLIENT_ID'
export NAVER_CLIENT_SECRET='YOUR_CLIENT_SECRET'

py -m venv .venv
.\.venv\Scripts\python.exe -m pip install "requests==2.34.2"
$env:NAVER_CLIENT_ID = 'YOUR_CLIENT_ID'
$env:NAVER_CLIENT_SECRET = 'YOUR_CLIENT_SECRET'

"""Export Naver Image Search API metadata to CSV. Requires API credentials."""
import argparse
import csv
import os
import re
from html import unescape

import requests

API_URL = "https://openapi.naver.com/v1/search/image"
FIELDNAMES = ["query", "title", "image_url", "thumbnail_url", "width", "height"]


def clean_title(value):
    return unescape(re.sub(r"<[^>]+>", "", value or ""))


def fetch_images(query, limit, client_id, client_secret, session=None):
    if not 1 <= limit <= 1000:
        raise ValueError("limitは1～1000の範囲で指定してください")
    http = session or requests.Session()
    headers = {
        "X-Naver-Client-Id": client_id,
        "X-Naver-Client-Secret": client_secret,
    }
    rows = []
    for start in range(1, limit + 1, 100):
        display = min(100, limit - len(rows))
        response = http.get(
            API_URL,
            headers=headers,
            params={"query": query, "display": display, "start": start, "sort": "sim"},
            timeout=20,
        )
        response.raise_for_status()
        payload = response.json()

        items = payload.get("items", [])
        for item in items:
            rows.append({
                "query": query,
                "title": clean_title(item.get("title")),
                "image_url": item.get("link", ""),
                "thumbnail_url": item.get("thumbnail", ""),
                "width": item.get("sizewidth", ""),
                "height": item.get("sizeheight", ""),
            })
        if len(items) < display:
            break

    return rows


def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("query", help="検索語。例：seoul skyline")
    parser.add_argument("--limit", type=int, default=100)
    parser.add_argument("--output", default="naver_images.csv")
    args = parser.parse_args()
    client_id = os.environ.get("NAVER_CLIENT_ID")
    client_secret = os.environ.get("NAVER_CLIENT_SECRET")
    if not client_id or not client_secret:
        parser.error("先にNAVER_CLIENT_IDとNAVER_CLIENT_SECRETを設定してください")
    if not args.query.strip():
        parser.error("queryは空欄にできません")
    if not 1 <= args.limit <= 1000:
        parser.error("limitは1～1000の範囲で指定してください")
    try:
        rows = fetch_images(args.query, args.limit, client_id, client_secret)
    except requests.HTTPError as exc:
        response = exc.response
        status = response.status_code if response is not None else None
        advice = {
            400: "query、display、start、sortの値を確認してください。",
            401: "Client IDとClient Secretを確認してください。",
            403: "アプリケーションの権限とSearch APIの有効化を確認してください。",
            429: "利用枠とリクエスト頻度を確認し、再試行前にリクエスト間隔を調整してください。",
        }.get(status, "APIのステータスとドキュメントを確認してから再試行してください。")
        if status == 429 and response is not None:
            retry_after = response.headers.get("Retry-After")
            if retry_after:
                advice += f" Retry-After: {retry_after}."
        parser.exit(1, f"APIリクエストに失敗しました（HTTP {status}）：{advice}\nこの実行ではCSVを保存していません。\n")
    except requests.Timeout:
        parser.exit(1, "リクエストがタイムアウトしました。接続を確認して再試行してください。CSVは保存していません。\n")
    except requests.RequestException:
        parser.exit(1, "リクエストまたはレスポンスの処理に失敗しました。接続とAPIレスポンスの形式を確認してください。CSVは保存していません。\n")
    with open(args.output, "w", encoding="utf-8-sig", newline="") as file:
        writer = csv.DictWriter(file, fieldnames=FIELDNAMES)
        writer.writeheader()
        writer.writerows(rows)
    print(f"{len(rows)}行を{args.output}に保存しました")


if __name__ == "__main__":
    main()

python naver_image_api.py '서울 야경' --limit 120 --output naver_images.csv

.\.venv\Scripts\python.exe naver_image_api.py '서울 야경' --limit 120 --output naver_images.csv

query,title,image_url,thumbnail_url,width,height