【Python】スクレイピングとAPIを用いた楽天の商品情報取得プログラム

  • 2020年2月20日
  • 2020年9月24日
  • Brain
【Python】スクレイピングとAPIを用いた楽天の商品情報取得プログラム

【Python】スクレイピングとAPIを用いた楽天の商品情報取得プログラム

中川
2020-02-20
0 件のレビューがあります
平均スコア 0.0

クラウドソーシングサイトに様々なプログラミング案件があります。今回は楽天の商品情報を抽出するスクリプトを書きました。

2020/02/22:全画像URL取得機能と検索商品全取得機能を追加

動作環境

python3.x系

必要モジュール:Beautifulsoup, requests

OS:Windows, Mac, Linux

機能

①楽天でキーワードと金額を指定して検索

②検索結果で出てきた商品の情報を抽出

・価格

・在庫

・商品コード

・商品タイトル

・商品画像URL

・商品説明

③CSVに出力

④プログラムの再実行で同じファイルに追記する。

動作

まず56行目にAPIのアプリケーションIDを入力してください。そのまま数値を入力します。文字列ではありません。

APIについて詳しくは→https://affiliate150.com/rakuten-app-id

次にプログラムを実行すると商品名を聞かれますので入力します。日本語でも可。

次に検索する価格帯です。

最低価格を入力。その後最高価格を入力。

プログラムの動作ですが、まずAPIを用いて商品情報を抽出します。ここから商品名や価格、商品URL、商品説明などを抽出します。次にスクレイピングを使って画像データのURLを収集します。楽天APIでは今の所最大3枚までしか取得できません。しかし、実際には3枚以上の画像を使っているショップがほとんどです。

したがって、スクレイピングで画像URLを取得します。楽天では高アクセス、高頻度のアクセスを行うとスクレイピングによって503エラーで弾かれるときがあるので、5回トライして、それでも取得できない時はAPIで取得した画像(最大3枚まで)のURLを抽出します。

1商品1分程度で取得します。楽天のサーバーに負荷を掛けないように敢えて1分程度のペースでアクセスするようにしています。

具体的なスクリプトは下記に書いていますので、上記のことに納得してから購入してください。

この続きを見るには購入する必要があります

この記事を購入する

この記事のレビュー

0 件のレビューがあります
平均スコア 0.0

この記事を購入する

>最強のWordPressテーマ「THE THOR」

最強のWordPressテーマ「THE THOR」

本当にブロガーさんやアフィリエイターさんのためになる日本一のテーマにしたいと思っていますので、些細なことでも気が付いたのであればご報告いただけると幸いです。ご要望も、バグ報告も喜んで承っております!

日本国内のテーマでナンバー1を目指しております。どうか皆様のお力をお貸しください。よろしくおねがいいたします。

CTR IMG