kakashi-blog・カカシブログ・

Python備忘録を書きドローンやバイクなど好きな事で生きて行こうとしているブログ

PC python プログラミング

Amazonのウェブスクレイピングが出来ない

投稿日:

 

pythonでプログラミングを勉強(というより趣味で遊んでいる)しています。

 

 

BeautifulSoupを使用して、ウェブスクレイピングがある程度出来るようになってきた。そこでAmazonサイトで商品名と価格を収集してまとめようとしました。

プログラムを走らせてみると、なんだかうまくデータが取れない。

たまにデータが取れるけど毎回は上手く動かない。たまに出来たりするので、バグを探すがどうもよくわからない・・・

もしやと思い取得したHTMLの一部を翻訳してみました。

なんと、スクレイピング禁止!

たぶん常識なんでしょうね。私は知りませんでした・・・

データが欲しいならAPIを使用しなくちゃならんという事でAmazonアソシエイトに登録しました。

 

他に方法はないの?

BeautifulSoupを使った方法はブロックされているので、他に方法はないのかと考えました。

人の手なら問題ない(当たり前ですが)、ならばSELENIUMならいけるんじゃ?

ブラウザをいちいち開くので時間はかかりますが、自動化は出来そう。

検索してページに飛んでは出来ましたのでおそらくいけるんじゃないかと思ってます。

機械的に100回とか繰り返したらブロックされるかもしれませんが、ランダムに時間の間隔を変化させて、ボタンクリックなどしていけばいけるかな。

ちょっとやってみます。

結果は次回の記事で。

-PC, python, プログラミング
-

執筆者:


comment

メールアドレスが公開されることはありません。

関連記事

Windowsキーボード入力、便利なショートカット(仮想デスクトップなど)

仮想デスクトップのショートカットを最近知りましたこんなに便利な機能があるのに、職場で使っている人を見たことなかったそもそも人のPC操作ってあまり見る機会ないですね        ①仮想デスクトップの作 …

ブログ初心者の私がワードプレスを選んだ理由と始め方

  ブログを始めたきっかけ   ビジネス系YouTubeを見るようになり、刺激された事が大きなきっかけ。 ブログを選んだ理由は、以前からアフィリエイトには興味があり、資産になる活動をしたかったから 。 …

Tkinterのメッセージボックス、謎ウインドウが消えない

pythonでTkinterを使用し、メッセージボックスを使おうと思ったが、謎ウインドウが出てきて処理が止まってしまう。    ↓のやつですね   調べてみると、「ルートウィンドウが無いと勝手に生成さ …

Amazonはスクレイピングが禁止。seleniumでデータ収集をしてみた

pythonでコードを書いて、AmazonのサイトからASINコードと金額のデータを、普通にスクレイピングしてみたけど出来なかった。(バグだと思って何時間も無駄にした) どうやらAmazonのサイトは …

カプレカ数をpythonで求める

カプレカ数とは まず6174を例にとってみます。 ’6’、’1’、’7’、’4’と桁を関係なく数字をバラバラにします。 その数字の並び替えを[最大]と[最小]になるように並び替えます。 ・最大 764 …