kakashi-blog・カカシブログ・

Python備忘録を書きドローンやバイクなど好きな事で生きて行こうとしているブログ

PC python プログラミング

Amazonのウェブスクレイピングが出来ない

投稿日:

 

pythonでプログラミングを勉強(というより趣味で遊んでいる)しています。

 

 

BeautifulSoupを使用して、ウェブスクレイピングがある程度出来るようになってきた。そこでAmazonサイトで商品名と価格を収集してまとめようとしました。

プログラムを走らせてみると、なんだかうまくデータが取れない。

たまにデータが取れるけど毎回は上手く動かない。たまに出来たりするので、バグを探すがどうもよくわからない・・・

もしやと思い取得したHTMLの一部を翻訳してみました。

なんと、スクレイピング禁止!

たぶん常識なんでしょうね。私は知りませんでした・・・

データが欲しいならAPIを使用しなくちゃならんという事でAmazonアソシエイトに登録しました。

 

他に方法はないの?

BeautifulSoupを使った方法はブロックされているので、他に方法はないのかと考えました。

人の手なら問題ない(当たり前ですが)、ならばSELENIUMならいけるんじゃ?

ブラウザをいちいち開くので時間はかかりますが、自動化は出来そう。

検索してページに飛んでは出来ましたのでおそらくいけるんじゃないかと思ってます。

機械的に100回とか繰り返したらブロックされるかもしれませんが、ランダムに時間の間隔を変化させて、ボタンクリックなどしていけばいけるかな。

ちょっとやってみます。

結果は次回の記事で。

-PC, python, プログラミング
-

執筆者:


comment

メールアドレスが公開されることはありません。

関連記事

Python備忘録 Tkinter編② テキスト入力とボタン

前回はラベルの挿入まで行いました 今回はテキスト入力とボタンについて記述します       1、ベースのウィンドウを作る    win=tk.Tk() win.title(‘text input &a …

Python備忘録 selenium 自動ログイン編

前回はブラウザのスクロールまで行いました 今回はブラウザのログイン画面から自動ログインに挑戦   退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング   ◇ソー …

pythonで画像処理 Pillow(PIL)

画像処理なんて大げさですが、Pillow(PIL)を使用して少し画像の操作をやりました   ライブラリのインポート~ from PIL import Image im=Image.open(‘C:\\ …

仮想通貨マイニング、電気代は実際いくらかかるのか

現在暴落中の仮想通貨ですが、先週くらいまではイケイケでした。 そんな中マイニングを始めたわけですが、儲かるのかどうなのか、 ちゃんと計算してみました。   基本的な収支の考え    マイニング収益 ー …

ナイスハッシュのmining payment毎に、レートを自動で取得(python)

マイニングを始めると、どのタイミングのレートで確定申告しようかと考えると思います。 ググると結構皆さん独自で考えて行っているのが現状ですかね。 ひと月にまとめている人、円に換えたタイミングの人・・・結 …