kakashi-blog・カカシブログ・

Python備忘録を書きドローンやバイクなど好きな事で生きて行こうとしているブログ

PC python プログラミング

Amazonのウェブスクレイピングが出来ない

投稿日:

 

pythonでプログラミングを勉強(というより趣味で遊んでいる)しています。

 

 

BeautifulSoupを使用して、ウェブスクレイピングがある程度出来るようになってきた。そこでAmazonサイトで商品名と価格を収集してまとめようとしました。

プログラムを走らせてみると、なんだかうまくデータが取れない。

たまにデータが取れるけど毎回は上手く動かない。たまに出来たりするので、バグを探すがどうもよくわからない・・・

もしやと思い取得したHTMLの一部を翻訳してみました。

なんと、スクレイピング禁止!

たぶん常識なんでしょうね。私は知りませんでした・・・

データが欲しいならAPIを使用しなくちゃならんという事でAmazonアソシエイトに登録しました。

 

他に方法はないの?

BeautifulSoupを使った方法はブロックされているので、他に方法はないのかと考えました。

人の手なら問題ない(当たり前ですが)、ならばSELENIUMならいけるんじゃ?

ブラウザをいちいち開くので時間はかかりますが、自動化は出来そう。

検索してページに飛んでは出来ましたのでおそらくいけるんじゃないかと思ってます。

機械的に100回とか繰り返したらブロックされるかもしれませんが、ランダムに時間の間隔を変化させて、ボタンクリックなどしていけばいけるかな。

ちょっとやってみます。

結果は次回の記事で。

-PC, python, プログラミング
-

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

関連記事

カプレカ数をpythonで求める

カプレカ数とは まず6174を例にとってみます。 ’6’、’1’、’7’、’4’と桁を関係なく数字をバラバラにします。 その数字の並び替えを[最大]と[最小]になるように並び替えます。 ・最大 764 …

ナイスハッシュのmining payment毎に、レートを自動で取得(python)

マイニングを始めると、どのタイミングのレートで確定申告しようかと考えると思います。 ググると結構皆さん独自で考えて行っているのが現状ですかね。 ひと月にまとめている人、円に換えたタイミングの人・・・結 …

Windowsキーボード入力、便利なショートカット(仮想デスクトップなど)

仮想デスクトップのショートカットを最近知りましたこんなに便利な機能があるのに、職場で使っている人を見たことなかったそもそも人のPC操作ってあまり見る機会ないですね        ①仮想デスクトップの作 …

ノートパソコンにGPU(グラボ)を付けたい

  GTX1070とノートPCが余ってる マイニングを初めてから、デスクトップPCはほぼ放置状態 動かしておけばお金になるからね。 グラボの増設を考え、いろいろやったけど認識しないのであきらめました。 …

Python備忘録 Tkinter編② テキスト入力とボタン

前回はラベルの挿入まで行いました 今回はテキスト入力とボタンについて記述します       1、ベースのウィンドウを作る    win=tk.Tk() win.title(‘text input &a …