【Python】Basic認証があるページへのスクレイピング

pythonロゴ

前回はWEBスクレイピングについて簡単に紹介してみました。

【Python】WEBスクレイピングをしてみよう

認証が必要なページだった。

その後、複合機の管理画面から必要なデータを取ろうとスクレイピングを仕込んでみたら、
なんとその管理画面にBasic認証がかかっていました。

Basic認証

なので<Title>タグの内容を取得しようにも認証失敗のページの値を取得してしまう。

 

対応は簡単だった。

どうしたもんだと教えてGoogle先生~!って調べてみたらすぐ出てきました。

簡単です。

ここに追加。

対象ページにアクセスするURLを設定するところにauth=(‘ID’,”PASS)を追加するだけです。
これでBasic認証を突破できるようになりました。

Basic認証以外の認証については気が向いたときか、必要になったときに調べてみます。