【Webスクレイピング】YahooニュースをSeleniumとBeautifulSoupを使用して取得する
Yahooニュースのスクレイピング 今回はYahooニュースの「ニュース」タブの部分の取得、 それぞれのニュースの詳細(記事全文を読む)の部分を SeleniumとBeautifulSoupを使用して取得してみたいと思い…
Python
Yahooニュースのスクレイピング 今回はYahooニュースの「ニュース」タブの部分の取得、 それぞれのニュースの詳細(記事全文を読む)の部分を SeleniumとBeautifulSoupを使用して取得してみたいと思い…
Python
Pythonの辞書型 最近スクレイピングにを行うようになって 辞書型をよく使用するようになったので 改めて復習です! 以下、ソースコード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
# 辞書型の作成方法 test_list = {1:"Python",2:"Java",3:"PHP",4:"C#"} # キーで指定 print("↓キーで指定") print(test_list[1]) print(test_list[2]) print() # getで指定 print("↓get指定") print(test_list.get(1)) print(test_list.get(4)) print() # forで取得 print("↓forで辞書型を取得する") for i in test_list: print(test_list.get(i)) # 範囲外だとNoneになる。落ちたりはしない print() print("↓5は存在しないのでNone") print(test_list.get(5)) # isNoneで判定可能。 print() if test_list.get(5) is None: print("test_list.get(5)はNoneに判定されています") |
実行結果 解説 …
Python
2つのAPIを組み合わせ! 前回のWebAPIの記事では 「キーワードから緯度と経度と郵便番号を取得」 を行ってみました。 その際に別のWebAPIとも組み合わせができそう。 と記載したのですが、早速試してたくなったので…
Python
キーワードから緯度と経度と郵便番号を取得 前回は郵便番号から住所を取得しました! 今回は逆にキーワード検索を行って [緯度],[経度],[郵便番号] の取得をしてみたいと思います! 今回HeartRailsGeoAPIと…
Python
pythonで.env これまで環境変数は直接編集を行っていましたが、 pythonの学習で色々な方のファイルを学習していくと .envファイルを使用している方が多かったので、 勉強がてら使用してみました。 .envを使…
Python
郵便番号から住所検索を行う 今回はWebAPIを使用して郵便番号から住所検索を行ってみたいと思います。 そもそもWebAPIとはどの様な機能でしょうか。 WebAPIとは コンピュータプログラムの提供する機能を外部の別の…
Python
検索結果をCSVへ! 前回スクレイピングした内容をテキストへ保存しました! CSVへの保存も簡単に行えます。 前回のソースコードを少し綺麗に?しながらCSVファイルへ落とし込みたいと思います。 【イメージ】 ↓ の検索結…
Python
検索結果をスクレイピング 前回はメルカリのスクレイピングをSeleniumで行いました。 今回は「BeautifulSoup」を使ってみたいということで、 メルカリと比べると大分短いソースコードになりますが、 ・Goog…
Python
AttributeError お馴染みの「AttributeError」です。 あーまた間違えたかー。ぐらいだったのですが 今回はなぜかはまりました。 解決した時には自分のコードの恐ろしさに気づきましたw エラーが出た時…
Python
classが見つからない! 前回は「Selenium」のみのWebスクレイピングを行ったので 今回は「BeautifulSoup」を使用したいと思い、 Googleの検索結果で以下のような1件ずつの タイトルとURLを取…