範囲指定してスクリーンショットを取得する
行いたいこと 前回画面のスクロールを行いました。 今回はSeleniumでChromeを起動 > 画面を下へスクロールして、 表示されているブラウザのスクリーンショット(範囲指定) を行いたいと思います。 ■ Googl…
行いたいこと 前回画面のスクロールを行いました。 今回はSeleniumでChromeを起動 > 画面を下へスクロールして、 表示されているブラウザのスクリーンショット(範囲指定) を行いたいと思います。 ■ Googl…
行いたいこと いらすとやの画像より、 複数の画像を一気にダウンロードする。 ということを試してみたいと思います。 例えば以下のようなページの場合、サッカーを行っている画像だけではなく 表示されている全ての画像ファイルが対…
スクレイピングでtextを表示すると データが下記のような状態で取得されることが多々あります。 これを綺麗なデータにしよう。 というのが今回のテーマです。 まずは「改行」を削除します。 [crayon-67ac43eb4…
CSV出力しようとした時、 下記コードにてcp932エラーが。 ‘cp932’ codec can’t encode character どうやらopenする際に文字コードを指定してい…
フォルダの作成とファイルの作成 今回は以下を行ってみたいと思います。 ・現在のフォルダのパスを取得 ・現在のフォルダ内に、フォルダを作成する ※既に作成されている場合は何もしない ・作成したフォルダ内に、テキストファイ…
Pythonのlist型 listの初期化や宣言、 配列の途中に空白があった場合の処理など。 listの宣言と初期化 コードは以下になります。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
# listの宣言と初期化処理 list_test1 = [] list_test1 = ["あ","","い","う","",""] print("list_test1 = " + str(list_test1)) # listのappendで[]を入れてしまうと、、、 list_test2 = [] list_test2.append(["あ","","い","う","",""]) print("list_test2 = " + str(list_test2)) # 空白を取り除いて、新たに生成したリストに格納する list_test3 = [] for i in list_test1: if i != '': list_test3.append(i) print("list_test3 = " + str(list_test3)) |
■ 実行結…
Yahooニュースのスクレイピング 今回はYahooニュースの「ニュース」タブの部分の取得、 それぞれのニュースの詳細(記事全文を読む)の部分を SeleniumとBeautifulSoupを使用して取得してみたいと思い…
Pythonの辞書型 最近スクレイピングにを行うようになって 辞書型をよく使用するようになったので 改めて復習です! 以下、ソースコード
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
# 辞書型の作成方法 test_list = {1:"Python",2:"Java",3:"PHP",4:"C#"} # キーで指定 print("↓キーで指定") print(test_list[1]) print(test_list[2]) print() # getで指定 print("↓get指定") print(test_list.get(1)) print(test_list.get(4)) print() # forで取得 print("↓forで辞書型を取得する") for i in test_list: print(test_list.get(i)) # 範囲外だとNoneになる。落ちたりはしない print() print("↓5は存在しないのでNone") print(test_list.get(5)) # isNoneで判定可能。 print() if test_list.get(5) is None: print("test_list.get(5)はNoneに判定されています") |
実行結果 解説 …
2つのAPIを組み合わせ! 前回のWebAPIの記事では 「キーワードから緯度と経度と郵便番号を取得」 を行ってみました。 その際に別のWebAPIとも組み合わせができそう。 と記載したのですが、早速試してたくなったので…
キーワードから緯度と経度と郵便番号を取得 前回は郵便番号から住所を取得しました! 今回は逆にキーワード検索を行って [緯度],[経度],[郵便番号] の取得をしてみたいと思います! 今回HeartRailsGeoAPIと…