javascriptを使用して画面をスクロールする
行いたいこと PythonからJavascriptを使用して画面のスクロールをしたいと思います。 厳密にはSeleniumでChromeを起動して、 表示されているブラウザのスクロール処理ですね。 コード [crayon…
Python
Python
Webスクレイピング
Python
Python
ページ内に存在する複数の画像を一気にダウンロードする
行いたいこと いらすとやの画像より、 複数の画像を一気にダウンロードする。 ということを試してみたいと思います。 例えば以下のようなページの場合、サッカーを行っている画像だけではなく 表示されている全ての画像ファイルが対…
Python
Pythonで1枚の画像をダウンロード
行いたいこと 今回は凄くシンプルにウェブ上の画像を1枚ダウンロードしてみたいと思います。 ダウンロードする画像は「いらすとや」の任意の画像1枚だけです。 プログラムを実行したら同フォルダ内に指定したURLの画像を保存する…
GAS
GASでWebスクレイピング 07：トリガー機能を使ってみる
今回行うこと 今回はGASのトリガー機能を使用したいと思います。 説明は不要かと思いますが、GASのトリガー機能を使用すれば サーバーを自前で用意しなくても、クラウド実行が行えます！ GASでWebスクレイピングをする一…
GAS
GASでWebスクレイピング 06：背景色を交互に設定する
今回行うこと 前回スプレッドシートに書き込んだ内容に 1行毎に別の背景色を設定して表を見やすくしたいと思います。 前回の記事はこちら 色が分かりやすいように設定してみましたが、目が痛いですねw ↓ 今回のゴール 背景色を…
GAS
Exception: Request failed returned code 503. Truncated server response:
今回起こったこと タイトル通りのエラーが発生しました。 発生した箇所は「UrlFetchApp.fetch」 を行ったタイミングです。 今までエラーを吐かなかったのに、 発生してから何度か実行を行ってもエラーばかり 返っ…
GAS
GASでWebスクレイピング 05：余計な空白を取り除く
今回行うこと 前回とほぼコードは同じですが、 空白を取り除いた上でスプレッドシートへ書き込みたいと思います。 前回の記事はこちら ↓ 今回のゴール Trim関数で空白を削除するコード [crayon-674f0ab5bf…
GAS
GASでWebスクレイピング 04：スクレイピング結果をスプレッドシートに書き込む
今回行うこと 前回まではログに出力していた情報を スプレッドシートに書き込みたいと思います。 前回の記事はこちら ↓ ゴールイメージ スクレイピング後にスプシへ書き込むコード [crayon-674f0ab5bfab93…
GAS
GASでWebスクレイピング 03：タウンワークをスクレイピングしてみる
今回行うこと タウンワークのページをスクレイピングしてみたいと思います。 GASだとクリックの操作が苦手みたいなので、 各種条件：地域や職種などの条件が指定されたページを対象としています。 条件は以下としてみました。 ・…
GAS
GASでWebスクレイピング 02：Yahooの上部から文字列を取得してみる
今回行うこと 今回は下記を行いたいと思います。 ・前回取得したHTMLをParserして中身を確認する ・Yahooの画面上部に存在する文字列の取得 ↓ 下記赤枠の文字列取得です。 Yahoo スクレイピングコード 今回…