Googleの検索結果を別タブ(javascript)で開いていく

2022.06.19 ポカリ水

行いたいこと Googleの検索結果を別タブで開いてみたいと思います。実行結果は以下のイメージ。コード

from bs4 import BeautifulSoup
import time
from selenium import webdriver

driver = webdriver.Chrome("chromedriver_win32/chromedriver.exe")

# 上位から何件までのサイトを抽出するか指定する
pages_num = 3

# キーワード
key_word = 'webスクレイピング'

# Google検索で「webスクレイピング」の結果を格納する
url = 'https://www.google.com/search?num={}&q={}'.format(pages_num,key_word)

# URLを開く
driver.get(url)

time.sleep(3)

# WebサイトのHTMLデータをBeautifulSoupで解析する
soup = BeautifulSoup(driver.page_source,'html.parser')

# 検索結果のまとまり
page_titles = soup.find_all(class_="tF2Cxc")

i = 1

# 1件別でURLを取得する
for page_title in page_titles:

    url = page_title.find("a").get("href").replace('/url?q=','')
    
    print("url = " , url)
    
    # タブを右隣に新規追加
    driver.execute_script("window.open()")
    # 操作対象のタブを追加したタブに設定
    driver.switch_to.window(driver.window_handles[i])
    # 検索結果から取得したURLへ遷移させる
    driver.get(url)
    # タブを右に追加していきたいので数字をプラスする
    i = i + 1

    time.sleep(2)


# 開き終わったら一番左のタブへ操作対象を戻す
driver.switch_to.window(driver.window_handles[0])

from bs4 import BeautifulSoup

import time

from selenium import webdriver

driver = webdriver.Chrome("chromedriver_win32/chromedriver.exe")

# 上位から何件までのサイトを抽出するか指定する

pages_num = 3

# キーワード

key_word = 'webスクレイピング'

# Google検索で「webスクレイピング」の結果を格納する

url = 'https://www.google.com/search?num={}&q={}'.format(pages_num,key_word)

# URLを開く

driver.get(url)

time.sleep(3)

# WebサイトのHTMLデータをBeautifulSoupで解析する

soup = BeautifulSoup(driver.page_source,'html.parser')

# 検索結果のまとまり

page_titles = soup.find_all(class_="tF2Cxc")

i = 1

# 1件別でURLを取得する

for page_title in page_titles:

url = page_title.find("a").get("href").replace('/url?q=','')

print("url = " , url)

# タブを右隣に新規追加

driver.execute_script("window.open()")

# 操作対象のタブを追加したタブに設定

driver.switch_to.window(driver.window_handles[i])

# 検索結果から取得したURLへ遷移させる

driver.get(url)

# タブを右に追加していきたいので数字をプラスする

i = i + 1

time.sleep(2)

# 開き終わったら一番左のタブへ操作対象を戻す

driver.switch_to.window(driver.window_handles[0])

解説タブで開く前に、開く先のURLを取得して…

カテゴリー

アーカイブ

Pythonエラー

ValueError: invalid literal for int() with base 10: 'abc'

KeyError: 'some_key'

'int' object is not iterable の意味と原因、対処方法について解説

NameError: name '〇〇' is not defined の意味と直し方

SyntaxError: invalid syntax が出た時の原因と対処法まとめ

PythonからGmail送信時にエラー01「SMTPAuthenticationError」

Googleの検索結果を別タブ(javascript)で開きながらフルサイズのスクリーンショットを取得する

TypeError: 'type' object is not subscriptable

Googleの検索結果を別タブ(javascript)で開いていく

Google Colaboratory を使ってみる02(サンプル実行)

カテゴリー

最近の投稿記事