PythonでBeautifulSoupを使ってスクレイピングを実装している時、いつもではないけどたまに取得した値が全て文字化けしていることがあった。調査してみたところ、どうやら取得対象を「text」で指定しているのがよくないとのこと。
res = requests.get('https://www.yahoo.co.jp')
bs = BeautifulSoup(res.text, 'html.parser')
「text」の代わりに「content」を指定することで文字化けしないようになった。
res = requests.get('https://www.yahoo.co.jp')
bs = BeautifulSoup(res.content, 'html.parser')
