BeautifulSoupを使ってWikipediaの表をスクレイピングしてみた

2022/05/14 11:16

きっかけ
- 今年のNFLのドラフト結果を集計したかったが、いい感じのAPIやデータベースが見つからなかった
- Wikipediaの記事が綺麗にまとまっていたので、これを使ってみることにした
  - 2022 NFL Draft - Wikipedia
作ったもの
- piruty/NFLDraftDatabase
- Wkipediaの表を読み込んでpandasに食わせるところまでを実装
やってみた感想
- 久しぶりにスクレイピングを実装したが、表の読み取りが結構苦労した
  - find_all(['th', 'td']) で複数要素を選択できることを知らず…
    - 参考: 【Python】BeautifulSoupを使ってテーブルをスクレイピング - Qiita
  - あとはwikipediaのソースを読みながら find / find_all で無理やり取得
- BeautifulSoupの機能だけで実現できたので、このライブラリ優秀だな…
次にやりたいこと
- DataFrameに落とし込めたので、集計してみる
- 他の年のドラフト結果も取得してみる
- NFLのドラフト結果の考察を読む