300億円欲しい

メジャーリーグのデータ解析します

Rでスポーツデータ解析がしたい: データを作るのって大変ですね

はじめに

R advent calendar 2014, 12月3日担当分です.

Rのコードは出てきません.

野球のデータで遊びたい

私は普段, メジャーリーグのデータで遊んでいます.

というのも, 整形されたメジャーリーグの詳細なデータが簡単に取得できるからです.

半年前に作ったスライドで申し訳ないのですが, こんな感じです.

Rで野球データ解析がしたい ( pitchRxを使う )

pitchFxは, メジャーリーグの投球に関するデータ(を集めるシステム)です.

RでpitchRxパッケージを使うと簡単に取得できます.

他にも, メジャーリーグのデータは簡単に取得できます.

retrosheetという団体がデータをまとめてくれているので, ダウンロードして整形してcsvを出力してくれるスクリプト を使えば, すぐに80年分くらいの全試合全打席結果データが得られます.

後は適当に集計すれば終わりです. 簡単です. 弊ブログでも色々やっています. 楽しいです.

他のプロスポーツのデータで遊びたい

そろそろ, 他の色々なプロスポーツデータで遊びたくなってきました.

しかし, メジャーリーグのように, 都合よくデータがあるわけではありません.

何もない所から, バドミントンのデータで頑張っている友人がいます.

バドミントンの国際試合の結果を解析する準備が出来ました - バドミントン観戦記

荒野を進む感じが, とてもカッコイイです. 真似したいです.

しかし, Webスクレイピング. やったことありません.

rvest すげえ。#rstatsj - Qiita

なるほど. Rで簡単にできるらしいです. トライしてみました.

1. テニスのデータで遊びたい

男子プロテニスのデータを作ってみました.

ATP公式サイトが大会の結果をこんな感じでまとめて公開しています. トーナメント形式です.

このままだと扱えないので, 頑張ってcsv形式にまとめてみました.

結果です.

> head winLoseData.dat
TOURNAMENT,GRADE,YEAR,MONTH,DAY,ROUND,PLAYER_1,PLAYER_2,WINNER
Australian Open,1,1970,02,01,1,Roche_Tony,Bye,Roche_Tony
Australian Open,1,1970,02,01,1,Cooper_John,Wilson_Ray,Cooper_John
Australian Open,1,1970,02,01,1,Kukal_Jan,Hammond_Anthony,Kukal_Jan
Australian Open,1,1970,02,01,1,Battrick_Gerald,Bye,Battrick_Gerald
Australian Open,1,1970,02,01,1,Taylor_Roger,Bye,Taylor_Roger
Australian Open,1,1970,02,01,1,Pollard_Geoff,Schloss_Lenny,Schloss_Lenny
Australian Open,1,1970,02,01,1,Anderson_Mal,Werren_Mathias,Werren_Mathias
Australian Open,1,1970,02,01,1,Lutz_Robert,Bye,Lutz_Robert
Australian Open,1,1970,02,01,1,Okker_Tom,Bye,Okker_Tom

1968年から2014年まで, 3,425大会151,288試合のデータです.

どの大会の何回戦で誰と誰が戦ってどちらが勝ったか, を並べました.

整形できたので, あとは好きなように集計すればいいですね.

昨年のR advent calendarに, 素敵な記事がありました.

【R】【Python】igraphやNetworkXで手持ちのデータをネットワークに変換してみよう - 歩いたら休め

よく分かりました. ネットワークに変換してみました.

こんな感じです.

RPubs - テニスの勝敗関係からネットワークを作る

f:id:gg_hatano:20141202142510p:plain

なるほど. よく分かりませんが, とりあえずそれっぽいことは出来ました.

時間があれば, この論文の追試をやってみようと思っていました.

A network-based dynamical ranking system for competitive sports : Scientific Reports : Nature Publishing Group

時刻ごとの勝敗関係から作ったネットワークから, 強さランキングをつける, という話です.

2. 相撲のデータで遊びたい

大相撲のデータでも同じことが出来そうな気がしますね.

カド番力士と星のやりとり解析とか, 興味あります.

調べてみると, 最高のWebサイトがありました.

大相撲星取表.

明治時代からの星取表がまとまっています. 昭和５０年初場所〜大相撲星取表〜

やってみましたが,

gghatano/sumo_data · GitHub

ダメでした. ここまでは頑張ったのですが,

> head winLoseDataTable.dat
H1-1,横綱,千代の富士,九重33,三杉里,W
H1-1,横綱,千代の富士,九重33,琴ヶ梅,W
H1-1,横綱,千代の富士,九重33,隆三杉,W
H1-1,横綱,千代の富士,九重33,霧島,W
H1-1,横綱,千代の富士,九重33,両国,W
H1-1,横綱,千代の富士,九重33,太寿山,W
H1-1,横綱,千代の富士,九重33,逆鉾,W
H1-1,横綱,千代の富士,九重33,寺尾,L
H1-1,横綱,千代の富士,九重33,安芸島,L
H1-1,横綱,千代の富士,九重33,朝潮,W

辛かったです.

...力士って四股名を変えるんですよね. 若ノ花から若乃花とか. どう違うんだ.

全ての力士を正しく追いかけないといけません. 異なる人をちゃんと区別してidつけて整理して... って大変そうです.

よく考えると, そこまで相撲に興味がなかったので, ここで諦めます. ごめんなさい

データを作るのは大変です.

まとめと感想

自分でプロスポーツデータをまとめてみようとしました.

解析に使えるデータを作るのは凄く大変...ということが, 少しだけ分かりました.

「データサイエンティストはデータマエショリスト」と聞いたことがあります.

「データ解析は前処理が9割」とも聞いたことがあります. なるほど, と思いました.

解析屋の気持ちを汲み取って, 解析しやすい形式でデータを公開してくれる, そんな世界になってほしいな, と思いました.

以上です.

くりぃむしちゅーANNのキーワードbot作りました

ラジオ Twitter bash

内容

こんな感じです. 完全に自分用です.

謝辞

くりぃむしちゅーANNのまとめサイト. 謎の労力です. キーワードを利用させていただきました. ありがとうございました. くりぃむしちゅーのANN 放送内容のまとめ

日常に潜むBKBを見つけたい

bash バイク川崎バイク

タイトルの意味が分からない人がいるかもしれません.

BKBとは

バイク川崎バイクという芸人さんがいます.

バイク川崎バイクとは編集

youtube R-1グランプリ2014決勝戦


R−1 2014 バイク川崎バイク - YouTube

Naver まとめ

【ギアが落ちない】BKBことバイク川崎バイクの魅力とは【バイクだけに】 - NAVER まとめ

Twitter

バイク川崎バイク. 略してBKBです.

ネタの内容

以下の2パターンです.

日常に潜む, 頭文字の並びが"BKB"になっているフレーズを言う → ひぃーあ! と言う

バイクっぽいことを言う. → バイクだけにね! ブンブン! と言う

例

そんなことより大変だ. 婆さんがこんな時間にブッ倒れた

婆さんが! こんな時間に! ブッ倒れた!

B! K! B!

ひぃーあ!

目標

"日常に潜むBKBを言う"を, 自動的に行いたいです.

その辺に転がっている文章で単語や文節の並びを見て, 頭文字の並びがB, K, Bとなっている箇所を自動的に発見したいです.

そのままツイートさせれば, バイク川崎バイクbotが作れます.

手法

青空文庫から文章を取得しました.

とりあえず, 坂口安吾と北大路魯山人と高村光雲の著作物からBKBを探してみました.

全ての文について, 単語や文節に分けてBKBを探しました.

そして結果をバイク川崎バイクbotにツイートさせてみました.

結果

やたら文学的になっています.

小説家になろうからもスクレイプしています.

独特の世界観です.

次にやること

ネット小説は他にもたくさんあります. どんどん文章を取得していきます.

適当なニュース記事を定期的にスクレイプしてBKBを探すのも面白そうです.

使用したコード

Githubにおいてあります.

用意した文章を, mecab, cabocha, kakasiを使って文構造と頭文字の解析をして, あとはシェル芸です.

以上です.

sedで同じ文字の連続を圧縮して1文字にしたい

bash

問題

例えば, hooooogeeeee を hogeにしたいのです.

rubyのsqueezeを, sedでやりたいのです.

解決策

このStack overflowの記事を参考にしました.

検索側でキャプチャパターンを使えばイケるらしいです. なるほど. キモいです.

やってみました. (.)\1+ で2文字以上の連続文字列になるんですね..

しかし, Macではsedとgsedで挙動が違いました.

よく分かっていませんが, gsedなら欲しい結果が得られました.

$ echo hoooogeee | gsed 's/\([A-Za-z]\)\1\+/\1/g'
hoge

$ echo hoooogeee | sed 's/\([A-Za-z]\)\1\+/\1/g'
hoooogeee

なるほど. wowoさんありがとうございました.

他の解決策

@kohse先生が教えて下さいました.

$ echo hoooogeeee | sed 's/\(.\)\1*/\1/g'
hoge

なるほど. ありがとうございました.

8月29日 ヤクルトvs阪神 9回無死満塁なのに降雨コールド

導入

8月29日の試合です.

ヤクルト９回押せ押せ無死満塁なのに…無情降雨コールド （スポニチアネックス） - Yahoo!ニュース

４―１０の９回に１点を返し、なおも無死満塁。

守護神の呉昇桓を引きずり出したところで降雨コールドとなり、ヤクルトの小川監督は「せっかくいい形で攻撃できていたので最後までやりたかった」と嘆いた。

試合を続けていたらどうなっていたのでしょう.

試合実況&勝率計算botを動かしていたので, 確認しました.

勝率botで見るヤクルトvs阪神

阪神試合速報botを動かしています.

勝手に試合実況と勝率計算をしてくれます.

昨日の最終回の様子を, 試合速報botのツイートで見てみます.

勝率2.7％です. 諦めましょう.

以上です.

巨人の勝率を上げてくれるbot作りました

野球 セイバーメトリクス R bash

巨人の勝率を上げる

僕は, 巨人が勝つところが見たいのです. 勝つところだけ見たいです.

巨人の勝率を上げるためには, どうすればいいでしょうか.

考えました.

負け試合を見なければいいのです.

負け試合を認識しないことによって, 僕の世界で巨人の勝率が上がります.

そんな手助けをしてくれるbotを作りました.

巨人が勝ちそうになったら通知してくれるbotです.

ジャイアンツ試合実況bot

こんな感じです.

利用法

まず, 野球に関する情報を遮断します.

携帯は持っておきます. Twitterで野球のことをつぶやく人はブロックします.

さきほどのbotは, 巨人の勝率が80％を超えたら通知を出してくれます.

そのタイミングでテレビをつければ, 巨人の勝率が80％になりますね！

やってみた

8月19日の, 巨人vsヤクルトの試合で, 実際にやってみました.

8割を超えたので, 通知がきました. テレビをつけました.

以上です

おまけ

sed 's/giants/hawks/g'とすれば...

全球団のbotが作れますね

甲子園の実況しながら勝率も計算するbotを作りました

R 野球 bash

甲子園速報bot

高校野球の速報をするTwitterのbotを作りました.

ついでに, メジャーリーグの過去試合結果(約80年分)を利用して, 勝率も計算してみました.

こんな感じです.

コメント

データ元

Yahoo!の甲子園速報からデータを抜いています. 怒られるかもしれません. たまに失敗します.

メジャーリーグのデータは, retrosheetから取ってきています.

勝率

勝率は目安です. 本当は高校野球の試合結果から勝率を集計するべきです.

また, 現状はイニングとランナー状況と点差しか考えていません.

9回表満塁で3点負けてるときの勝率, みたいな感じです.

もっと精密にやるべきなのでしょうが, 面倒です.

まだ完成ではありませんが, とりあえずやりたいことはできました.

次にやること

次は巨人の試合で同じことをします.

まず, 野球に関する一切の情報を遮断します.

次に, 勝率が80％を超えたらbotが僕に通知を出すので, そのときにテレビを見始めます.

これにより, 僕が認識する世界で巨人の勝率が80％になって, 幸せです.