2021年のプロ棋戦のデータを解析した（2）
（前回の復習）2021年BTモデルとレーティングの比較
こんな感じでした。左が2021年BTモデル、右がレーティング（2022年4月15日現在）です。
2021BT Rating 220415
順位だけで比較すると、2021BTの方がやり直近の活躍が反映されているのに対して、レーティングの方は過去の蓄積が効いている感じですね。
BTモデルは2021年のデータしか用いていないので2021年の活躍が反映されているのは当然。まあそもそも比較する方がおかしいって話ではあるのですが、それでも上位の順位がある程度似ているのは、レーティングも最近の活躍がある程度反映されるモデルだということを示していると考えられます。
レーティングをRで計算する
レーティング自体は何も外から情報をを取ってこなくても、自分で計算できるものでもあります。勝敗データはBTモデル用に前処理したものがあるので、あとは計算さえできればいいわけです。
RにはPlayerRatingsというパッケージがあり、双方のプレイヤー名と試合結果、試合日のデータさえあればレーティングの計算が可能です。詳しくはこちらで紹介されています。
RのPlayerRatingsパッケージを使ってテニス選手のレーティングを求める - Qiita
手元には2021年の棋戦成績データが揃っているので、ほとんど手間無くレーティングを算出することができました。
2021年データで算出したレーティング
- 藤井竜王
- 服部四段
- 伊藤（匠）五段
- 八代七段
- 出口六段
- 永瀬王座
- 池永五段
- 近藤七段
- 本田五段
- 梶浦七段
な、なんというか、言っている意味はわかるが、ちょっと極端じゃないか？というランキングになりました。活躍している若手のリストであることは間違いないですが、永瀬王座は6位、渡辺名人は13位、豊島九段は29位というのは少々極端すぎる気が…
ここでも1位になる藤井竜王はいかにもとんでもない存在なのですが、算出されたレーティング（初期値1500、係数K16）は1700程度で、現在の彼のレーティングはどこでも2000超えですから、2021年のデータだけを用いてレーティングを計算しても適正値に達してはいないんでしょうか。（K値をもっと大きくすればいいのかもしれませんが、必ずしもそれだけではない気も）。
BTモデルのレーティングに対する強み
感覚値としては2021年のBTモデルが実態を反映しているように見えて、でも実力者を軽んじすぎているようにも見えます。過去のデータを積み増せばこの問題は解決するとは思われますが、当然最近のデータの相対的な価値が落ち、「調子」が反映されづらくなります。
おそらくレーティングでも話は同じですが、2021年のデータを使って比較した限りは、レーティングを「適正値」に寄せるには2021年のデータだけでは足りなそうでした。巷で用いられているレーティングであっても服部四段や伊藤匠五段が適正レーティングにまだ到達できていない感じがしますが、全員が初期値の状態からスタートするとなるとより多くの時間がかかるわけです。レーティングというものは過去の積み重ねがあって初めてその数値に意味が出てくるものであるため、調子などの短期間の要素を反映するのは相当難しいだろうと思われます。
レーティングとの比較という観点では、BTモデルは過去からのデータの蓄積が不要な分、より直近のデータでの評価が可能と言えるのでしょう。
とはいえ予測性能の確認が必要
ここまでBTモデルとレーティングのランキングを作り、その「適正」さをなんとなくの「感覚値」と比較してきましたが、「感覚値」だって過去の実績に引きずられている部分もあるだろうし、これだけではどちらがより正しいかはわかりません。
モデルの予測性能は、モデル構築に用いなかったデータの予測性能を見て初めてわかるものでもあるので、今後しばらくはそういった検証をする必要があるように思います。
BTモデルもレーティングも手元でRを使って計算できるようになったので、予測結果の算出と実際の結果との比較は割と簡単にできる…と思われます。
とりあえず手元には2021年の対局データしかないので、手元のレーティングをある程度使えるようにするには、藤井竜王デビュー以前くらいからデータを積まないとだめでしょうね。
