三目並べ（tic-tac-toe） をモンテカルロ法をつかって学習させました。

元ネタは、これ。

• Amazon.co.jp： 強くなるロボティック・ゲームプレイヤーの作り方: 八谷 大岳, 杉山 将: Kindle ストア

この本のコードは Octave でかかれているのだけれども、それを Python にポーティングしてくれた人がいた。

• 三目並べを強化学習する - Qiita

自分はなにをしたかというと、このコードを OpenAI Gym の tic-tac-toe に対応させてみた(tic-tac-toe は非公式)

• https://github.com/nczempin/gym-tic-tac-toe

ただ移しただけだと動かなかった。それから 10 時間くらいでばっくをしていた。頭がおかしくなる。

うああああああああああああええああああああぁぁぁぁぁ〜〜〜どこがばぐってるんだ〜〜〜〜〜〜〜。

— tsu-nera@勉強垢 (@tsu_nera_s) 2017 年 6 月 14 日

コード

おまけ: プルリク奮戦記

じつは、OpenAI Gym の tic-tac-toe リポジトリにバグっぽいのをみつけた。

ピンチ！いやチャンス？

自分は他人の Github リポジトリにプルリクをしたことがないのだ。

まずは気さくな感じを醸し出して質問をしてみた。Hello!! :-)

• https://github.com/nczempin/gym-tic-tac-toe/issues/1

1 分も立たずに返信が帰ってきたのでビビる。はえーよ！

feel free to provide a PR!!

もうこの言葉が理解できずにガクガクした。なにかへんな英語表現を使っちゃったかな？？

大丈夫、PR は Pull Reqest のことだ。って、ぅえ〜〜〜〜〜。やったことないよ〜〜〜。

プルリクエストの作法を調べる。

1. branch 経由
2. fork repository 経由

検索上位に引っかかるのは、初心者は branch を切る方法が勧められている。

1. 初心者向け Github への PullRequest 方法 - Qiita
2. Pull Request の仕方 - Qiita

バカだから何を思ったのか、fork ポタンをポチリ。。。。。fork してしまったぁぁ！！！

とりあえず、バグの修正をして、fork した自分のリポジトリに push

• https://github.com/tsu-nera/gym-tic-tac-toe/commit/d6dbdeea7bda25c454da7093e64d15df8e9b48fb

そして、GUI 画面から PULL REQUEST !!!!

• https://github.com/nczempin/gym-tic-tac-toe/pull/2

ふう、まつこと数分・・・ 10 分でレスポンスが帰ってきた。もう心臓に悪りーよ。

• コメントの単語が適切でない
• 冗長な for 文の回し方をしている

その通りです、なにもいうことはありません。 こっちも急いで修正して、再コミット！！

• https://github.com/tsu-nera/gym-tic-tac-toe/commit/a79bcf3241a58b442c4704e9049f308aa2ff643e

祈った。。。そうして待つこと 15 分、ついに Merge されました〜〜〜〜！！！

• https://github.com/nczempin/gym-tic-tac-toe/commit/e8dcc0fb4f7a1e63d07c54970a621ceceb6337d3

うらららららららららら〜〜〜〜〜〜〜！