sotetsuk's tech blog

速習強化学習を刊行しました

少し（というか結構）前になりますが、2017年9月に「速習 強化学習 ―基礎理論とアルゴリズム―」という本を刊行しましたので、簡単に紹介します（Twitter, FBでは告知しましたがブログがまだでした）。

f:id:sotetsuk:20180102223653p:plain

GoogleのAlphaGoによるプロ棋士打破は，人工知能がヒトを超えた学習を行った歴史的出来事として認識された。強化学習はここで重要な役割を果たしてているだけでなく，自動運転やロボット制御などの重要な分野への応用も知られ，いま世間の強い関心を集めている。その一方，日本語で強化学習を体系的に学べる教科書は多くはなく，代表的な教科書であるSutton and Barto (1998)とその訳書も出版から20年が経とうとしている。

　本書はトップ会議のチュートリアルで利用されたり，2010年の出版以降わずか数年で500弱の引用がされたりという事実からも窺えるように，入門書として広く読まれている良書である。本書の内容は動的計画法などの基本的かつ重要なアルゴリズムに始まり，比較的新しい手法も体系的に網羅しつつもコンパクトに自己完結している。原著の出版から7年あまり経つが，近年の発展は本書で掲載されたアルゴリズム・アイデアをその基礎においている。特に本書では，深層学習を利用した深層強化学習を含む最近の発展に，本書で紹介されたアルゴリズムがどのように使われているかを解説した訳者補遺を追加することで，本書と最先端の研究との橋渡しをしている。

どんな本？

この本は、Csaba Szepesvari著、"Algorithms for Reinforcement Learning"の訳書です。 原著は、強化学習の教科書として最も有名なSutton and Barto (1998) の次に有名なテキストだと思います。 対象読者は学部上級以上で、前提知識として微積・線形・確率統計に加え機械学習についても基本的な知識があるのが好ましいです。

非常に薄くコンパクトな本ですが、一番の特徴としては原著者自身が、

本書のゴールは読者に対してこの美しい分野（強化学習）を垣間見る機会を提供することである.

と言及している点から伺えるように、 強化学習の基礎理論について綺麗に体系的に説明している点 だと思います（原著は薄いですが、決してただ要点を掻い摘んだだけではありません）。 また、20近くのアルゴリズムについて擬似コードが付いているので、理解の助けになります。 さらに、深層強化学習に関する節も訳者補遺として追加しましたので、最近の話題についてもキャッチアップできる内容だと思います。

FAQ

ついでに、よく頂くコメント・疑問に簡単にお答えしておきます。

難しいんだけど...

確かに強化学習そのものの難易度を差し引いても少し難しめの本になります。挫折された方は他の資料で挑戦してみてから戻ってみても良いかもしれません。英語が問題なければ個人的にはD. Silverの講義ビデオと資料が理論・実例のバランスが良く、カバーしているトピックも豊富でオススメです。 和書では今のところ"Sutton and Bartoの和訳"と"これからの強化学習"などがあります（MLPシリーズも発刊予定です）。 ただ、難しめといっても、そうした記述は限定的なので、難しい部分は気にせず読み飛ばしていただければいいのではないかと個人的には思います。 そうすれば、上記の資料とそんなに難易度は変わらないはずです。

なぜ邦題が「速習」になったの？

薄いので、ですね。訳者陣でいくつか案を上げて出版社の方の意見も勘案して決まりました。 ちょっと難易度に関しては誤解を招きかねないタイトルだったかもしれません。 繰り返しになりますが対象読者は学部上級以上ですので、決して難易度が易しいわけではありません。

SNS上等での言及

勝手にではありますが、いくつか掲載させていただきます。

https://twitter.com/muripo_life/status/933161408199409665

www.qachi.info

s0sem0y.hatenablog.com

f:id:sotetsuk:20190510163412p:plain
https://speakerdeck.com/learn_learning3/qiang-hua-xue-xi-niokeruhao-qi-xin?slide=144