1990年代前半のSchultzらによる一連の研究はインパクトがあったし、1995年前後の理論神経科学者による強化学習によるモデル化も見事だったと思うが、神経科学の領域しか知らないと、なぜあのタイミングで強化学習によるモデルが出てきたのか釈然としないかも…

Schultz W. Source Institute of Physiology and Program in Neuroscience, University of Fribourg, CH-1700 Fribourg, Switzerland. J Neurophysiol. 1998 Jul;80(1):1-27. Schultz自身が書いた数少ないreview。 90年代前半の自身の研究を背景からまとめて…

Steven E. Hyman, Robert C. Malenka, and Eric J. Nestler Annu. Rev. Neurosci. 2006. 29:565–98 依存研究の大物が三人で書いた総説。 様々な薬物に対する依存は、最終的にはドーパミン系の可塑性によって生じるという結論のようだ。

Pascale Waelti, Anthony Dickinson & Wolfram Schultz Nature 412, 43-48 (5 July 2001) 著名な神経生理学者のSchultzが、著名な学習心理学者のDickinsonと組んだ研究。 サルのドーパミン細胞の電気記録を取りながら、学習心理学における「阻止（blocking）…

Massimo Silvetti, Ruth Seurinck and Tom Verguts frontiers in HUMAN NEUROSCIENCE 既存の強化学習モデル（基底核系）にACCを加えたというより、線条体部分をACCで置き換えたという感じ。 ACCは、報酬の大きさ（状態価値？）と正の予測誤差と負の予測誤差…

David M. Egelman, Christophe Person, and P. Read Montague Baylor College of Medicine Journal of Cognitive Neuroscience 10:5, pp. 623–630 (1998) ドーパミン＝予測誤差モデルの話だけど、一度選んだ選択肢を再び選ぶかどうかも、ドーパミン濃度（と…

Samuel M. Mclure, Nathaniel D. Daw and Read Montague TRENDS in Neuroscience (2003) 〈概要〉 強化学習理論とincentive salience理論は同じ枠組みで評価できるぞーという話。 具体的には、incentive salience仮説を裏付ける代表的研究としてIkemotoらの…