強化学習
オペラント条件づけにおけるブロッキングの研究に興味が出たため、まずは『学習理論の生成と展開』で関連する項目を読んでみました。 オペラント条件づけについての章である４章に、「Rescorlaの階層的連合理論（p.154）」という節があり、そこでRescorlaの…
印象に残った発表などをメモしておく。 教育講演1 基礎脳科学者のための精神疾患臨床ABC教育コース 教育講演3 行動選択の情報処理機構：分子からシステムの理解に向けて 中西重忠 大阪バイオサイエンス研究所 オプトジェネティクスとAVVインジェクション。 …
1990年代前半のSchultzらによる一連の研究はインパクトがあったし、1995年前後の理論神経科学者による強化学習によるモデル化も見事だったと思うが、神経科学の領域しか知らないと、なぜあのタイミングで強化学習によるモデルが出てきたのか釈然としないかも…
Hanan Shteingart and Yonatan Loewenstein Current Opinion in Neurobiology 2014, 25:93–98 ヒトのオペラント行動の強化学習モデルについてのreview。 model-free RLとmodel-based RLがあって、今までは前者ばかり着目されてきたが、後者も重要だ、といっ…
Montague PR, Dolan RJ, Friston KJ, Dayan P. Trends Cogn Sci. 2012 Jan;16(1):72-80 著名な理論神経科学者による、「計算精神医学」のreview。 まず、精神医学では疾患の神経機構がよく分かってないという話から始まり、その後数学モデルと計算モデルの違…
James C. Houkが自身で編集した本の中で、自分で書いてる章の内容（1995年のもの）。 ドーパミン系が報酬予測誤差をコードする機構についての仮説。 PCを整理していたら、以前この章の何割かを訳したものが見つかったので掲載してみる。 以前はHoukの研究室…
Rescorla, R. A, & Wagner, AR. (1972) Rescorlaの有名な論文を一度ちゃんと読んでみようかと。 数式自体は知っているのだが、なぜ差分の形で表したのか、その背景が気になったので。 〈アブスト〉 最近、我々はパブロフ条件づけの似たような理論を構築して…
Schultz W. Source Institute of Physiology and Program in Neuroscience, University of Fribourg, CH-1700 Fribourg, Switzerland. J Neurophysiol. 1998 Jul;80(1):1-27. Schultz自身が書いた数少ないreview。 90年代前半の自身の研究を背景からまとめて…
Pascale Waelti, Anthony Dickinson & Wolfram Schultz Nature 412, 43-48 (5 July 2001) 著名な神経生理学者のSchultzが、著名な学習心理学者のDickinsonと組んだ研究。 サルのドーパミン細胞の電気記録を取りながら、学習心理学における「阻止（blocking）…
Massimo Silvetti, Ruth Seurinck and Tom Verguts frontiers in HUMAN NEUROSCIENCE 既存の強化学習モデル（基底核系）にACCを加えたというより、線条体部分をACCで置き換えたという感じ。 ACCは、報酬の大きさ（状態価値？）と正の予測誤差と負の予測誤差…
Jonathan Williams, MBBS, MSc, MRCPsych, and Peter Dayan, Ph.D. JOURNAL OF CHILD AND ADOLESCENT PSYCHOPHARMACOLOGY Volume 15, Number 2, 2005 少ない待ち時間で小報酬か、大きな待ち時間で大報酬かを選ぶ課題を強化学習でシミュレーション。 学習率と…
強化学習 作者: Richard S.Sutton,Andrew G.Barto,三上貞芳,皆川雅章 出版社/メーカー: 森北出版 発売日: 2000/12 メディア: 単行本 購入: 5人 クリック: 76回 この商品を含むブログ (28件) を見る 細かいアルゴリズムの違いを復習。 主に上記の本の６章と７…
Gail Tripp and Jeff R. Wickens Journal of Child Psychology and Psychiatry 49:7 (2008), pp 691–704 ドーパミン系の機能不全でADHDを説明する理論の一つ。 個人的に信憑性のある理論だと思うが、肝心の「なぜADHDでドーパミンの反応の対象の転移が起こり…
David M. Egelman, Christophe Person, and P. Read Montague Baylor College of Medicine Journal of Cognitive Neuroscience 10:5, pp. 623–630 (1998) ドーパミン＝予測誤差モデルの話だけど、一度選んだ選択肢を再び選ぶかどうかも、ドーパミン濃度（と…
ADHDにドーパミンが関与していること自体は広く受け入れられているが、その関与がどのようなものかに関しては諸説ある。 以前読んだ総説やモデルの論文（例えば http://m6chin9h96d.hateblo.jp/entry/2013/07/03/204331 ）を参考にまとめてみる。 Grace ADHD…
銅谷ら ドーパミン：δ セロトニン：γ ノルアドレナリン：β アセチルコリン：α 「ドーパミン：δ」はSchultzの実験を受けた理論家のモデルを踏襲。 セロトニンとノルアドレナリンはオリジナル？ （セロトニンが衝動性に関与するという話は以前にもあったようだ…
Silvetti M, Wiersema JR, Sonuga-Barke E, Verguts T. Neural Netw. 2013 Oct;46:199-209. doi: 10.1016/j.neunet.2013.05.008. Epub 2013 May 21. 自分達が作った、ACCの機能を組み込んだ強化学習モデルで、ADHDの症状を説明できる、という話。 モデルの詳…
Tiago V Maia, Michael J Frank Nature Neuroscience (2011) 強化学習ベースの精神疾患モデルについてのreview。 〈アブスト〉 90年代後半以降、強化学習モデルは、ドーパミンの機能と大脳基底核系の理解を促してきた。 最近は、ドーパミンや大脳基底核が関…
Jeffrey Cockburn, Clay B. Holroyd Brain Research (2010) 〈アブスト〉 ADHDはドーパミンのphasicな放出の異常によるものだと言われている。 我々はTD(λ)モデルを作成し、 〈イントロ〉 ADHDは最も一般的な発達障害で... 3-7%の人がADHDだと見積もられてい…
Samuel M. Mclure, Nathaniel D. Daw and Read Montague TRENDS in Neuroscience (2003) 〈概要〉 強化学習理論とincentive salience理論は同じ枠組みで評価できるぞーという話。 具体的には、incentive salience仮説を裏付ける代表的研究としてIkemotoらの…
