電脳ラボ

脳のコンピュータモデルに関する論文のレビューなどを細々と続けていこうと思います。

心理学モデル

オペラント条件づけにおけるブロッキング

オペラント条件づけにおけるブロッキングの研究に興味が出たため、まずは『学習理論の生成と展開』で関連する項目を読んでみました。 オペラント条件づけについての章である4章に、「Rescorlaの階層的連合理論(p.154)」という節があり、そこでRescorlaの…

学習心理学のブックガイド

私自身、(近接領域の研究をしていましたが)元々学習心理学は専門でなく、ウェブ上やブックガイド的な本に書かれているリストを参考に、学習心理学の勉強を行いました。 現在でもまだ知識は不十分なのですが、その分野の論文がある程度理解できるようにはな…

報酬系の強化学習モデルに関する研究の流れ

1990年代前半のSchultzらによる一連の研究はインパクトがあったし、1995年前後の理論神経科学者による強化学習によるモデル化も見事だったと思うが、神経科学の領域しか知らないと、なぜあのタイミングで強化学習によるモデルが出てきたのか釈然としないかも…

Reinforcement learning and human behavior

Hanan Shteingart and Yonatan Loewenstein Current Opinion in Neurobiology 2014, 25:93–98 ヒトのオペラント行動の強化学習モデルについてのreview。 model-free RLとmodel-based RLがあって、今までは前者ばかり着目されてきたが、後者も重要だ、といっ…

A theory of Pavlovian conditioning: variations in the effectiveness of reinforcement and nonreinforcement

Rescorla, R. A, & Wagner, AR. (1972) Rescorlaの有名な論文を一度ちゃんと読んでみようかと。 数式自体は知っているのだが、なぜ差分の形で表したのか、その背景が気になったので。 〈アブスト〉 最近、我々はパブロフ条件づけの似たような理論を構築して…

Dopamine responses comply with basic assumptions of formal learning theory

Pascale Waelti, Anthony Dickinson & Wolfram Schultz Nature 412, 43-48 (5 July 2001) 著名な神経生理学者のSchultzが、著名な学習心理学者のDickinsonと組んだ研究。 サルのドーパミン細胞の電気記録を取りながら、学習心理学における「阻止(blocking)…

A Computational Role for Dopamine Delivery in Human Decision-Making

David M. Egelman, Christophe Person, and P. Read Montague Baylor College of Medicine Journal of Cognitive Neuroscience 10:5, pp. 623–630 (1998) ドーパミン=予測誤差モデルの話だけど、一度選んだ選択肢を再び選ぶかどうかも、ドーパミン濃度(と…

An elemental model of retrospective revaluation without within-compound associations

Patrick C. Connor, Vincent M. Lolordo, Thomas P. Trappenberg Learning & Behavior June 2013 複合刺激内連合によらない回顧的再評価の基本的モデル (学習)心理学の用語が分からないので、調べながら読む。 〈アブスト〉 回顧的再評価が発見された時、…

A computational substrate for incentive salience

Samuel M. Mclure, Nathaniel D. Daw and Read Montague TRENDS in Neuroscience (2003) 〈概要〉 強化学習理論とincentive salience理論は同じ枠組みで評価できるぞーという話。 具体的には、incentive salience仮説を裏付ける代表的研究としてIkemotoらの…