電脳ラボ

脳のコンピュータモデルに関する論文のレビューなどを細々と続けていこうと思います。

2013-01-01から1年間の記事一覧

A theory of Pavlovian conditioning: variations in the effectiveness of reinforcement and nonreinforcement

Rescorla, R. A, & Wagner, AR. (1972) Rescorlaの有名な論文を一度ちゃんと読んでみようかと。 数式自体は知っているのだが、なぜ差分の形で表したのか、その背景が気になったので。 〈アブスト〉 最近、我々はパブロフ条件づけの似たような理論を構築して…

Dopaminergic modulation of limbic and cortical drive of nucleus accumbens in goal-directed behavior

Yukiori Goto & Anthony A Grace Nature Neuroscience 8, 805 - 812 (2005) Published online: 22 May 2005 ドーパミンの効果を、海馬・前頭前野、D1・D2、tonic・phasicに分けて検討。 電気生理だけでなく行動(単純な学習とルール変化への対応)も調べてる…

Predictive reward signal of dopamine neurons

Schultz W. Source Institute of Physiology and Program in Neuroscience, University of Fribourg, CH-1700 Fribourg, Switzerland. J Neurophysiol. 1998 Jul;80(1):1-27. Schultz自身が書いた数少ないreview。 90年代前半の自身の研究を背景からまとめて…

The effects of schedule of reinforcement on stimulus overselectivity in autistic children.

Koegel RL, Schreibman L, Britten K, Laitinen R. J Autism Dev Disord. 1979 Dec;9(4):383-96. 〈アブスト〉 最近の研究で、自閉症の子供が複数の手がかりのある識別課題を提示されると、一般にそのうちの一部、多くの場合には一つの手がかりにのみ反応を…

心理学用語の整理

〈学習心理学〉 参考: http://www.littera.waseda.ac.jp/enshu2/refer.html http://homepage2.nifty.com/nandemoarchive/koudou_bunseki_gaku/behavior_ana_06.htm CRF Continuous Reinforcement 毎回強化 FR Fixed Ratio 一定の回数で強化 VR Variable Rat…

神経学・精神医学の雑誌のIF

Medical Journal Impact Factors 2013 - Home 上記のサイトを参考に。 神経系だと、Review (Trends~を含む)を除くと、 1. Behav Brain Sci 18.571 2. Neuron 15.766 3. Nat Neurosci 15.251 精神医学系だと、 1. Mol Psychiatr 14.897 2. Am J Psychiat 14.…

発達障害と部分強化

ADHDで部分強化(間欠強化)の効果が弱いという話があったが、むしろ自閉症の常同性と関係が深いのではないかと思ったので、自閉症に関しても調べてみた。 PubMedでautism, partial reinforcementでサーチすると、7件引っ掛かる。 その中でも、上記が中心的…

dopamineとSTDP

基底核系と強化学習の話で、皮質―線条体シナプスの可塑性に近位のドーパミン受容体の活性が関与していることは有名だが、その部位に限らずドーパミンのシナプス可塑性への関与を調べてみようかと。 dopamine STDP - PubMed - NCBI PubMedで検索すると13本引…

Neural Mechanisms of Addiction: The Role of Reward-Related Learning and Memory

Steven E. Hyman, Robert C. Malenka, and Eric J. Nestler Annu. Rev. Neurosci. 2006. 29:565–98 依存研究の大物が三人で書いた総説。 様々な薬物に対する依存は、最終的にはドーパミン系の可塑性によって生じるという結論のようだ。

Dopamine responses comply with basic assumptions of formal learning theory

Pascale Waelti, Anthony Dickinson & Wolfram Schultz Nature 412, 43-48 (5 July 2001) 著名な神経生理学者のSchultzが、著名な学習心理学者のDickinsonと組んだ研究。 サルのドーパミン細胞の電気記録を取りながら、学習心理学における「阻止(blocking)…

Value and prediction error in medial frontal cortex: integrating the single-unit and systems levels of analysis

Massimo Silvetti, Ruth Seurinck and Tom Verguts frontiers in HUMAN NEUROSCIENCE 既存の強化学習モデル(基底核系)にACCを加えたというより、線条体部分をACCで置き換えたという感じ。 ACCは、報酬の大きさ(状態価値?)と正の予測誤差と負の予測誤差…

Dopamine, Learning, and Impulsivity: A Biological Account of Attention- Deficit/Hyperactivity Disorder

Jonathan Williams, MBBS, MSc, MRCPsych, and Peter Dayan, Ph.D. JOURNAL OF CHILD AND ADOLESCENT PSYCHOPHARMACOLOGY Volume 15, Number 2, 2005 少ない待ち時間で小報酬か、大きな待ち時間で大報酬かを選ぶ課題を強化学習でシミュレーション。 学習率と…

強化学習の復習

強化学習 作者: Richard S.Sutton,Andrew G.Barto,三上貞芳,皆川雅章 出版社/メーカー: 森北出版 発売日: 2000/12 メディア: 単行本 購入: 5人 クリック: 76回 この商品を含むブログ (28件) を見る 細かいアルゴリズムの違いを復習。 主に上記の本の6章と7…

Dopamine transfer deficit: a neurobiological theory of altered reinforcement mechanisms in ADHD

Gail Tripp and Jeff R. Wickens Journal of Child Psychology and Psychiatry 49:7 (2008), pp 691–704 ドーパミン系の機能不全でADHDを説明する理論の一つ。 個人的に信憑性のある理論だと思うが、肝心の「なぜADHDでドーパミンの反応の対象の転移が起こり…

An artificial neural network analogue of learning in autism

Ira L. Cohen Biol Psychiatry. 1994 Jul 1;36(1):5-20. 自閉症のMLPモデル。 自閉症では一部の細胞数が多いという知見と少ないという知見があるので、それぞれのケースで学習がどのように進むかをシミュレーション。 というかニューラルネット界隈では、中…

A Computational Role for Dopamine Delivery in Human Decision-Making

David M. Egelman, Christophe Person, and P. Read Montague Baylor College of Medicine Journal of Cognitive Neuroscience 10:5, pp. 623–630 (1998) ドーパミン=予測誤差モデルの話だけど、一度選んだ選択肢を再び選ぶかどうかも、ドーパミン濃度(と…

ADHDのドーパミン仮説

ADHDにドーパミンが関与していること自体は広く受け入れられているが、その関与がどのようなものかに関しては諸説ある。 以前読んだ総説やモデルの論文(例えば http://m6chin9h96d.hateblo.jp/entry/2013/07/03/204331 )を参考にまとめてみる。 Grace ADHD…

カテコールアミンのモデル内での表現

銅谷ら ドーパミン:δ セロトニン:γ ノルアドレナリン:β アセチルコリン:α 「ドーパミン:δ」はSchultzの実験を受けた理論家のモデルを踏襲。 セロトニンとノルアドレナリンはオリジナル? (セロトニンが衝動性に関与するという話は以前にもあったようだ…

Deficient reinforcement learning in medial frontal cortex as a model of dopamine-related motivational deficits in ADHD

Silvetti M, Wiersema JR, Sonuga-Barke E, Verguts T. Neural Netw. 2013 Oct;46:199-209. doi: 10.1016/j.neunet.2013.05.008. Epub 2013 May 21. 自分達が作った、ACCの機能を組み込んだ強化学習モデルで、ADHDの症状を説明できる、という話。 モデルの詳…

精神疾患・神経疾患等のモデルのまとめ

モデルの特徴と、そのモデルが捉えている疾患の性質を、各精神疾患・神経疾患ごとに列挙。 〈統合失調症〉 Hoffman (2011) RNNベースで物語復唱課題の結果を再現(未読)。 〈OCD〉 Rolls (2008) グルタミン酸系の亢進でアトラクターが強化される。 〈自閉症…

連合論の歴史についての論文メモ

Howard C. Warrenによる著作・論文 A History Of The Association Psychology (1921) http://archive.org/details/historyoftheasso007979mbp Mental association from Plato to Hume. http://psycnet.apa.org/journals/rev/23/3/208/

脳の理解と臨床実践をつなぐ計算機モデル

上野泰治 月刊 臨床神経科学 「臨床神経科学」の失語・失行特集号に掲載。 心と脳の溝(mind-brain gap)を埋める目的。 O'Reillyのグループが先導。注意・実行機能に関して。 失語ではWeemsとReggiaが、Geschwindモデルを実装。 著者はマンチェスターのグル…

An elemental model of retrospective revaluation without within-compound associations

Patrick C. Connor, Vincent M. Lolordo, Thomas P. Trappenberg Learning & Behavior June 2013 複合刺激内連合によらない回顧的再評価の基本的モデル (学習)心理学の用語が分からないので、調べながら読む。 〈アブスト〉 回顧的再評価が発見された時、…

From reinforcement learning models to psychiatric and neurological disorders

Tiago V Maia, Michael J Frank Nature Neuroscience (2011) 強化学習ベースの精神疾患モデルについてのreview。 〈アブスト〉 90年代後半以降、強化学習モデルは、ドーパミンの機能と大脳基底核系の理解を促してきた。 最近は、ドーパミンや大脳基底核が関…

A neurocomputational approach to obsessive-compulsive disorder

Tiago V. Maia, and James L. McClelland Trends in Cognitive Sciences (2012) "Cognition in Neuropsychiatric Disorders"という特集号に載ってた短いレビュー。 取っ掛かりとして読んでみる。 〈アブスト〉 最近の論文によると、神経回路モデルのパラメー…

Focus on the positive: Computational simulations implicate asymmetrical reward prediction error signals in childhood attention-deficit/hyperactivity disorder

Jeffrey Cockburn, Clay B. Holroyd Brain Research (2010) 〈アブスト〉 ADHDはドーパミンのphasicな放出の異常によるものだと言われている。 我々はTD(λ)モデルを作成し、 〈イントロ〉 ADHDは最も一般的な発達障害で... 3-7%の人がADHDだと見積もられてい…

A computational substrate for incentive salience

Samuel M. Mclure, Nathaniel D. Daw and Read Montague TRENDS in Neuroscience (2003) 〈概要〉 強化学習理論とincentive salience理論は同じ枠組みで評価できるぞーという話。 具体的には、incentive salience仮説を裏付ける代表的研究としてIkemotoらの…

精神疾患モデル

とりあえずこのサイト↓が割と詳しいので、まずはここに挙がっている論文を読んでみようと思います。 Connectionist Models of Anxiety Spectrum Disorders Articles - Generalized Anxiety, Phobias, and Panic Disorder Matthews (1994). Connectionist App…