1 引言
人工神經網絡模型 (Artificial Neural Networks, 簡稱ANN) 是建立在平行加工理論基礎上, 根據神經元信息傳遞的Hebb法則建立起來的一類數學模型。相比其他認知模型 (例如Anderson的ACT) 來說, ANN具有計算速度快、受壞數據影響小、分類自動化等特點。
當前流行的神經網絡模型包括感知器 (Perceptron) 模型、BP前向 (Back Propagation Feedforwad) 模型、簡單循環網絡 (Simple Recurrent Network) 模型、自組織 (Self Organizing) 模型等, 其中為心理學研究者常用的則是BP (見圖1) 和SRN (見圖2) 兩種。
最初引起心理學研究者興趣的網絡模型是SRN, Elman在他的研究中用SRN比較成功地模擬了語言中過去時等語法規則的學習分類, 而Cleeremans等人也發現得益于循環, SRN的第一層單元能根據人工語法形成較好的聚類;Kuhn和Dienes則在SRN基礎上增添輸入層的緩沖器 (Buffer) , 發現網絡對非局部規則 (例如類似ABCD DCBA這樣的對稱規則) 的學習還需要依靠在輸入時的記憶緩沖。
與SRN相比, BP顯得格外簡單, 它不涉及輸入的緩沖 (即不要求網絡在下次輸入信息時保留上一次的顯著痕跡) , 也沒有任何循環單元 (即每次的權重調節都是在減小當前誤差的引導下進行) , 僅僅是幾十或幾百個 (視設置而定) 擬神經單元 (主要是指第一層, 即隱含層單元) 的平行加工結果。
這里, 我們試圖運用BP模型來模擬先前的人類行為實驗數據。
2 BP網絡對實驗的模擬
我們的網絡模擬在Matlab (R2007a版本) 中實現。
1) 編碼 (encoding) 。唐菁華實驗一 (a) 中的學習和測驗材料都由5個字母組成, 因此我們使用7個單元對刺激進行編碼:其中5個單元各對應一個字母, 另外兩個單元對應字符串中的起始和結束。具體來說, 字母M對應的輸入是10000、R對應01000、X對應00100、R對應00010、V對應00001、起始對應10、結束對應01, 結合起來, 當M出現在字符串的首位時, 其對應編碼為1100000;出現在字符串的末位時, 對應編碼為0100001;其他位置則對應0100000。由于實驗中使用的字符串長度不一 (最長為7個字母, 最短為3個字母) , 我們為使它們符合網絡的訓練要求, 會將短字符串進行加零補足, 例如字符串MVR對應的編碼就是{1100000}{0000010}{0010001}{0000001}{0000001}{0000001}{0000001}。
2) 網絡結構和參數 (Architecture and Arguments) 。設置第一層單元的激活函數為值域 (-1, 1) 的對數函數logsig;第二層單元的激活函數為值域無限的線性函數purelin。對于網絡的訓練法則, 我們嘗試了traingd、traingdm、trainlm等, 結果發現Levenberg-Marquardt訓練法 (trainlm) 能夠在最短時間內最快地趨向目標。Trainlm是一種準牛頓誤差調整方法, 它具有聚類速度快、內存需求大等特點, 法則中可調整參數包括前進倍數 (mu_inc) 、后退倍數 (mu_dec) 以及漲跌權數 (mu) 等;一般來說, 網絡的表現與第一層 (隱含) 單元數目、訓練法則中的誤差調節步幅、訓練過程中對目標的監督 (在traingd法則中有個形象的屬于momentum) 以及訓練方式有關。其中, 隱含單元數目顯示了網絡的計算能力 (數目越多表示計算能力越強) , 誤差調節步幅影響網絡趨向目標的一致性, 對目標的監督則可以預防網路陷入虛假分類。為了尋找最佳擬合水平, 我們試驗了如表1所列的幾種參數值, 結果發現, 網絡第一層單元樹木在30個和60個時, 其輸出誤差最小;而權重調解步幅在0.3~10倍時 (即目標與網絡輸出誤差增大時, 權重調解的速度為基本速率mu的0.3倍;而當目標與網絡輸出誤差減小時, 權重調解速度為mu的10倍) , 誤差最為穩定。
3) 網絡訓練和模擬 (training and simulating) 。訓練方式一般包含同時訓練 (Batch Training) 和序列訓練 (Sequential Traing) 兩種。其中, 同時訓練表明網絡會在所有向量輸入完畢后進行一次性的權重調節;而序列訓練則表明網絡會在序列中每一項目輸入后都進行一次調節, 這里, 我們選擇了后者, 網絡在32個字符串的輸入過程中進行了32次權重調節。訓練中, 我們以每個字符串的前六個字母 (1~6) 為輸入, 后六個字母為輸出 (2~7) , 每一個輸入 (字母) 對應的目標輸出就是與它相鄰的下一個字母。以字符串MVR的訓練為例, 字母M (1100000) 輸入后, 目標輸出為V (0010000) ;字母V輸入后, 目標輸出為R (0000101) ;字母R輸入后, 目標輸出為空的結尾字符 (0000001) , 直到序列的6個字符 (由于學習材料中最長的字符串為7個字符, 因此我們設置的統一輸入長度為6, 這里, 當字符串長度小于7時, 其剩余的字符串都由0000001補足) 輸入完畢。為了擬合實驗中被試的分類表現, 我們僅訓練網絡一次, 就進行測驗 (即模擬) 。測驗過程中, 輸入和輸出方式同訓練過程一樣, 只是這時, 網絡的權重不再進行調整。這樣, 通過比較輸出數據與目標對象編碼的相似性, 我們就可以計算網絡的測驗成績。
4) 計算網絡表現 (Performance) 。根據實驗一 (a) 中每個被試組的人數, 我們對網絡進行了12次訓練和模擬, 每次模擬前都要對權重進行初始化隨機 (W隨機范圍在-1到1之間, 保持網絡在學習前的無知識狀態) , 并將12次模擬的平均結果來擬合真實被試成績。這里, 我們用輸出和目標向量的夾角余弦來表示網絡的正確率 (值越大表明輸出與目標偏離越小) 。以余弦值為因變量, 我們可以比較測驗材料中高組塊規則、高組塊非規則、低組塊規則和低組塊非規則材料的預測正確率。從圖3可以看到, BP網絡對組塊的分類較好模擬了真實數據 (網絡能夠對規則和組塊進行較好的分類, 而對組塊的分類成績高于規則) , 但是, 它對規則的分類較真實被試更好。
3 BP網絡對序列的預測能力
通過向訓練過的網絡輸入單個字符編碼, 我們可以知道它現在究竟具有怎樣的序列預測能力。具體來說, 我們分別向網絡輸入了M、X、R、V、T在起始和非起始位置兩種情況下的編碼, 運用露絲比率 (Luce Ratio) 計算輸出層中各個單元的激活比重 (即每個單元的激活水平在所有單元激活中所占比重) , 然后分析輸出單元的預測情況 (圖4) 。
這里需要注意的是, 模型輸出和真實分類成績的意義是不一樣的, 因而在絕對數據上沒有可比性, 我們應對其具體的趨勢予以關注。
比較網絡預測與實際的人工語法圖我們看到, 網絡對起始位置后的合法字符具有一定預測能力 (M-V、V-M、R則無法對應字符的激活, 見圖4b) , 也伴有一些誤差 (X-T、T-T) ;當字母出現在起始位置之外時, 網絡的預測均符合人工語法規則, 例如M后激活最大的是T和R, 二者作為非起始字符出現于合法字符串的概率的確比較大 (圖4a) 。
綜上我們可以推測, BP網絡對于輸入數據的聚類不只與組塊有關, 它似乎還把握到了與序列順序有關的條件概率, 通過唯一的一次訓練, 網絡就能夠區分M后緊跟V和T的概率。也就是說, 既不需要SRN模型中的臨時儲存器, 也無需任何序列緩沖器 (Buffer) , 僅依靠簡單的平行網絡就能對人工語法進行較好的預測:而實驗一中, 我們發現, 被試對學習材料的記憶水平不影響其后分類判斷, 二者驚人地吻合!
摘要：運用人工網絡模型中的BP (前向傳遞) 模型, 本文對作者前期有關內隱學習的一個行為實驗進行了模擬, 發現簡單的BP二層網絡即可較好地模擬人類無意識學習的行為數據, 并且具有較為準確的預測功能。文中對所用模型的結構設置和參數選擇、訓練、模擬和預測進行了詳細介紹。
關鍵詞：人工神經網絡,BP網絡,內隱學習
參考文獻
[1] 郭秀艷, 朱磊.神經網絡模型對內隱學習的探索.心理科學, 2006, 29 (2) .480-484.
[2] 郭秀艷, 朱磊, 魏知超.內隱學習的人工神經網絡模型.心理科學進展, 2006, 14 (6) .837-843.
[3] 唐菁華.內隱學習中知識及其意識水平測量.華東師范大學, 2010.
[4] Cleeremans, A., McClelland, J.L.Learning the structure of event sequences.Journal of Experimental Psychology-General, 1991, 120 (3) :235-253.
[5] Cleeremans, A., Destrebecqz, A., Boyer, M..Implicit learning:news from the front.Trends in Cognitive Sciences, 1998, 2 (10) :406-416.
[6] Dehaene, S., Sergent, C., Changeux, J.-P.A neuronal network model linking subjective reports and objective physiological data during conscious perception.Proceedings of the National Academy of Sciences, USA, 2003, 100:8520-8525.