若使用人類心理量表分析大型語言模型,應將提示詞、系統指令、溫度、模型版本、語言與重複試驗視為測量條件。相同模型在不同提示下可能呈現不同作答策略;若不處理這些條件,量表結果可能測量到提示敏感度,而不是穩定的輸出特徵。
更重要的是,對 AI 的心理輪廓只是模型行為的描述,不能直接推論模型具有與人類相同的主觀感受或人格。
思與行
- 設計跨提示、跨語言、跨版本的重複實驗,估計輸出穩定性。
- 將「模型在量表上的分數」改稱「模型在特定測試條件下的量表反應輪廓」。
參考
- 研究依據:AI心理計量把人格量表用於大型語言模型。
- 概念依據:心理分數是操作化結果,不是心理本質本身。
- 本文亦連結 測量模型概念地圖 與全書導讀 psychometrics。
- 概念地圖:心理測量概念地圖。