若使用人類心理量表分析大型語言模型,應將提示詞、系統指令、溫度、模型版本、語言與重複試驗視為測量條件。相同模型在不同提示下可能呈現不同作答策略;若不處理這些條件,量表結果可能測量到提示敏感度,而不是穩定的輸出特徵。

更重要的是,對 AI 的心理輪廓只是模型行為的描述,不能直接推論模型具有與人類相同的主觀感受或人格。

思與行

  • 設計跨提示、跨語言、跨版本的重複實驗,估計輸出穩定性。
  • 將「模型在量表上的分數」改稱「模型在特定測試條件下的量表反應輪廓」。

參考