ChatGPT的教育應用：提升學習效果的真正原因是什么

/ChatGPT的教育應用：提升學習效果的真正原因是什么?【摘要】ChatGPT等人工智能工具提升學習效果的潛能是一個當下的研究熱點，研究者紛紛加入這一研究，但是長期困擾教育技術研究的那些缺陷同樣影響到這些聚焦新興技術的研究的效度。如果在媒介比較研究中混淆了教學方法和技術能供性，我們可能無法解釋促使學習效果發生變化的真正原因。文章重新審視20世紀八九十年代關于“媒介與方法”辯論的主要觀點，以期讓學界關注到圍繞ChatGPT效能的研究中存在常見的概念混淆的問題。此文是一篇概念性文章，通過比較ChatGPT教育應用這一新興研究和關于智能輔導系統的更加成熟的研究，總結出確保學習效果的可解釋的三個不可或缺的要素：①準確描述實驗處理的性質；②準確描述對照組的活動；③對學習結果的測量應該能夠有效地反映學習的情況。為了初步驗證上述三要素，分析了近期ChatGPT教育應用的實驗研究，結果表明只有極少數研究滿足這三個要素的要求。實驗處理缺乏嚴格界定、對照條件不合適或不清晰且不能肯定結果測量與持久學習相關——這些問題導致我們無法確信這些新興研究中ChatGPT的使用與學習效果的提升存在因果關系。鑒于此，實驗觀察到的學習效果的提升不一定是使用ChatGPT的結果，對相關文獻進行元分析所得出的效應量可能夸大或低估了ChatGPT促進學習的作用。我們認為必須保證研究設計嚴謹、相關信息透明且對“快科學”持批判性態度方能促進此研究領域的進步。

一、引言 隨著功能強大的生成式人工智能(AI)系統(如ChatGPT)雨后春筍般地涌現，這些技術應用于教育的潛能也成為眾多研究的焦點(Giannakosetal.，2024；Yanetal.，2025)。AI系統的每一次更新都讓人們更加相信高度自適應、個性化的教育智能體這個“圣杯”越來越唾手可得。研究者和教育工作者試圖弄清這些工具給教與學帶來的希望和存在的局限，這是可以理解的。但是，如果由于迫不及待地想多出研究成果而一擁而上，則有可能因缺乏確鑿的證據而得出草率的結論。此外，過去幾十年在媒介比較研究的文獻中長期存在的那些方法上和概念上的缺陷同樣出現在ChatGPT的研究文獻中，這導致我們難以清楚地了解生成式AI是如何提升學習效果的。及早正視和處理好這些問題，才能為AI在教育中的應用打造一個扎實和有意義的證據基礎。 雖然ChatGPT面向公眾發布距今只有兩年多的時間，但是許多研究者已迫不及待地想對相關研究進行元分析。雖然這些研究能夠提供有價值的探索性見解，但是往往存在研究方法上的缺陷，因而難以得出證明ChatGPT與學習效果的提升之間存在因果關系的有力結論。因為被納入分析范圍的許多一手研究，雖然它們的研究方法存在問題，卻都明確地得出了因果關系的結論。事實上，研究者自己也承認他們納入分析的許多研究缺乏因果關系結論的基本特征，如沒有功效分析、隨機分配和評估知識變化的前測等(Deng，Jiang，Yu，Lu&Liu，2025)。 本文的目的不是為了逐一評估這些研究并發現其缺點，而是希望從概念層面分析各研究實驗處理的內容、對照組的性質和反映學生學習的因變量。為了評估上述三方面所存在的問題的廣泛性，我們采用勞森等(Lawson，Martella，Weidlich，Mulders&Buchner，forthcoming)的一組編碼進一步分析了相關元分析研究的樣本，重點檢查了實驗處理和對照條件的描述是否足夠清楚以及采用了哪些工具來檢驗學習結果。 本文把歷史更加悠久的智能輔導系統(IntelligentTutoringSystem)應用研究作為比較的對象。智能輔導系統的應用很成功，因為它們在教學設計領域數十年研究成果的基礎上把AI融入穩健的教學框架中。因為智能輔導系統研究的元分析所涉及的實驗處理、對照條件和因變量方面的描述非常清楚，所以通常能夠得出可以解釋的結果(Kulik&Fletcher，2016；Ma，Adesope，Nesbit&Liu，2014；Steenbergen-Hu&Cooper，2014)。對智能輔導系統研究和ChatGPT研究進行比較，有助于展示歷史更加悠久的智能輔導系統研究的優勢并發現新興的ChatGPT研究的風險①。 生成式AI具有變革教育的潛能，但是必須有計劃、審慎地采用恰當的研究方法才能揭示其成敗的原因。研究方法的正確性尤為重要，因此本文旨在幫助研究者開展能夠促進我們對生成式AI教育應用了解的研究。下面我們首先重新審視20世紀八九十年代“媒介與方法”的辯論中對今天仍然有指導意義的主要觀點，然后比較智能輔導系統和ChatGPT這兩類研究，分析前者相關研究的優勢并指出后者相關研究方法上的缺陷。這些方法上的缺陷會影響到一手和二手研究的質量。本文基于新近的兩項元分析，聚焦影響研究結果的可解釋性和意義的三個要素，對“快科學”(fastscience)的風險和對如何以嚴謹的方法研究人工智能的教育應用進行了反思。 二、媒介比較研究中的易混淆的問題 1983年克拉克發表了一篇影響深遠的文章(Clark，1983)。該文批判性分析了媒介與學習的關系，對當時支撐這個領域大量研究的那些理論假設提出了質疑。這篇文章引發了一批相關文章的發表，被稱為“媒介與方法”辯論。克拉克的觀點(Clark，1983；1994a；1994b)的主要反對者是科茲馬(Kozma，1991；1994a；1994b)。這場辯論一直持續到1994年《教育技術研究與開發》(EducationalTechnologyResearchandDevelopment)出版了一期專刊才落下帷幕。這一期專刊還發表了其他幾位研究者的文章(Jonassen，Campbell，&Davidson，1994；Morrison，1994；Reiser，1994；Ross，1994；Shrock，1994；Tennyson，1994)②。 簡而言之，克拉克認為媒介只不過是傳送教學的工具，媒介本身不會影響學生的成績(Clark，1983)。他把媒介比喻為運送食品的貨車，認為貨車雖然讓運輸更加方便但不會改變所運送的食品的營養價值。同樣的，決定學習效果的是教學方法而不是教學媒介。雖然他承認選擇一個適合學習目標的媒介有助于提升學習效率，但是他堅信原則上一種媒介可以被另外一種媒介所代替而不會影響學習效果(Clark，1994a；1994b)。科茲馬則反對媒介中立論，認為媒介獨特的能供性與教學方法和學習者的認知密切相關(Kozma，1991；1994a；1994b)。 雖然克拉克和科茲馬都各自強調教育技術領域研究的一個很重要(最終是互補)的問題，但克拉克的觀點對當下ChatGPT媒介比較研究而言更值得注意③。研究者開展媒介比較研究實驗而非增值設計(value-added)或能傾處理交互設計(aptitude-treatmentinteractiondesign)(Buchner&Kerres，2023)時，經常想當然地假定能夠把某種技術融入某個學習環境而無需改變教學方法(Honebein&Reigeluth，2021)。換言之，研究者的實際行動(更準確地說是通過研究設計)表明他們認為媒介與教學方法是相互獨立的，這與科茲馬(Kozma，1991)認為它們是相互依存的觀點背道而馳。 根據克拉克的假設，如果媒介能夠發揮作用的話，若研究者希望從媒介比較研究中得出證明因果關系的結論，他們必須保持教學方法不變并仔細觀察媒介本身對學習有哪些促進作用。然而，新媒介或技術的使用經常是伴隨著新的教學方法、新的界面設計或新的教學活動的采用。艾榮恩把這種情況稱為“笨手笨腳的”(fat-handed)教學干預(Eronen，2020)④。在這種研究中，我們無法斷然地增加或減少某一個變量而不影響整個教學設計，因此不適合對實驗結果進行因果推斷，至少違背了研究者開展實驗研究的初衷⑤。同樣的，張等的研究表明，針對由學生自己開展科學研究活動進行課程學習的教學模式的研究也存在混淆變量的問題(Zhang，Kirschner，Cobern&Sweller，2022)。具體來說，學習進步被歸功于探究式學習設計，而實際上這種教學法包含了許多因素，每一種因素都可能提升學習效果，探究式學習設計僅是其中之一。 丁尼生在總結這場辯論的時候用了“大扳手”這個比喻，即媒介比較研究者天真地以為新興的技術是解決學習問題的靈丹妙藥(Tennyson，1994)。然而，實際上這種觀點模糊了促進學習的真正原因，因為這些研究沒有調查可能有助于提升學習效果的那些因素。當時的媒介是教學電視或早期的電腦，如今教學媒介多種多樣。混淆變量的問題也是評價遠程教育有效性的一個障礙(Bernardetal.，2009；Clark，2000；Lou，Bernard&Abrami，2006)。另外，系統文獻綜述表明80％聚焦增強現實對學習效果的影響的研究屬于媒介比較研究(Buchner&Kerres，2023)。另一項聚焦虛擬現實對于STEM教育的影響的媒介比較研究經過深度分析發現，僅有26％的研究控制了各方面變量混淆的問題(Lawsonetal.，2024)。 三、元分析效應具備可解釋性的條件：以智能輔導系統為例 智能輔導系統是專門設計用于促進學習的AI系統，即把AI融入為某個領域的學習目標量身定制、清晰界定的教學模式中。智能輔導系統應用的研究有比較長的歷史。例如：認知導師(CognitiveTutor)這種智能輔導系統經常基于理性思維的自適應控制理論(AdaptiveControlofThought-Rational，ACT-R)(Anderson，1982；Anderson，Corbett，Koedinger&Pelletier，1995)，一步一步地指導學習者通過練習培養和掌握解決問題的技能(Koedinger&Corbett，2006)。學習者模型是大多數智能輔導系統的一個關鍵成分，這個模型隨著學生學習過程的變化(出現錯誤或取得進步)而變化。其他的關鍵成分是呈現內容的領域模型(domainmodels)和根據學生行為采取教學步驟的教學模型。 正是因為配備了這些模型，智能輔導系統能夠提供個性化教學和即時反饋以及具備自適應性，成為提高具體的認知和元認知技能的強有力的工具。雖然與教師的輔導相比仍然略有遜色(VanLehn，2011)，但各種元分析都得出相同的結論，即智能輔導系統能夠明顯提升學習效果。例如：三項元分析都表明智能輔導系統優于傳統教學，其效應量通常在0.32到0.66之間(Kulik&Fletcher，2016；Ma，Adesope，Nesbit&Liu，2014；Steenbergen-Hu&Cooper，2014)。我們以其中一項元分析為例(Kulik&Fletcher，2016)，歸納了對旨在研究技術對學習的影響的文獻進行元分析時應該具備的特點。 元分析必須遵循既定的質量標準(Borenstein，Hedges，Higgins&Rothstein，2009；Pigott&Polanin，2020)與“系統綜述和元分析優先報告條目”(PreferredReportingItemsforSystematicreviewsandMeta-Analyses，PRISMA)的要求(Moheretal.，2015)。本文的目的不是進一步討論這些標準和要求，而是聚焦更加根本的問題，即如何保證元分析的質量。 首先，庫里科和弗萊徹把智能輔導系統如幾何導師(GeometryTutor)、認知導師和應用定制編程導師(ACTProgrammingTutor)，納入實驗處理內容的編碼(Kulik&Fletcher，2016)。這些系統在元分析對象的一手研究中均有詳述，因此我們完全能夠了解到各研究實驗處理的教學特點。此外，這些一手研究還提供了實驗處理的持續時間和系統是否按步輔導(step-basedtutoring)或分步輔導(substep-basedtutoring)這些信息，因此我們能夠相對全面地了解學生在實驗過程中的情況⑥。另外，雖然學生的情況、教學科目和其他方面不同，但是這些智能輔導系統有幾個共同的特點，即能實現個性化教學、即時反饋并具備自適應性，因此所采用的實驗處理相似，可以視為一個處理單位。 庫里科和弗萊徹界定對照組的性質(Kulik&Fletcher，2016)，他們所分析的大多數研究都有一個常規對照組(即在受控的條件下學生接受常規教學或非常接近常規的教學)。包含未施加任何干預的對照組、由教師提供輔導的對照組或其他設計的研究均被排除在外，不納入元分析。他們對這些研究進行了另外編碼和單獨分析，因為如果受控條件存在顯著差別，這將從根本上改變了比較的性質。 由于對實驗組和對照組的描述清楚，因此我們能夠對效應量進行有意義的解釋。在庫里科和弗萊徹的元分析中，與常規教學相比，智能輔導系統教學效果的效應量是0.66標準差(Kulik&Fletcher，2016)。考慮到這些研究中對照組接受的常規教學在很多情況下與實際的教學場景無異，因此這個效應量表明使用智能輔導系統能明顯提升學習效果。據此，我們可以假設，如果大范圍使用智能輔導系統，隨著時間的推移，學習成績能夠得到提高。也可以把效應量轉換成學習時間單位(如相當于需要學習多少天或多少年才能取得這個效應量)或百分位變化(Baird&Pane，2019)。當然，關鍵的一點是只有當對照組的活動與實際教學情況一致時這些效應量的轉換才有意義。 對于智能輔導系統而言，發揮作用的不是某一個變量，而是一組綜合的教學特征。雖然我們不清楚是哪一個特征促使學習效果得到提升，但是不清楚這種情況本身沒有任何問題，除非我們的研究目的是為了評估某一個特征對學習的促進作用。對于智能輔導系統研究而言，這種情況不妨礙我們對實驗結果的解釋，因為在現實世界的教學中，這些特征也是被作為一個整體使用的。我們已經知道作為設計智能輔導系統的理論基礎的那些原則都各自有助于促進學習(如即時反饋原則)(Andersonetal.，1995；Corbett，Koedinger&Anderson，1997；Graesser，Hu&Sottilare，2018)。所以，關鍵的問題是集各種教學特征于一身的自動化教學系統能否以及在多大程度上支持學習，而不是那些教學特征是否能夠單獨支持學習。換言之，這種研究的重點不是為了檢驗作為指導智能輔導系統設計的教學理論的原則，而是為了驗證智能輔導系統的實際成效。 要使一項比較實驗有意義，根本的一點是這種比較應該是恰當的。例如：要回答“實驗處理(X)是否比目前教學實踐(Y)更有效果?”這個問題，就必須保證對照組的活動如常，與真實的課堂活動非常相似。如果研究的目的改變了(如是為了驗證某一條理論原則或建立一個基準線)，那么必須采用不同的方法才會比較有意義。例如：旨在建立檢索式練習的遺忘基準線的基礎認知研究可能需要被動對照組(即學生不接受任何干預)方能使研究結果有意義(Karpicke&Roediger，2008)。但是，對于教育技術和相關領域的大多數研究來講，設立完全被動的對照組也不會讓比較變得更有意義。 最后，要證明智能輔導系統或其他教育創新的有效性就必須清楚地界定因變量，即學習效果的測量。庫里科和弗萊徹區分了研究者自己開發的后測和標準化測試(Kulik&Fletcher，2016)。從比較是否有意義的角度講，標準化測試更能反映智能輔導系統在許多現實教育環境下可能產生的好處。研究者自己開發的后測更有可能結合某一特定學習環境的情況，因此研究結果的可推廣性不及采用標準化測試，標準化測試從本質上講更具普適性。重要的是，如果研究的目的是了解是否對學習產生影響，而不是完成任務的表現，那么測試必須在實驗結束后才能進行，實驗組和對照組的測試內容必須一致，而且理想情況下應該采用標準化測試而不是研究者自己開發的測試。如果在實驗期間進行測試，測試結果的不同反映的很可能是因是否接受了干預而導致成績的高低，而不是反映持久學習(durablelearning)⑦。如果兩組的測試內容不同，那么會導致研究結果完全不可解釋。 以上總結了影響研究結果可解釋性的三個基本要素，即清楚描述實驗處理的內容、說明對照組的活動和因變量才能夠有效反映學習情況。我們認為這三個要素是證明某種技術促進學習的有效性的最基本的、不可或缺的條件。 清楚地描述實驗處理內容的重要性可以追溯到構念效度研究(Shadish，Cook&Campbell，2002)。如果對實驗處理這個構念的描述不夠清晰，我們便難以對實驗的效果進行有效的推論。如果實驗處理內容模糊，可能出現其他方面的因果影響和解釋，就會使推論缺乏說服力。簡而言之，如果我們不知道實驗是如何使用ChatGPT的，或不知道其他相關的情況，我們不可能對實驗結果進行有意義的解釋。 清楚地描述對照組同樣非常重要，這能讓對照(受控)條件具有可操作性(Hernán&Robins，2020)，即在不使用實驗處理的技術而且不從根本上改變其他方面的學習活動的情況下進行學習(Salomon，1991)。這是科學實驗的“其他因素均相同的假設”(ceterisparibusassumption)(Heckman&Pinto，2021；Marshall，1890)。據此可知，有意義的比較必須保證其他因素是一樣的。恰當的控制組能讓實驗結果比較有意義，而如果對照(受控)的情況不清楚或活動不合適，實驗結果便不可解釋。對實驗處理和受控情況進行全面考慮，使之可操作化并可清楚地描述，是理解因果影響的一個先決條件⑧。 第三個需要考慮的要素是因變量必須能夠反映真正的學習而不是其他的結果，如學生自己的看法(Deslauriers，McCarty，Miller，Callaghan&Kestin，2019)，這樣才能得出包含有效的因果關系的結論。否則，我們有可能把學生的滿意度或投入程度誤認為是實際的學習進步。 四、ChatGPT教育應用研究的元分析 目前諸如ChatGPT這樣的AI系統功能強大，因此研究者紛紛開展這個主題的相關研究，探索它們促進學習的潛在作用。鄧等的元分析佐證了這種熱情，他們一共檢索到1000多項關于ChatGPT的研究(Dengetal.，2025)。更令人吃驚的是，他們還發現已發表的關于ChatGPT教育應用的文獻綜述多達22篇。鑒于這種情況，我們不禁對在如此短時間之內完成的這些一手研究的效度以及相關的元分析的作用產生懷疑。畢竟，直到2022年11月公眾才開始知道ChatGPT。本節暫且不討論倉促上陣開展研究所帶來的問題(文章最后會再次討論這個問題)，只重點闡述為什么這方面的研究容易重蹈媒介比較研究的覆轍。 研究ChatGPT對學習的影響，一直存在一個問題：如同其他“標準的”生成式AI系統一樣，ChatGPT被當成教與學的工具而不是方法。如同貨車不能改變所運載的食品的營養成分一樣，ChatGPT不可能決定學生是否學習。我們沒有想到要研究GoogleScholar是否能夠提高學生的因特網素養或計算器是否能夠提升學生的運算技能。同樣的，研究ChatGPT對學習的影響是不合邏輯的，因為二者沒有因果關系，不會因為學生使用了一種并非專門為學習設計的工具，學習便會自然而然地發生。要能發揮支持學習的作用，ChatGPT或其他AI系統必須被嵌入教學方法之中，與之相結合，融合在一起。認識到這一點非常重要，這樣才可以避免出現困擾著這個新興研究領域的那些缺陷。 我們暫且不談媒介與方法之爭這個問題。由于ChatGPT功能強大，因此導致出現認知卸載，即那些通常旨在支持學習的過程由ChatGPT代替學習者完成了。例如：在完成學術寫作任務時，學生無需掌握相應的技能，他們使用ChatGPT便能夠“寫出”達到及格水平的文章。一些研究顯示正是因為ChatGPT具備這些強大的功能，它有可能影響學習的深度(Stadler，Bannert&Sailer，2024)，導致學習者過度依賴它，而不是發揮它促進學習的作用(Darvishi，Khosravi，Sadiq，Ga?evic'&Siemens，2024；Fanetal.，2024)。在這方面，薩洛蒙區分了兩種影響：學習過程中使用電腦對學習的影響(cognitiveeffectswithcomputers)和這種經驗一旦得到內化和轉移，便能夠產生持久的、具有普適性的認知殘余(cognitiveresidue，cognitiveeffectsofcomputers)(Salomon，1990)。一些研究已經證明如何使用ChatGPT是決定其對學習有何影響的主要因素。例如：萊曼等發現大型語言模型被當成個人輔導教師使用并與之開展有意義的交互活動時能促進學習(Lehmann，Cornelius&Sting，2024)。相反，如果僅把它當成“不用腦”的工具，用它完成本該學習者自己做的事情，那么會對學習產生負面影響。同樣的，巴斯塔尼等的研究發現過度依賴ChatGPT會對學習產生不好的影響(Bastanietal.，2024)，而嚴等的研究發現被用作學習支架的AI智能體能對學習產生持久的積極影響(Yanetal.，2025)。雖然這些都是初步的研究，但是從它們的研究發現可以看出，如同其他工具(或克拉克所說的“媒介”)一樣，與ChatGPT互動、使用ChatGPT和從ChatGPT身上學到東西等的方法多種多樣。 根據鄧的元分析，ChatGPT的效應量是g=0.7，高于智能輔導系統的效應量，如庫里科和弗萊徹得出智能輔導系統的效應量是0.66(Kulik&Fletcher，2016)，盡管后者是專門為提高學習成效而設計的，而ChatGPT則不然。考慮到這點，研究應該在對這些一手研究進行編碼時清楚地說明它們是如何計算其研究的效應量的。如研究中ChatGPT是被作為萊曼等所說的個性化輔導教師使用嗎(Lehmann，Cornelius&Sting，2024)?此外，如前所述，還必須考慮三個方面的要素。下面逐一進行闡述，并結合近期ChatGPT教育應用元分析的分析樣本進行討論。 (一)實驗處理的內容是什么? 要令人信服地證明ChatGPT能提高學習成效，應該選擇以下兩種元分析樣本入選標準之一。第一，采用苛刻的入選標準(如只挑選把ChatGPT當作個性化輔導教師使用的研究)。嚴格遵守既定的兩分標準，即非入選即排除。這樣一來，便能夠大幅度地減少入選的研究樣本的數量，研究者只能等到有足夠符合入選標準的研究發表之后才可以進行元分析。我們分析了入選這項元分析的一手研究樣本，可以肯定他們采用的不是這個標準，因為這些研究的實驗處理內容各異，如把ChatGPT當作復述詞匯的工具(Hsu，2024)，或作為提供反饋支持寫作練習的自我評估的工具(Mahapatra，2024)，或作為支持寫作練習的全能助理且不限制其用途(Niloy，Akter，Sultana，Sultana&Rahman，2024)。 第二，采用寬松的入選標準，收錄不同用途和不同使用程度的ChatGPT研究。這是鄧的元分析采用的標準。但是，在這種情況下，元分析者必須仔細對實驗處理可能影響學習的那些特征進行編碼，如與ChatGPT的互動模式、使用ChatGPT提升教學效果的原則、學習任務的性質(劣構的或是高度結構化的)、是否對ChatGPT的使用施加限制、事前給ChatGPT投喂了多少相關的領域知識等等。有了這些編碼，即使ChatGPT在所入選的一手研究中用途和使用程度各異，這樣的研究樣本仍然可以被接受，因為可以把這些教學特征(即ChatGPT融合到教學方法中的具體做法)當作調節因素。因此，雖然有局限，但還是能夠了解這些研究中Chat-GPT的使用對促進學習的相對成效的⑨。這項元分析對分析樣本的特征進行了編碼(如實驗干預背景、時長以及ChatGPT是否只是作為輔助工具等)，但是過于簡單。例如：徐(Hsu，2024)、馬哈帕特拉(Mahapatra，2024)和尼羅依等(Niloy，Akter，Sultana，Sultana&Rahman，2024)被納入這項元分析的樣本中，可是這項元分析僅對這三項研究所涉及的部分實驗處理進行編碼，由此可見其分析的結果未能全面反映樣本的特征。除非遵循苛刻的入選條件或進行詳細編碼，否則實驗處理就仿佛是一種“秘制的醬料”一般，外人無從知曉其成分，這種研究所得出的結果也是不可解釋的。 (二)比較的內容是什么? 受控情況(對照組情況)與實驗處理形成對比，能夠凸顯實驗效果。在部分元分析中，研究樣本的受控情況是只要沒有使用ChatGPT即可，例如：“本研究包含至少一個沒有使用ChatGPT(或ChatGPT支持的學習應用程序)的對照組和一個使用ChatGPT(或ChatGPT支持的學習應用程序)的實驗組(Dengetal.，2025，p.7)。”因為入選標準寬松，所以實際入選的研究的受控條件多種多樣，包括不接受任何干預、教師一對一輔導、自我評估、玩電子游戲等等。從上述元分析的目的看，最恰當的對照組應該是除了沒有使用ChatGPT外其他方面與實驗組一樣。只有這樣，這種比較才能反映ChatGPT對學習的影響，而不是得出無法解釋、混淆變量的結果。我們從克拉克(Clark，1983)反對媒介比較研究的主要觀點可以看出，這不是無關緊要的細節，因為通常ChatGPT的使用與否會導致其他方面的變化。 因此，這項元分析可以跟庫里科和弗萊徹(Kulik&Fletcher，2016)一樣界定嚴格的排除標準(如受控條件與實驗處理的教學特征應該達到合理的相同程度)。此時，必須詳細描述與ChatGPT形成對比的是什么。例如：實驗組的ChatGPT換成對照組的教師、同伴、非基于大型語言模型的AI系統或只是沒有使用ChatGPT。如上所述，如果不采用對受控條件提出嚴格要求的入選標準，也可以選擇對受控條件進行詳細編碼，以呈現受控條件與實驗處理的相同程度，包括教學特征、常規的學習活動和其他有教學意義的方面(如教師或同伴代替ChatGPT)。如果入選的研究是同質的，元分析的效應量本身便具備可解釋性。如果它們不是同質的，但通過對受控條件詳細編碼，我們可以進行調節因素分析，只要有足夠數量的研究供分析，便能夠反映各種情況的相對成效。 (三)這能夠反映學習的情況嗎? 影響元分析結果可解釋性的最后一個要素是因變量。換言之，因變量必須具備一些特點，最重要的是因變量必須與研究問題相稱。如果研究的目的是調查對學生學習的影響，不少潛在的變量應該被排除在外，如學生和(或)教師對學習情況的主觀判斷或自我報告獲得哪些技能等。學習通常被定義為通過自身體驗、系統學習或教學掌握知識、技能、態度或行為的過程(Sternberg&Sternberg，2017)，而且這種學習過程的結果會促使個人的理解、能力或行為發生相對持久的變化(Schunk，2020)，這一點很重要。所以，自我評估學習進步不足以證明實際學習情況，因為人們可能高估自己的情況且自身沒有出現相對持久的變化(Carpenter，Witherby&Tauber，2020)。同樣的，除非能夠證明對態度或行為等方面表現的檢驗結果確實完全是學習所致，否則這樣的結果也是不可信的。換言之，如果在實驗仍在進行的過程中檢驗學習或其他方面表現的變化，那么這種變化可能是實驗處理所致，也可能是先前學習過程帶來的相對持久的變化。 為了從概念上和分析的角度區分不同結果的類型，這項元分析為不同類型的結果建立了單獨的模型，即可視森林圖，詳細內容可查閱鄧等的文章(Dengetal.，2025，p.215-217)的附錄B。鑒于其目的是為了證明學習成效，我們重點分析與學習最密切相關的模型，即學業表現和高階思維傾向。 學業表現的第一項研究(AhmedMoneus&Al-Wasy，2024)得出Hedge'sg=3.1這個驚人的效應量。因此，僅此一項的效應量已經能夠顯著提高聚焦學業表現這一類的研究在元分析中的總體效應量。該研究通過比較使用和不使用ChatGPT的譯文的質量，調查ChatGPT對學生翻譯水平的影響。重要的是，研究者不是根據使用ChatGPT之后學生的譯文質量，而是根據學生與ChatGPT協作翻譯的作品的質量檢驗實驗效果。因此，因變量反映的是協作作品的質量，不是學習結果。 高階思維傾向類研究的最大效應量來自胡的研究(Hu，2024)。該研究要求學生解決倫理困境問題。實驗組使用ChatGPT輔助的虛擬學習伴侶，而一個對照組是與同伴一起學習，另一個對照組則是組員各自獨立學習。這個實驗設計接近現實世界的學習場景，因此是一個有意義的比較。該研究測量出三種結果：自我評價的解決問題技能、自我報告的動力調節和自我評價的倫理推理能力。只有解決問題和倫理推理兩個結果屬于高階思維傾向。這兩個結果都是學生自我報告的。換言之，學生的高階思維傾向只有學生自己的一面之詞，因此不能用于佐證實驗對學生高階思維傾向的實際影響。 如果想開展有意義的媒介比較研究，研究者必須設計嚴謹的研究過程，以確保研究結果可以解釋。從理論上講，第一步是要確定恰當的研究問題，研究必須能夠聚焦具體的問題，如避免“ChatGPT對學習有什么影響?”這樣的研究問題，進而提出“與受控條件Z相比較，在以X方式、體現Y特點的情況下使用ChatGPT會對學習產生什么影響”這樣的研究問題。取決于ChatGPT和教學方法的具體融合和可操作化的精準程度，我們可能還需要其他方面的假設。雖然元分析能夠回答諸如“根據文獻，ChatGPT的使用對學習有多大影響”這樣的“大”問題，但是重點仍然必須是ChatGPT在具體教學中的作用而不是僅把它當成一種工具。元分析研究者必須仔細考慮實驗處理、控制和結果等的多樣化問題。 五、剖析學業表現類的一手研究 為了了解ChatGPT研究文獻在多大程度上能夠滿足上述三個方面的要求，本文對前述近期發表的元分析中聚焦學業表現的比較研究進行剖析。我們獲得了一項生成式AI教育應用的更大規模系統綜述(Lawsonetal，forthcoming)課題組的同意，采用了其中跟本研究相關的一組編碼。 勞森等分析了每一項比較研究的以下三方面的內容：①對使用ChatGPT的實驗處理的描述是否足夠詳細，是否從理論上講具有可復制性?②對對照組的活動的描述是否與實驗處理一樣詳細?③主要因變量是否反映學習情況且在實驗處理完成之后不是以自我報告的形式進行評估的?這三個方面的描述被分成三個等級：清晰(可供