本文摘要：摘要：人工智能(AI)技術(shù)為課堂教學(xué)反饋帶來質(zhì)效提升的同時(shí)，其引發(fā)的一系列倫理問題也日益受到關(guān)注。對(duì)應(yīng)用個(gè)案的系統(tǒng)分析有助于揭示此類倫理困境產(chǎn)生的深層次原因�；趯�(duì)X中學(xué)課堂反饋AI系統(tǒng)的開發(fā)者以及教師、學(xué)生等應(yīng)用者的訪談，通過三級(jí)編碼分析構(gòu)建的內(nèi)因外緣解
摘要：人工智能(AI)技術(shù)為課堂教學(xué)反饋帶來質(zhì)效提升的同時(shí)，其引發(fā)的一系列倫理問題也日益受到關(guān)注。對(duì)應(yīng)用個(gè)案的系統(tǒng)分析有助于揭示此類倫理困境產(chǎn)生的深層次原因�；趯�(duì)X中學(xué)課堂反饋AI系統(tǒng)的開發(fā)者以及教師、學(xué)生等應(yīng)用者的訪談，通過三級(jí)編碼分析構(gòu)建的“內(nèi)因—外緣”解釋模型表明：課堂反饋AI系統(tǒng)應(yīng)用的倫理困境主要由算法陷阱引起，表現(xiàn)為算法黑箱與算法歧視;由于算法規(guī)則的不透明和偏向性，課堂智能反饋過程呈現(xiàn)出數(shù)據(jù)失信、數(shù)據(jù)濫用和隱私侵犯等現(xiàn)象，誘發(fā)了權(quán)力失范、關(guān)系失衡、情感異化等外發(fā)風(fēng)險(xiǎn);這些風(fēng)險(xiǎn)表現(xiàn)為“師端”的教育自主權(quán)讓渡，“生端”的學(xué)習(xí)自主性喪失、過度情感勞動(dòng)以及情感遮蔽等。化解AI賦能課堂反饋的倫理風(fēng)險(xiǎn)，應(yīng)該規(guī)避算法黑箱和算法歧視，主張師生對(duì)算法規(guī)則有知情權(quán)，以學(xué)生的主動(dòng)性和發(fā)展性為落腳點(diǎn)完善法律法規(guī)對(duì)抗算法歧視;制定數(shù)據(jù)倫理規(guī)約，確保教育數(shù)據(jù)與師生隱私的安全;建立師生與AI之間的雙向平等關(guān)系，強(qiáng)化人機(jī)協(xié)作效用;揭示學(xué)生情感變化規(guī)律，發(fā)展師生的積極情感關(guān)系。
關(guān)鍵詞：人工智能;課堂反饋;算法陷阱;倫理風(fēng)險(xiǎn)
一、問題的提出
人工智能(ArtificialIntelligence，AI)通過分析課堂教學(xué)活動(dòng)過程，能夠?yàn)榻虒W(xué)反饋提供新思路，為個(gè)性化教學(xué)提供新方法(孫眾等，2020)。許多學(xué)校與企業(yè)合作，嘗試研制出學(xué)生課堂反饋AI系統(tǒng)，使教學(xué)反饋實(shí)現(xiàn)從依賴教師觀察、作業(yè)反饋與測(cè)驗(yàn)反饋向自動(dòng)化、智能化、精準(zhǔn)化與過程化反饋轉(zhuǎn)變。但AI在提升課堂教學(xué)反饋質(zhì)效的同時(shí)，也帶來了巨大的挑戰(zhàn)：“計(jì)算主義”至上的學(xué)習(xí)分析方式有悖于教育系統(tǒng)的復(fù)雜性(顧小清等，2020);大規(guī)模采集生理信息數(shù)據(jù)的做法侵犯了學(xué)生隱私(唐漢衛(wèi)等，2020);出現(xiàn)“算法囚徒”的風(fēng)險(xiǎn)，甚至某些算法會(huì)不斷強(qiáng)化自身的隱性控制，增強(qiáng)算法的監(jiān)控屬性(彭蘭，2021)。
值得深思的是，AI介入課堂是增強(qiáng)課堂反饋還是強(qiáng)化課堂控制?要實(shí)現(xiàn)AI與課堂教學(xué)反饋之間的“加法”，應(yīng)當(dāng)是計(jì)算機(jī)科學(xué)、心理學(xué)、教育學(xué)、社會(huì)學(xué)和倫理學(xué)等多學(xué)科融通的結(jié)果。本研究始于X中學(xué)課堂反饋AI系統(tǒng)應(yīng)用引發(fā)的 媒體爭(zhēng)議。X中學(xué)與H公司以提升課堂反饋效率為目標(biāo)，以采集和分析學(xué)習(xí)行為數(shù)據(jù)、表情數(shù)據(jù)和認(rèn)知數(shù)據(jù)為策略，合作研制了X中學(xué)課堂反饋AI系統(tǒng)。該系統(tǒng)卻被媒體稱為“黑科技”“天眼”“刷臉神器”“窗外的班主任”等，認(rèn)為其造成了“無形的壓力”“全天把神經(jīng)繃緊”“情緒壓抑”等負(fù)面影響。本研究對(duì)X中學(xué)課堂反饋AI系統(tǒng)的應(yīng)用進(jìn)行追蹤，旨在透過應(yīng)用進(jìn)程中的“故事”，探析AI應(yīng)用于課堂反饋的倫理困境及成因，并嘗試提出解決方案。
二、文獻(xiàn)回顧
1.AI賦能課堂反饋的技術(shù)實(shí)現(xiàn)
傳統(tǒng)的課堂教學(xué)反饋方式具有主觀性強(qiáng)、樣本量較小、費(fèi)時(shí)費(fèi)力以及滯后性等局限(吳立寶等，2021)。AI技術(shù)的出現(xiàn)，推動(dòng)了課堂教學(xué)反饋通路的變革，實(shí)現(xiàn)了高效、動(dòng)態(tài)、精準(zhǔn)、智能以及自動(dòng)化的反饋過程(趙瑞斌等，2021)。AI技術(shù)將攝像頭、拾音器等采集的師生行為、語音、面部表情、生理信號(hào)等復(fù)雜生理特征數(shù)據(jù)化，并自動(dòng)學(xué)習(xí)數(shù)據(jù)的隱形結(jié)構(gòu)與內(nèi)在規(guī)律，探測(cè)學(xué)習(xí)者內(nèi)隱的認(rèn)知與情緒狀態(tài)，助力課堂反饋(劉清堂等，2019)。
AI技術(shù)支持的課堂反饋研究主要從課堂行為識(shí)別、情緒計(jì)算、多模態(tài)數(shù)據(jù)融合等路徑著手。Whitehill等(2014)通過對(duì)學(xué)習(xí)者面部表情數(shù)據(jù)的采集與計(jì)算，推斷其學(xué)習(xí)參與度，增強(qiáng)教師對(duì)學(xué)習(xí)者參與情況的及時(shí)感知;韓麗等(2017)應(yīng)用人臉檢測(cè)與面部表情識(shí)別技術(shù)，分析認(rèn)知行為與頭部姿態(tài)、面部表情的關(guān)系;曹曉明等(2019)基于臉部圖像、腦電波數(shù)據(jù)以及學(xué)習(xí)日志等多模態(tài)數(shù)據(jù)集，分析學(xué)生學(xué)習(xí)參與度和活躍度。AI賦能課堂反饋呈現(xiàn)出學(xué)習(xí)過程監(jiān)測(cè)化、認(rèn)知狀態(tài)可視化等趨勢(shì)。但AI的融入并未為課堂教學(xué)帶來深層次、大規(guī)模和結(jié)構(gòu)性的變革(鐘紹春，2020)。AI可提高效率和準(zhǔn)確性，但AI的誤用會(huì)對(duì)學(xué)生產(chǎn)生危害，而當(dāng)危害發(fā)生時(shí)，AI的應(yīng)用風(fēng)險(xiǎn)可能被放大，甚至帶來諸多偏見(Wang，2021)。
2.AI賦能課堂反饋的本體局限與倫理問題
AI為課堂反饋帶來便捷高效的同時(shí)，也沖擊和改變了整個(gè)課堂教學(xué)生態(tài)，并誘發(fā)了一系列倫理問題(吳河江等，2020)。事實(shí)上，AI的課堂應(yīng)用仍處于以深度學(xué)習(xí)為基礎(chǔ)的弱人工智能階段，其算法實(shí)現(xiàn)呈現(xiàn)高效率與過度控制的“雙刃劍”效應(yīng)，彰顯出AI技術(shù)自身的局限性(莫宏偉，2018)。
一方面，面部與行為識(shí)別雖能采集并分析出個(gè)體的內(nèi)在情緒狀態(tài)，但其依賴攝像追蹤和語料采集所獲得的數(shù)據(jù)常常過于碎片化和缺乏規(guī)律性，無法有效進(jìn)行數(shù)據(jù)融合和兼容計(jì)算(李新等，2019)。
另一方面，教育過程的復(fù)雜性和教育數(shù)據(jù)的非結(jié)構(gòu)性決定了教師教學(xué)過程和學(xué)生學(xué)習(xí)過程的數(shù)據(jù)不可能得到完整記錄，一些和教學(xué)行為高度關(guān)聯(lián)的數(shù)據(jù)常因難以數(shù)字化而缺失(趙佳麗等，2020);此外，數(shù)據(jù)挖掘獲得的個(gè)體行為和情緒數(shù)據(jù)，也不一定能準(zhǔn)確解釋深層次的學(xué)習(xí)發(fā)生機(jī)制(顧小清等，2016)。不少研究也指出了AI技術(shù)應(yīng)用于課堂反饋可能引發(fā)倫理風(fēng)險(xiǎn)。首先，面部表情與內(nèi)在情緒有著復(fù)雜而非一一對(duì)應(yīng)的關(guān)聯(lián)(黃麗鳳等，2010)，簡(jiǎn)單應(yīng)用數(shù)據(jù)表征學(xué)習(xí)者情緒有量化、標(biāo)簽化教育主體的嫌疑(蘇明等，2019)。
其次，判定行為、面部表情與個(gè)體內(nèi)在情感之間的關(guān)系，需要采集海量數(shù)據(jù)，嚴(yán)重威脅教育主體隱私安全(Berendtetal.，2020)。再次，過度的行為與面部表情識(shí)別易將課堂文化引向控制和規(guī)訓(xùn)(安濤，2020)。最后，對(duì)學(xué)生的內(nèi)心情緒進(jìn)行制度化地窺探與導(dǎo)引，學(xué)生將被迫進(jìn)行學(xué)習(xí)活動(dòng)之外的情感勞動(dòng)(程猛等，2021)。如要為學(xué)習(xí)者搭建促進(jìn)其學(xué)習(xí)的智能化學(xué)習(xí)環(huán)境，需重點(diǎn)探析愈來愈普遍的人工智能教育應(yīng)用中的倫理風(fēng)險(xiǎn)，建構(gòu)對(duì)人工智能教育應(yīng)用倫理限度的正確認(rèn)識(shí)(李政濤，2020)。
三、研究設(shè)計(jì)
本研究基于扎根理論，觀察X中學(xué)課堂教學(xué)，并對(duì)X中學(xué)校長(zhǎng)與H公司7名算法工程師分別進(jìn)行5輪與1輪的深度訪談，對(duì)11位教師與20名學(xué)生進(jìn)行2輪焦點(diǎn)小組訪談，之后依托三級(jí)編碼分析數(shù)據(jù)并構(gòu)建解釋模型，探究X中學(xué)課堂反饋AI系統(tǒng)應(yīng)用誘發(fā)倫理問題的深層次原因。編碼分為三個(gè)步驟：
第一步，通過開放式編碼將歷時(shí)一年的課堂觀察資料、系統(tǒng)日志、訪談資料進(jìn)行逐條分析、歸類與概念生成;第二步，通過主軸編碼將導(dǎo)致倫理問題的概念類屬建立聯(lián)結(jié)，生成主要類屬;第三步，通過選擇編碼對(duì)主要類屬進(jìn)行整合與精煉，得出核心類屬，并解釋主要類屬之間的關(guān)系。收集的資料涉及兩方面主題：
一是系統(tǒng)研發(fā)愿景及與結(jié)果匹配的情況，包括分析系統(tǒng)的正向激勵(lì)作用，對(duì)教師、學(xué)生和家長(zhǎng)之間有效溝通的強(qiáng)化作用等。二是算法實(shí)現(xiàn)的辦法，包括學(xué)生專注度、參與度判定算法模型的設(shè)計(jì)思路，分析算法與學(xué)生心理安全感、師生關(guān)系、情感激勵(lì)之間的關(guān)系。研究者對(duì)收集到的資料進(jìn)行整理，最終得到7萬余字的訪談?dòng)涗?隨機(jī)選擇2/3的訪談?dòng)涗涍M(jìn)行編碼分析和模型構(gòu)建，剩余1/3的訪談?dòng)涗浟糇骼碚擄柡投葯z驗(yàn)。
四、資料分析
1.數(shù)據(jù)編碼與分析(1)開放式編碼經(jīng)過多次反復(fù)閱讀和比較，最終形成9個(gè)初始概念類屬：算法黑箱、算法歧視、數(shù)據(jù)濫用、隱私侵犯、數(shù)據(jù)失信、教育自主權(quán)讓渡、學(xué)習(xí)自主性喪失、情感勞動(dòng)、情感遮蔽。(2)主軸編碼在開放式編碼基礎(chǔ)上挖掘概念類屬之間的關(guān)系邏輯，最終形成4個(gè)主類屬：算法陷阱、權(quán)利失范、關(guān)系失衡、情感異化。(3)選擇性編碼通過系統(tǒng)分析，確定“課堂反饋AI系統(tǒng)的倫理困境”這一核心類屬，圍繞核心類屬的“故事線”可以概括為：算法陷阱是課堂反饋AI系統(tǒng)倫理困境的內(nèi)驅(qū)動(dòng)因，它直接誘致了權(quán)力失范、關(guān)系失衡、情感異化三個(gè)外發(fā)風(fēng)險(xiǎn)，權(quán)力失范、關(guān)系失衡、情感異化也間接導(dǎo)致算法陷阱，其關(guān)系結(jié)構(gòu)如表3所示。此外，權(quán)利失范、關(guān)系失衡以及情感異化之間也存在間接的影響作用，形成了外緣閉環(huán)。以此“故事線”為基礎(chǔ)，本研究構(gòu)建了課堂反饋AI系統(tǒng)應(yīng)用倫理困境的“內(nèi)因—外緣”解釋模型。
2.理論飽和度檢驗(yàn)
利用預(yù)留的1/3的訪談?dòng)涗涍M(jìn)行理論飽和度檢驗(yàn)，未出現(xiàn)新的重要類屬和關(guān)系屬性;四個(gè)主類屬內(nèi)部也沒有發(fā)現(xiàn)新的構(gòu)成因子。由此可判斷，上述“內(nèi)因—外緣”解釋模型在理論上是飽和的。
五、“內(nèi)因—外緣”解釋模型闡釋
用“內(nèi)因—外緣”的解釋模型可以有效解釋X中學(xué)課堂反饋AI系統(tǒng)應(yīng)用的倫理困境。算法陷阱是造成數(shù)據(jù)權(quán)利失范、師生關(guān)系失衡以及情感異化等外發(fā)性倫理風(fēng)險(xiǎn)的內(nèi)生性動(dòng)因。數(shù)據(jù)的權(quán)利失范、師生的關(guān)系失衡與情感異化會(huì)加速課堂反饋AI系統(tǒng)的應(yīng)用跌入算法歧視與算法黑箱的技術(shù)主義窠臼，形成惡性循環(huán)。
1.內(nèi)因：算法陷阱的形成機(jī)制算法是AI賦能課堂反饋的實(shí)質(zhì)內(nèi)核，算法規(guī)則是決定反饋是否有效的關(guān)鍵。H公司設(shè)定算法規(guī)則的初衷是監(jiān)測(cè)學(xué)生的課堂行為表現(xiàn)，為教師及時(shí)干預(yù)提供參考。技術(shù)人員ET-1和ET-3作為算法研制者，其認(rèn)為X中學(xué)課堂反饋AI系統(tǒng)的算法實(shí)現(xiàn)是有依據(jù)的：模型從大量的學(xué)習(xí)者行為與面部表情數(shù)據(jù)中進(jìn)行機(jī)器學(xué)習(xí)生成7種情緒(恐懼、快樂、厭惡、悲傷、驚訝、憤怒和中性)、6種行為(讀、寫、聽、站、舉手、趴在桌子上)等特征指標(biāo)，并賦予這些指標(biāo)詳細(xì)的定義。
算法研制者根據(jù)指標(biāo)定義對(duì)其進(jìn)行加權(quán)處理，閱讀等正向行為則加分，趴桌子等負(fù)向行為則減分。已有研究證實(shí)，個(gè)體的肌體信號(hào)是與心理壓力相聯(lián)系的，特別是個(gè)體的情緒狀態(tài)(韓穎等，2018)。X中學(xué)課堂反饋AI系統(tǒng)設(shè)計(jì)理念源自于此，主要通過面部肌肉振幅、肢體動(dòng)作來判定學(xué)生的專注度與活躍度。但課堂行為與專注度、活躍度之間的因果關(guān)系是否成立呢?
(1)算法黑箱
從課堂觀察情況來看，系統(tǒng)給出的結(jié)果與教師的判斷往往存在很大分歧。有些學(xué)生只是“偶爾走神”，有些學(xué)生習(xí)慣于“東張西望”，系統(tǒng)的記錄均指向“低專注度”。但事實(shí)上這些學(xué)生的課堂專注度較高，成績(jī)也優(yōu)秀。為解釋這一偏差，深入分析H公司的技術(shù)文檔發(fā)現(xiàn)：系統(tǒng)數(shù)據(jù)采集機(jī)制存在問題，偏向性的數(shù)據(jù)采集可能導(dǎo)致算法歧視風(fēng)險(xiǎn)。系統(tǒng)將教室分為6個(gè)區(qū)域通過攝像機(jī)進(jìn)行輪回掃描，40分鐘的課程平均掃描到每個(gè)學(xué)生的時(shí)長(zhǎng)大概5分鐘。
教育的整體性與數(shù)據(jù)的節(jié)點(diǎn)性存在不可調(diào)和的矛盾，僅用5分鐘碎片化數(shù)據(jù)來判斷學(xué)生的課堂學(xué)習(xí)狀態(tài)是不準(zhǔn)確的。加之采集數(shù)據(jù)類型太過單一，與教育的復(fù)雜性本質(zhì)相悖。教師ST-7、ST-8和ST-9明確指出規(guī)則存在漏洞，忽略具體情境的簡(jiǎn)易表征并不能夠完全反映學(xué)生真實(shí)的學(xué)習(xí)狀態(tài)，同一個(gè)學(xué)生的同一種行為在教師的不同教學(xué)情境中所表示的意義也是不同的。簡(jiǎn)單的7種情緒和6種行為難以表征課堂教學(xué)活動(dòng)的復(fù)雜性，也難以得到有效證明與保障(Boddington，2020)。并且算法的技術(shù)專業(yè)性、單向性以及隱蔽性等特征導(dǎo)致教師難以理解算法輸出的結(jié)果，加劇了“算法黑箱”效應(yīng)，盲目依賴預(yù)測(cè)性、引導(dǎo)性的算法決策會(huì)給教育系統(tǒng)帶來巨大的危害(張愛軍，2021)。
(2)算法歧視
X中學(xué)教師認(rèn)為該系統(tǒng)能夠有效提升低專注度學(xué)生的課堂學(xué)習(xí)專注度。H公司據(jù)此改進(jìn)系統(tǒng)，重點(diǎn)關(guān)注學(xué)習(xí)成績(jī)差且課堂專注度不高的學(xué)生。但當(dāng)這部分學(xué)生意識(shí)到他們成為系統(tǒng)的重點(diǎn)監(jiān)控對(duì)象后，表達(dá)了強(qiáng)烈的不滿，加劇了算法歧視風(fēng)險(xiǎn)。加之，算法規(guī)則來源于算法研制者的主觀判斷與選擇，難以避免嵌入某種偏向。譬如：低頭、眼睛朝向課桌或書本可能是在“閱讀”，亦有可能是“走神”;頭部貼著課桌或課桌上的書有可能是“趴桌子”，亦有可能是“回顧知識(shí)點(diǎn)”。算法研制者的行為判斷偏向會(huì)在算法的推斷與應(yīng)用過程中不斷增強(qiáng)，并最終“植入”學(xué)習(xí)者的意向和行為動(dòng)機(jī)，從而固化或改變其行為選擇(程猛等，2021)。
2.外緣：算法陷阱的主要危害
算法通過對(duì)課堂教學(xué)行為數(shù)據(jù)的分析與應(yīng)用，催生了新的課堂反饋形態(tài)，并以更創(chuàng)新、更高效的課堂反饋模式取代傳統(tǒng)的課堂反饋模式。但算法規(guī)則的不透明和偏向性引發(fā)的算法黑箱與算法歧視會(huì)伴隨其應(yīng)用疆界的不斷拓展而蔓延至課堂反饋全過程，衍生出數(shù)據(jù)失信、數(shù)據(jù)濫用和隱私侵犯等現(xiàn)象。
數(shù)據(jù)權(quán)利失范所導(dǎo)致的工具理性對(duì)價(jià)值理性的不斷僭越，進(jìn)一步造成了教師教育自主權(quán)讓渡以及學(xué)生學(xué)習(xí)自主性喪失，帶來師生關(guān)系失衡的風(fēng)險(xiǎn)。隨著師生關(guān)系異化，正常的情感交流不斷被壓制和邊緣化，進(jìn)而導(dǎo)致情感失衡，引發(fā)了過度情感勞動(dòng)與情感遮蔽的風(fēng)險(xiǎn)。師生進(jìn)行作偽、作秀式的“課堂表演”，進(jìn)一步加劇了數(shù)據(jù)失信，形成“權(quán)利失范—關(guān)系失衡—情感異化”的閉環(huán)回路。此外緣閉環(huán)具有顯著的疊加效應(yīng)，作用于“黑箱”與“歧視”的算法陷阱內(nèi)因，會(huì)加劇AI支持課堂反饋的倫理風(fēng)險(xiǎn)。
(1)權(quán)利失范
算法陷阱引發(fā)了數(shù)據(jù)權(quán)利失范。首先，算法并非中立，其暗含了主導(dǎo)者的意識(shí)偏向，致使在進(jìn)行數(shù)據(jù)采集時(shí)收束了教育主體的選擇權(quán)。教育管理者、教師有權(quán)決定何種信息被采集，何種信息禁止采集，而作為數(shù)據(jù)主體的學(xué)生卻無權(quán)選擇。例如教師和學(xué)生均對(duì)數(shù)據(jù)的采集、存儲(chǔ)、處理以及使用過程中的安全性產(chǎn)生質(zhì)疑，H公司技術(shù)人員ET-3也透露“數(shù)據(jù)的傳輸與存儲(chǔ)缺乏保護(hù)機(jī)制”，由此引發(fā)了教師的抵觸情緒，因教師的抵觸攝像機(jī)便只采集學(xué)生數(shù)據(jù)。教師應(yīng)用“權(quán)利”確保了教師自身數(shù)據(jù)不被采集和分析，這本身就是一種權(quán)利失范。而教師行為透露出該系統(tǒng)可能存在數(shù)據(jù)濫用與隱私泄露的風(fēng)險(xiǎn)，不可避免地讓學(xué)生產(chǎn)生憂慮。其次，算法的不透明性忽視了教育主體的知情權(quán)。
課堂行為評(píng)價(jià)算法是一個(gè)未知的“黑箱”，師生作為數(shù)據(jù)主體無法知悉算法的運(yùn)行機(jī)制，利用不可解釋的課堂行為評(píng)價(jià)算法，對(duì)海量教育數(shù)據(jù)進(jìn)行分析，其最終生成的結(jié)果是否合理，是否有利于學(xué)生成長(zhǎng)發(fā)展，亦存在爭(zhēng)議。最后，深度學(xué)習(xí)機(jī)制具有不確定性，對(duì)學(xué)生信息的挖掘不能完全為其設(shè)計(jì)者所主導(dǎo)，對(duì)數(shù)據(jù)進(jìn)行廣泛而深入地解讀，可能形成意料之外的數(shù)據(jù)鏈，挖掘出個(gè)體敏感信息，嚴(yán)重威脅師生的隱私安全。SS-17在被系統(tǒng)認(rèn)定為“左顧右盼”后，被同伴取笑，認(rèn)為他是對(duì)后座異性同學(xué)“有意思”。
(2)關(guān)系失衡算法陷阱誘發(fā)了師生關(guān)系失衡。X中學(xué)為助力學(xué)生學(xué)習(xí)引入AI，卻忽視了課堂教學(xué)的本質(zhì)是師生交流互動(dòng)的過程。AI的強(qiáng)勢(shì)介入，在課堂反饋中扮演“監(jiān)控者”的角色，必然會(huì)導(dǎo)致師生關(guān)系的解構(gòu)與重構(gòu)。于教師而言，“算法黑箱”可能導(dǎo)致盲目的技術(shù)崇拜，進(jìn)而消解教師對(duì)教學(xué)的熱情與創(chuàng)造性(孫艷秋，2018)。有教師表示課堂反饋AI系統(tǒng)一定程度上可以起到督促學(xué)生的作用，尤其是幫助低專注度的學(xué)生提高注意力，將其從點(diǎn)名、維持課堂秩序中解放出來，從而提高課堂效率。
但是系統(tǒng)的常態(tài)化使用，可能使教師愈加依賴系統(tǒng)的監(jiān)控與決策，喪失獨(dú)立思考和判斷的能力。于學(xué)生而言，借助人臉識(shí)別、情感分析等技術(shù)手段發(fā)現(xiàn)、計(jì)算和糾正微小的不當(dāng)行為的算法機(jī)制，其本質(zhì)是對(duì)學(xué)習(xí)者實(shí)施心靈的“全景敞視”，可能導(dǎo)致學(xué)生個(gè)性異化與學(xué)習(xí)專注力喪失(張家軍等，2021)。
學(xué)生時(shí)時(shí)刻刻被無形的監(jiān)管者記錄和分析，身體與情緒被置于被注視和被計(jì)算的狀態(tài)，其安全感、信任感得不到滿足，容易引發(fā)“寒蟬效應(yīng)”，將課堂文化導(dǎo)向逼仄、壓抑，學(xué)生喪失學(xué)習(xí)的主動(dòng)性與專注力。學(xué)生SS-7就表示“我不喜歡被監(jiān)控，這讓我不自在。這個(gè)系統(tǒng)有可能有效，但我沒辦法按我的步調(diào)去安排學(xué)習(xí)進(jìn)度，我可能反而學(xué)不好了。”AI賦能課堂反饋的過度監(jiān)控忽視了師生內(nèi)部的自主性與自我控制力，抑制了教師的創(chuàng)造性，導(dǎo)致教師教育自主權(quán)讓渡與學(xué)生學(xué)習(xí)自主性喪失。
(3)情感異化算法陷阱致使師生情感發(fā)生異化。于學(xué)生而言，AI技術(shù)通過攝像頭持續(xù)采集學(xué)生人臉特征、行動(dòng)軌跡、個(gè)人偏好等數(shù)據(jù)，實(shí)現(xiàn)對(duì)學(xué)生認(rèn)知、情緒和行為習(xí)慣的全方位、實(shí)時(shí)關(guān)注，使得學(xué)生如同身處“全景敞視監(jiān)獄”中(米歇爾·福柯，1999)。它無形之中規(guī)訓(xùn)學(xué)生的身體，抑制其真實(shí)情緒的表達(dá)，進(jìn)而導(dǎo)致其情感的內(nèi)在體驗(yàn)和外部表達(dá)失調(diào)(程猛等，2020)。
學(xué)生甚至被迫進(jìn)行智識(shí)活動(dòng)之外的情緒整飾，進(jìn)行頻繁、高強(qiáng)度的情感勞動(dòng)，甚至養(yǎng)成“表演性人格”(馮銳等，2020)。迪特爾·察普夫指出過度情感勞動(dòng)可能導(dǎo)致情感枯竭和個(gè)性喪失(Zapf，2002)。于教師而言，在監(jiān)控之下開展教學(xué)，其難免會(huì)出現(xiàn)迎合的心態(tài)，無法完全敞開心靈進(jìn)行自主發(fā)揮。由此課堂教學(xué)蛻變成“前臺(tái)”表演，所有外顯的情緒、行為都具有了強(qiáng)烈的工具性價(jià)值，師生都將通過作偽、作秀的表演做出符合既定算法機(jī)制的情緒和行為表達(dá)，如此便可獲得系統(tǒng)“過程性”與“真實(shí)性”的評(píng)價(jià)。
長(zhǎng)此以往，教育生態(tài)會(huì)被嚴(yán)重破壞。教師SS-11對(duì)系統(tǒng)常態(tài)化使用表達(dá)了深切的憂慮：“這個(gè)系統(tǒng)如果長(zhǎng)期使用，老師會(huì)用來給學(xué)生施加壓力，學(xué)校會(huì)用來給老師施加壓力，建議千萬不要常規(guī)化。”此外，攝像頭對(duì)師生反復(fù)、無限度地“注視”，將師生對(duì)象化，遮蔽了其作為教育主體的完整性和時(shí)空感，學(xué)生言行被去情境化呈現(xiàn)，使其陷入被誤解與錯(cuò)判的風(fēng)險(xiǎn)(郝東方，2015)。如此則招致師生正常的情感交流被邊緣化，學(xué)生心理安全、自尊以及自我實(shí)現(xiàn)等需要被忽視。
六、倫理困境的化解策略
1.彰顯算法價(jià)值理性，遵循教育的人性邏輯
AI在改進(jìn)課堂反饋層面顯示出巨大的潛力，但同時(shí)也帶來了不可避免的挑戰(zhàn)。如果出現(xiàn)錯(cuò)誤的價(jià)值引導(dǎo)，這些挑戰(zhàn)可能就會(huì)轉(zhuǎn)化為教育技術(shù)創(chuàng)新應(yīng)用的巨大阻力(Dawsonetal.，2018)。重視AI課堂應(yīng)用的價(jià)值引導(dǎo)，須從以下兩個(gè)方面著手。
一是規(guī)避算法黑箱風(fēng)險(xiǎn)。技術(shù)參與課堂反饋的過程，使教師不必在學(xué)生學(xué)習(xí)行為發(fā)生的所有場(chǎng)合都出席，卻能對(duì)學(xué)生每一個(gè)階段的學(xué)習(xí)行為了如指掌，這將有助于教師采取更為合適的教學(xué)干預(yù)措施(Holroyde，1971)。但AI在課堂反饋中的應(yīng)用應(yīng)遵循賦能教師而非異化教師的原則。該原則的關(guān)鍵在于提升算法透明度。盡可能地向師生公開算法程序和算法運(yùn)行的全過程，用可視化的簡(jiǎn)單指標(biāo)解釋技術(shù)和模型狀態(tài);及時(shí)向師生公開數(shù)據(jù)信息收集的范圍和系統(tǒng)運(yùn)行的可能結(jié)果，使得師生對(duì)自己的數(shù)據(jù)隱私和身份標(biāo)簽有較為清晰的了解。教師應(yīng)強(qiáng)化與學(xué)生的常態(tài)化互動(dòng)，利用系統(tǒng)輸出結(jié)果輔助判定學(xué)生狀態(tài)，合理采取相應(yīng)教學(xué)改進(jìn)措施。
二是避免算法歧視風(fēng)險(xiǎn)。在某種技術(shù)的設(shè)計(jì)與教育應(yīng)用中充分考慮學(xué)生的主動(dòng)性與發(fā)展性方為該技術(shù)最好的教育應(yīng)用(李政濤，2006)。因此在數(shù)據(jù)采集、算法設(shè)計(jì)和決策制定的全過程中，應(yīng)將學(xué)生的主動(dòng)性和發(fā)展性作為落腳點(diǎn)，并通過立法規(guī)范算法技術(shù)，明確篩選數(shù)據(jù)的標(biāo)準(zhǔn)化制度，建立算法透明性和可解釋性的審查機(jī)制，完善算法問責(zé)機(jī)制，以完善的法律法規(guī)對(duì)抗算法歧視。
2.制定數(shù)據(jù)倫理規(guī)約，確保師生隱私安全
數(shù)據(jù)是AI賦能課堂反饋的基礎(chǔ)。但對(duì)教育數(shù)據(jù)的濫用與過度解讀會(huì)威脅教育主體的隱私安全，甚至?xí)拗茖W(xué)生長(zhǎng)遠(yuǎn)發(fā)展。因此，可從價(jià)值定位與數(shù)據(jù)確權(quán)兩個(gè)方面為教育數(shù)據(jù)安全提供內(nèi)生規(guī)約與外在保障，以確保數(shù)據(jù)主體的隱私安全。
明確教育數(shù)據(jù)的價(jià)值定位可為教育數(shù)據(jù)安全提供內(nèi)生規(guī)約。教育數(shù)據(jù)的本體限度決定了其應(yīng)用價(jià)值在于“洞察”而非預(yù)測(cè)(茍學(xué)珍，2021)，即洞察師生的交流互動(dòng)，助力因材施教與個(gè)性化學(xué)習(xí)，而非考核教師業(yè)務(wù)能力、預(yù)測(cè)學(xué)生未來發(fā)展。并且在對(duì)教育數(shù)據(jù)進(jìn)行收集、分析以及存儲(chǔ)過程中應(yīng)以有用無害為價(jià)值追求;在數(shù)據(jù)被分析、解釋與挖掘過程中應(yīng)將隱私保護(hù)作為數(shù)據(jù)規(guī)則來保護(hù)教育主體的隱私安全。
在明確教育數(shù)據(jù)價(jià)值定位的基礎(chǔ)上進(jìn)行數(shù)據(jù)確權(quán)是根治教育數(shù)據(jù)濫用的關(guān)鍵。數(shù)據(jù)確權(quán)即制定相應(yīng)數(shù)據(jù)采集與使用制度，保障數(shù)據(jù)主體的隱私權(quán)、知情權(quán)與遺忘權(quán)。例如，對(duì)數(shù)據(jù)采集、存儲(chǔ)、訪問、提取等方面做出明確規(guī)定，盡量避免采集個(gè)人敏感信息;數(shù)據(jù)傳輸與存儲(chǔ)過程中進(jìn)行加密處理，對(duì)敏感信息進(jìn)行智能清洗，防止隱私意外泄露;數(shù)據(jù)使用過程中保證數(shù)據(jù)主體的知情權(quán)，并對(duì)相關(guān)信息進(jìn)行有效保護(hù)，不得隨意泄露甚至買賣他人數(shù)據(jù);定期刪除服務(wù)器上師生的個(gè)人數(shù)據(jù)，保障數(shù)據(jù)主體的“被遺忘權(quán)”，避免數(shù)據(jù)濫用持續(xù)性存在。
3.建立雙向平等關(guān)系，強(qiáng)化人機(jī)協(xié)作效用
人工智能的強(qiáng)勢(shì)介入，嚴(yán)重沖擊了課堂教學(xué)中師生關(guān)系的平衡，引發(fā)了教師教育自主權(quán)讓渡與學(xué)生學(xué)習(xí)自主性喪失。因此，調(diào)和AI帶來的負(fù)作用，防止技術(shù)對(duì)教育主體的僭越，就需要形成AI與教育主體相互制約的交互關(guān)系，強(qiáng)化人工智能與人腦智能的有效協(xié)作，充分發(fā)揮師生的主觀能動(dòng)性與技術(shù)的輔助作用，建立雙向平等的關(guān)系，形成“師—AI—生”的人機(jī)協(xié)作共同體。
維貝克認(rèn)為，技術(shù)意向性對(duì)于人的道德主體性具有建構(gòu)作用(李日容等，2018)。因此，要建立師生與AI之間雙向平等的關(guān)系，其基本前提是教育管理者與教師要理性認(rèn)識(shí)課堂反饋AI系統(tǒng)的工作機(jī)理及其有效賦能的條件與限度，避免技術(shù)崇拜與技術(shù)依賴造成的教育主體性缺失。具體舉措包括：建立具有明確道德觀、價(jià)值觀指引的倫理框架，增強(qiáng)教育主體對(duì)技術(shù)倫理的自我感知，同時(shí)對(duì)其已經(jīng)或可能產(chǎn)生的價(jià)值迷失、行為失范等進(jìn)行澄清和引導(dǎo)。
強(qiáng)化人機(jī)有效協(xié)作就要求算法設(shè)計(jì)者把握AI智能性與師生自主性二者間的平衡，使之既能充分利用教育人工智能高效、全面、精確的特性進(jìn)行數(shù)據(jù)采集、分析與可視化呈現(xiàn)，又能充分發(fā)揮教師“靈魂工程師”的角色，以人腦智慧完成最優(yōu)決策，以獨(dú)具特色的知識(shí)經(jīng)驗(yàn)為學(xué)習(xí)者學(xué)習(xí)外部知識(shí)及價(jià)值觀等提供美好的學(xué)習(xí)體驗(yàn)，豐富師生的情感與思想交流，助力學(xué)生價(jià)值觀的建構(gòu)，消弭技術(shù)對(duì)師生互動(dòng)產(chǎn)生的負(fù)面影響。
4.揭示情感變化規(guī)律，發(fā)展積極情感關(guān)系
情緒識(shí)別與情感計(jì)算在豐富課堂反饋通路的同時(shí)，也帶來了情感遮蔽與情感勞動(dòng)的負(fù)面影響。目前，情緒狀態(tài)的智能感知研究大多停留在去時(shí)空化的基于文本、語音、視頻或生理信息的單模態(tài)識(shí)別模型層面，難以還原學(xué)生真實(shí)狀態(tài)，進(jìn)而形成情感遮蔽(王一巖等，2021)。提高情感計(jì)算的還原率有助于增強(qiáng)教師對(duì)學(xué)生認(rèn)知情緒狀態(tài)的理解，強(qiáng)化課堂反饋的有效性。具體舉措包括三點(diǎn)：
一是注重情感數(shù)據(jù)的多元整合性，將人臉識(shí)別、語音識(shí)別和自然語言處理等技術(shù)相融合，綜合不同模態(tài)的情感數(shù)據(jù)來提高情感識(shí)別的準(zhǔn)確度，綜合衡量學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。二是注重情感發(fā)生依存性，利用智能感知技術(shù)對(duì)真實(shí)的教學(xué)情境進(jìn)行全方位、多層次的精準(zhǔn)刻畫，探究教師教學(xué)風(fēng)格、課堂氛圍等教學(xué)要素對(duì)學(xué)習(xí)者情感狀態(tài)的影響機(jī)制。
三是注重情感狀態(tài)的時(shí)序變化，利用時(shí)序性數(shù)據(jù)，構(gòu)建基于時(shí)間序列的動(dòng)態(tài)分析模型，以便更精準(zhǔn)地還原學(xué)生當(dāng)下情緒狀態(tài)，揭示其情感變化規(guī)律。課堂教學(xué)的本質(zhì)是師生互動(dòng)。人工智能作為課堂監(jiān)控異化了師生間的互動(dòng)。因而，采用輕量化的人工智能設(shè)備，弱化其監(jiān)控屬性，有助于調(diào)和師生正常的互動(dòng)交流。同時(shí)，教師應(yīng)加強(qiáng)對(duì)學(xué)生的情感關(guān)懷，及時(shí)進(jìn)行情感干預(yù)，消弭人工智能對(duì)師生情感互動(dòng)產(chǎn)生的負(fù)面影響，發(fā)展積極的情感關(guān)系。
參考文獻(xiàn)：
[1][法]米歇爾·福柯(1999).規(guī)訓(xùn)與懲罰[M].劉北成,楊遠(yuǎn)嬰.北京:生活·讀書·新知三聯(lián)書店:241-242.
[2]安濤(2020).“算計(jì)”與“解蔽”:人工智能教育應(yīng)用的本質(zhì)與價(jià)值批判[J].現(xiàn)代遠(yuǎn)程教育研究,32(6):9-15.
[3]曹曉明,張永和,潘萌等(2019).人工智能視域下的學(xué)習(xí)參與度識(shí)別方法研究——基于一項(xiàng)多模態(tài)數(shù)據(jù)融合的深度學(xué)習(xí)實(shí)驗(yàn)分析[J].遠(yuǎn)程教育雜志,37(1):32-44.
[4]程猛,宋文玉,陽科峰(2020).人臉識(shí)別技術(shù)的課堂應(yīng)用:一種批判性反思[J].基礎(chǔ)教育,17(5):47-53.
[5]程猛,陽科峰,宋文玉(2021).“精準(zhǔn)識(shí)別”的悖論及其意外后果——人臉情緒識(shí)別技術(shù)應(yīng)用于大學(xué)課堂的冷思考[J].重慶高教研究,9(6):78-86.
[6]馮銳,孫佳晶,孫發(fā)勤(2020).人工智能在教育應(yīng)用中的倫理風(fēng)險(xiǎn)與理性抉擇[J].遠(yuǎn)程教育雜志,38(3):47-54.
[7]茍學(xué)珍(2021).智能時(shí)代教育數(shù)據(jù)安全的倫理規(guī)約簡(jiǎn)論[J].電化教育研究,42(9):35-40.
[8]顧小清,胡藝齡(2020).理解、設(shè)計(jì)和服務(wù)學(xué)習(xí):學(xué)習(xí)分析技術(shù)的回顧與前瞻[J].開放教育研究,26(2):40-42.
[9]顧小清,舒杭(2016).信息技術(shù)的作用發(fā)生了嗎——用學(xué)習(xí)分析技術(shù)刻畫學(xué)習(xí)行為印記[J].現(xiàn)代遠(yuǎn)程教育研究,(5):10-19
作者：羅江華王琳劉璐
轉(zhuǎn)載請(qǐng)注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/29849.html
