隨著教育信息化快速發(fā)展，在線學(xué)習(xí)已成為大學(xué)生獲取知識的重要途徑之一。然而，與傳統(tǒng)面對面教學(xué)方式相比，在線學(xué)習(xí)環(huán)境中師生互動(dòng)減少，大學(xué)生情感狀態(tài)難以被及時(shí)感知，間接影響學(xué)生學(xué)習(xí)效果及教學(xué)質(zhì)量。情感分析技術(shù)在精準(zhǔn)掌握和理解學(xué)習(xí)者心理狀態(tài)、情感表達(dá)、行為轉(zhuǎn)化等方面發(fā)揮著無可替代的作用，將其應(yīng)用于大學(xué)生在線學(xué)習(xí)領(lǐng)域會(huì)對當(dāng)前的大學(xué)生在線學(xué)習(xí)困境產(chǎn)生意想不到的改善效果。在此背景下，如何構(gòu)建大學(xué)生在線學(xué)習(xí)情感分析模型成為高校解決的命題之一，多模態(tài)數(shù)據(jù)融合技術(shù)能夠?yàn)榻鉀Q這一問題提供新的思路和方向，為大學(xué)生在線學(xué)習(xí)構(gòu)建更加智慧、包容的環(huán)境和氛圍，為高等教育高質(zhì)量發(fā)展注入新動(dòng)能。
采集數(shù)據(jù)，構(gòu)建情感分析模型基礎(chǔ)。高?？梢酝ㄟ^采集文本、語音、視頻三個(gè)維度的數(shù)據(jù)，全面捕捉學(xué)生的情感變化，確保數(shù)據(jù)來源的多樣性和代表性。采集文本數(shù)據(jù)，文本數(shù)據(jù)是反映大學(xué)生在線學(xué)習(xí)情感的重要來源之一，各高校可以采集大學(xué)生在在線學(xué)習(xí)平臺上發(fā)表的課程評論、論壇交流和即時(shí)通訊記錄等文字內(nèi)容，利用爬蟲技術(shù)過濾掉無效文本，對有用數(shù)據(jù)進(jìn)行結(jié)構(gòu)化整理，同時(shí)精準(zhǔn)記錄每條文本數(shù)據(jù)的采集時(shí)間，便于后續(xù)與其他模態(tài)數(shù)據(jù)對齊。采集語音數(shù)據(jù)，語音數(shù)據(jù)作為一種重要的模態(tài)數(shù)據(jù)，在大學(xué)生在線學(xué)習(xí)情感分析中扮演著關(guān)鍵角色。利用麥克風(fēng)或頭戴式耳機(jī)等智能設(shè)備錄制學(xué)生在線學(xué)習(xí)過程語音，同時(shí)借助相關(guān)技術(shù)確保錄音環(huán)境的噪聲干擾最小化，以便精準(zhǔn)捕捉學(xué)生的語調(diào)、音強(qiáng)、語速等聲學(xué)特征，進(jìn)而分析學(xué)生在特定時(shí)間段的情感狀態(tài)。采集視頻數(shù)據(jù)，視頻數(shù)據(jù)能夠提供關(guān)于大學(xué)生在線學(xué)習(xí)過程中的面部表情、身體姿態(tài)以及眼神動(dòng)態(tài)等多維度信息，為情感分析提供豐富的視覺線索。在在線教育場景中，通過智能攝像頭設(shè)備實(shí)時(shí)捕捉學(xué)生情感變化的外在表現(xiàn)，作為多模態(tài)數(shù)據(jù)中的視頻數(shù)據(jù)資料，同時(shí)兼顧技術(shù)實(shí)現(xiàn)與倫理規(guī)范，明確視頻的采集獲得用戶的知情同意，并對涉及個(gè)人隱私的部分進(jìn)行匿名化處理。
處理數(shù)據(jù)，是提升情感分析模型性能的關(guān)鍵環(huán)節(jié)，高校需要針對不同模態(tài)數(shù)據(jù)的屬性和特點(diǎn)對其開展針對性的清洗、標(biāo)注工作。清洗數(shù)據(jù)，數(shù)據(jù)清洗是實(shí)現(xiàn)多模態(tài)數(shù)據(jù)融合不可或缺的一步，其主要目的是去除噪聲數(shù)據(jù)、重復(fù)數(shù)據(jù)和無意義數(shù)據(jù)，有效提高數(shù)據(jù)的質(zhì)量和可用性。具體而言，對于文本數(shù)據(jù)，清洗過程包括去除無效回復(fù)、標(biāo)點(diǎn)符號及明顯存在格式錯(cuò)誤的內(nèi)容；對于語音數(shù)據(jù)，需要通過信號處理技術(shù)去除數(shù)據(jù)中的背景噪聲和環(huán)境干擾；對于視頻數(shù)據(jù)，則需要進(jìn)行幀率調(diào)整、圖像增強(qiáng)和剔除異常幀的清洗操作。此外，為顯著提升模型的訓(xùn)練效率和預(yù)測準(zhǔn)確性，還需要關(guān)注各模態(tài)數(shù)據(jù)之間的一致性，為后續(xù)多模態(tài)融合分析提供便利。標(biāo)注數(shù)據(jù)，數(shù)據(jù)標(biāo)注是將采集的多模態(tài)數(shù)據(jù)轉(zhuǎn)化為可用于模型訓(xùn)練形式的關(guān)鍵步驟。在這一過程中，高校應(yīng)當(dāng)邀請領(lǐng)域?qū)I(yè)人士對清洗后的數(shù)據(jù)進(jìn)行或高興、或驚奇、或生氣、或困惑等類別的情感標(biāo)注，以確保標(biāo)注結(jié)果的準(zhǔn)確性和專業(yè)性。此外，借助深度學(xué)習(xí)技術(shù)，將半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)等方法應(yīng)用于數(shù)據(jù)標(biāo)注工作，以此來減少人工標(biāo)注成本，同時(shí)為模型訓(xùn)練提供更高質(zhì)量的數(shù)據(jù)基礎(chǔ)。
構(gòu)建模型，核心在于設(shè)計(jì)有效的多模態(tài)融合機(jī)制。多模態(tài)數(shù)據(jù)融合下大學(xué)生在線學(xué)習(xí)情感分析模型的整體架構(gòu)可以分為特征提取模塊、融合模塊和情感分析模塊三大主要模塊，各模塊通過雙向信息流實(shí)現(xiàn)高效協(xié)同工作，確保模型的整體性能達(dá)到最優(yōu)。特征提取模塊，對于文本模態(tài)，可以選用雙向門控循環(huán)單元模型進(jìn)行特征提取工作，以便捕捉上下文之間的依賴關(guān)系，此外如果不考慮成本問題，可選用雙向編碼器表示模型理解文本中的復(fù)雜語義；對于語音模態(tài)，則可以采用1D卷積神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行聲學(xué)特征提取工作；對于視頻模態(tài)，可使用3D卷積網(wǎng)絡(luò)進(jìn)行特征提取工作，進(jìn)而處理連續(xù)幀的面部表情變化。融合模塊，采用分層交互融合策略，通過注意力機(jī)制將不同模態(tài)的特征進(jìn)行深度融合，以此來增強(qiáng)后續(xù)情感識別工作的精準(zhǔn)性。情感識別模塊，利用全連接層結(jié)構(gòu)對融合后的數(shù)據(jù)特征進(jìn)行分類，并輸出學(xué)生的情感狀態(tài)概率分布狀況，進(jìn)而對大學(xué)生的在線學(xué)習(xí)做出較為科學(xué)、全面、精準(zhǔn)地情感分析。
本文系2024年湖南省職業(yè)院校教育教學(xué)改革研究項(xiàng)目“基于多模態(tài)數(shù)據(jù)融合的學(xué)習(xí)情感計(jì)算及應(yīng)用研究”（編號：ZJGB20245
27）。
（作者單位：湖南開放大學(xué)）