英语教师在线教学多模态课堂话语研究
——以广州电视课堂为例
文 | 翁素贤 杨善 饶芊芊 黄嘉敏
多模态话语（Multimodal Discourse）是指运用听、视、触等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。ELAN（EUDISTIC Linguistic Annotator）是一种对视频和音频数据的标识进行创建、编辑、可视化和搜索的标注工具。当前，使用ELAN软件对英语课堂教学进行多模态分析主要聚焦在大学课堂，对中小学英语教学尤其是在线教学的多模态话语研究相对较少。
2020年上半年，广州市教育局针对疫情防控期间在线教学组织的“广州电视课堂”包括小学到高中共11个年级的在线课程，由全市优秀教师主讲，吸引了来自全国31个省（自治区、直辖市）共8.57亿人次观看，是录播式在线教学的经典范例。本文运用ELAN软件对部分广州电视课堂视频进行多模态话语标注分析，结合访谈内容总结在线教学多模态课堂话语技巧，以期为中小学英语在线教学提供参考。
一、研究设计
图片
2020年上半年广州电视课堂播出后，《广州日报》、新花城等媒体统计了各播放平台的视频收看率和回放率，每日、周、月实时发布“最受欢迎课程”和“人气教师”排行榜。为使研究课例更具示范性，综合参考各排行榜，本文选择了排名较前的11个视频。所选视频平均时长约20分钟，涵盖小学一年级到高二年级共11个，课型包括阅读、听说、语法、词汇等。除标注分析教学视频外，还从中随机抽取6位参与录制的教师代表进行半结构式访谈，其中小学、初中、高中各两位。通过此研究，本文拟解决以下两个问题：一是在线教学英语教师多模态课堂话语整体上有什么特征？二是不同学段的在线教学英语教师多模态课堂话语有何异同？
（一）框架构建
本文参考王磊、李明芯、宁建花等做法，借鉴张德禄的多模态话语媒体系统，结合电视课堂授课特点，构建了电视课堂多模态话语分析框架（如图1）。
图片
图1 在线教学多模态话语分析框架
电视课堂多模态话语分析框架包括PPT、 语言和非语言三大板块：PPT包括听觉模态（音频）和视觉模态（视频、图表、图像、语言文字）；语言包括伴语言和口头语言；非语言包括手势、表情、头部和目光四类。
胡壮麟把PPT分为听觉和视觉两种模态，听觉模态主要为音频，视觉模态包括插入PPT的图文、图表、视频等。张德禄将非语言板块分为非身体的和身体的，非身体的包括环境和工具，身体的包括动作（移动）、比拟、肢体和面容。由于电视课堂环境布局相对稳定，工具有限，教师移动较少，因此本文将环境、动作（移动）和比拟删除，工具仅关注教具。面容主要包括目光和表情，电视课堂教师的目光仅包括转向屏幕和转向镜头，由于剪辑后播出的课堂视频不能完全体现真实使用情况，故不做进一步分析，仅关注表情。通过视频分析发现，教师的表情主要有微笑、严肃、平静、疑惑和皱眉五种，将其纳入分析框架。肢体方面受限于拍摄景别，仅着重分析手势。语言板块中，由于电视课堂教学没有提供板书，所以删去伴语言的“字体”和纯语言的“文字”。
需要注意的是，Norris将手势分为拟物、暗喻、指示和节奏四类：拟物手势模拟具体事物或动作，暗喻手势表示较抽象的概念或事物，指示手势指向某个方向，节奏手势表示节奏。观察发现，教师并不局限于使用单一手势，而是根据需要协同使用多种手势组合，因此增加拟物+暗喻、 指示+节奏、 指示+暗喻、暗喻+节奏四种组合。
（二）研究工具
1.视频分析法
本文通过ELAN 5.9标注和统计所选11个视频中教师话语模态的类型、调用次数和时长，了解电视课堂上教师话语模态使用的整体特征（如图2）。按照构建好的分析框架在ELAN导入所选视频分别定义层级，播放定位后，点击鼠标并拖动可确定标注范围。标注完成后， 点击“标注统计”即可导出标注数据进行统计分析。
图片
图2 ELAN软件标注模式界面
2.访谈法
本文通过腾讯会议对随机抽选的6位教师分别进行半结构化访谈，转写并整理数据，了解受访教师录制电视课堂的相关经验和建议。访谈问题包括：①对于多模态话语的概念理解，即教师是否了解多模态课堂话语；②录制电视课堂使用多模态话语的情况，即提前做了什么准备以及倾向使用哪些模态；③录制电视课堂的教学反思，即哪些模态的使用提升了教学效果，哪些模态的使用存在困难或限制；④对其他教师参与录制电视课堂的相关建议。
二、研究结果与讨论
图片
（一）在线教学多模态话语特征
多模态课堂话语特征通过模态类型、使用频次及占比体现。视频分析发现，电视课堂教师话语整体以PPT（93.32%）为主要模态，包括多种视听模态符号资源；语言板块（85.15%）使用的次数也较多，包括教师口头语言（85.15%）和伴语言模态（2.59%）；非语言板块使用时长占比达40.82%，部分小学教师为增强课堂效果加入了教具。即电视课堂教师话语中，PPT和语言板块起主导作用，非语言板块主要做补充和强化。
1. PPT板块特征
电视课堂没有黑白板，因此PPT作为主要呈现载体，比线下课堂承担更多角色功能，整合使用视、听等多种模态贯穿课堂。不少受访教师指出，由于电视课堂缺乏互动和板书，只能尽可能有效使用PPT模态，更好地引导学生理解和掌握知识。对比数据发现（见表1），语言文字（71.65%）和图像（58.12%）是电视课堂PPT中使用比例最高的视觉模态，文字模态数据在线下和电视课堂上基本一致。但在电视课堂上，几乎所有文字都被进行了视觉强化加工，比线下课堂的PPT文本重点更加分明。图表（6.83%）常在梳理课文脉络、总结课堂内容等时辅助图文使用。视频作为PPT中典型的视听觉结合模态在电视课堂上被积极使用，使用占比为7.24%。这是因为电视课堂的及时反馈较为欠缺，视频可增强课堂生动性，激发学生学习兴趣，且能使抽象的知识直观、形象，帮助学生理解和掌握。
表1 PPT模态板块标注数据
图片
音频可用于课文朗读、听力训练、背景音乐等，使用占比为5.51%。这是因为电视课堂教学氛围相对不足，音频能提供语言学习的声音环境，丰富教学内容和形式，有效增强教学氛围。受访教师表示，PPT中的音视频为特定教学服务，可组合使用以实现简单互动的目标，创设较真实的语境。
2. 语言板块特征
作为电视课堂知识讲解的主要媒介，教师口头语言（86.41%）是使用时长最大的单一模态，这与宁建花“以语言模态为主，口头语言达65%以上”的结论吻合，张德禄等也表示教师话语应占整个话语量的60%~80%。部分受访教师指出，电视课堂以视频形式播出，需要提升学生的注意力，因此教师的口头讲解极为重要。而且，由于受众较多，要求严谨，教师要严格控制使用过多的本土化用语和口头禅等。
大部分受访教师表示，教师的音量变化（0.66%）情况与线下课堂差别不大，音调变化（0.28%）则较宁建花对线下大学课堂的分析数据（13.79%）有所减少，不够丰富多元。与线下课堂相比，电视课堂只包含教师话语，缺少学生话语和师生、生生互动话语，这可能是音调相对变化不够丰富的原因。另外，电视课堂的学生受众地域更广，为兼顾不同地区学生水平，教师大多选择比线下课堂稍慢的语速授课。伴语言在电视课堂上占比不大（2.59%），却具有独特作用：音量大小、音调升降、语速快慢等可补充或强化口头语言的表达效果。
3.非语言板块特征
表情（31.54%）使用比例最高，其次是手势（21.37%）、目光（19.82%）、头部（4.24%）。
电视课堂上，教师多次调动微笑表情（14.23%/149次），是因为电视课堂欠缺互动，教师难与学生建立亲近关系，更需要亲切活泼的表情。另外，部分教师使用严肃（14.53%，4位）或平静（2.61%，1位）作为表情基调，这可能是因为电视课堂属于正式的官方授课渠道，受录制环境等影响。同时，皱眉等消极情绪的表情是对学生语言产出或其他课堂行为的一种情感反馈，同样可使学生保持学习动力，所以疑惑（0.16%）、皱眉（0.01%）等会在特定教学情境为实现特定教学目的，作为辅助表情低频短时出现。
单一手势中，教师对指示手势（9.23%）使用比例最高，主要用于强化教学重点，如手部配合口头语言指向重点词句位置；节奏手势（4.25%）可调整教学节奏，调动课堂氛围，如手臂上下摆动表明句子的停顿和抑扬；暗喻手势占比3.23%，如小学五年级教师通过模拟驾驶动作指引学生联想相应交通工具；拟物手势（0.99%）最少。教师在电视课堂上无法通过实时观察学生反应来评估教学效果，因此在进行课堂预设时必须通过模态的使用，尽可能保证教学效果最大化。因此，指示手势、节奏手势在电视课堂的使用比例明显高于其他手势，暗喻和拟物手势的调用比例更小，这可能与电视课堂的录制环境有关，在线教学缺乏了解学生反应的途径。
灵活运用手势语，以各种不同形态的手势描述事物的复杂状态，可以取得良好的教学效果。实际教学中衍生的手势组合主要包括：指示+节奏（3.31%）、指示+暗喻（0.18%）、暗喻+节奏（0.04%）、拟物+暗喻（0.13%）。指示+节奏组合的使用比例明显高于其他组合（见表2）。
表2 手势标注数据
图片
头部动作调用受教学风格、教学内容等影响较大，不同课例的使用情况有所差异，其中点头（2.42%）最为常见。教具使用主要集中在小学学段。除课本（0.10%）、卡片（0.22%）、笔记本（0.07%）和笔（0.02%）等常规教具外，有的教师还借助布偶（6.71%）等模拟学生角色。这对于缺乏互动的电视课堂来说很好地促进了课堂互动。
（二）不同学段教师的多模态话语特征
通过分析比较各学段数据，我们发现在各学段中，PPT和教师的口头语言是课堂的主模态，但不同学段的多模态话语特征也体现出一些差异（见表3）。
表3 不同学段模态标注数据
图片
可以看出，小学教师的伴语言（小学96次、初中24次、高中19次）和手势（小学409次、初中243次、高中84次）更丰富多变，教具的使用比例（小学13.54%、初中和高中都是0）也较大；中学教师的语言文字（小学56%、初中82.27%、高中99.04%）和图表（小学4.42%、初中3.01%、高中19.22%）使用比例更大，但图像(小学75.78%、初中58%、高中9.4%)和音频（小学3.96%、初中12.04%、高中0）、视频（小学10.21%、初中1.33%、高中0）使用比例较小。
语言教学与学生的思维特点密切关联，因此教师会以思维带动语言技能的学习和使用，针对不同年龄阶段学生思维方式的差异设计话语模态。小学生以形象思维为主，教师一般更重视学生学习兴趣的激发，因此通常采用图画、故事等方式教学，模态选择更加注重具体性和趣味性。受访教师称，低学段教师往往更频繁地变换音量、语速、音调等，来创造更佳的语言环境，营造课堂氛围，增加课堂吸引力，激发学生学习积极性。中学生的抽象思维相对小学生有所发展，加之在中学，特别是高中学段，学生的升学考试压力开始增加，教师一般更加重视知识的积累，会选用概括性更高的文字、图表等模态，对图像和音视频等的使用有所减少。
（三）受访教师对在线教学多模态话语的认知情况
在概念认知方面，四位受访教师表示对多模态课堂话语概念或多或少有所了解；另外两位教师开始表示完全不了解概念，经简单介绍后能很快联系教学实际。进一步访谈发现，教师在多模态话语方面都有较丰富的使用经验和实践反思，如访谈中频繁提及的语言、非语言、PPT等概念都与课堂话语模态相关。可见教师话语多模态化已成课堂常态，只是他们不熟悉多模态相关术语而已。
关于录制电视课堂的教学反思，受访教师表示电视课堂上有助于提升教学效果的模态包括“语言+PPT”“语言+非语言”“PPT+非语言”以及“语言+非语言+PPT”组合，说明一种或一种以上的主模态与其他模态组合能达到较为理想的教学效果，使用受限的模态包括板书、语言和非语言模态。此外，音视频资源选用受限和课堂互动不足被多次提及，这是电视课堂教学中存在的主要困难。这说明与线下课堂相比，电视课堂确实存在模态选择和互动性受限等问题，与ELAN分析结果基本吻合。此外，布置课后作业评讲答疑、电视课堂与校内科任教师互补配合等，可作为促进电视课堂效果的措施。
在多模态话语使用建议方面，受访教师就在线教学的具体模态设计提出一些建议。在语言模态方面，强调要提前做好准备，包括写稿和演练，语速要照顾学生大体能听懂、精准清晰；非语言模态方面，可通过模仿播音员，做到自然自信，并借助PPT、丰富的肢体语言传达课堂指令；PPT模态方面，字体要让学生看清，尽量放大，有条理，体现教学步骤，给学生清楚的指引。
三、结论与建议
图片
（一）结论
首先，模态调用以PPT和口头语言为主，非语言模态被大量使用，伴语言模态和教具则起辅助课堂的作用。其中，PPT的主模态功能得到充分发挥，通过重点词句与视听符号资源的结合呈现，较好地弥补了没有黑白板的不足，但无法完全替代。口头语言的使用比例高达85%，但因为学生范围扩大且场合更加正式，对语言的规范性和准确性要求更高。非语言模态如手势、表情等被高频使用，以实现对主模态的补充和强化，具有丰富多变的特点。部分低学段教师对伴语言变化和教具的灵活调用也能达到创设互动课堂环境、丰富课堂氛围的教学效果。
其次，主要存在模态选择、互动性和课堂灵活性三方面的限制。版权问题对资源开发共享有所限制，录制条件和课程性质使许多构建互动意义的模态类型（如开放式站姿、扫视全班或个人等）难以使用，都会导致模态选择受限。同时，电视不具备交互功能、教与学时空分离、课程时间短等课程特质，使由电视频道播出的课程难以实现如思考、讨论及反馈等教学活动。即使网络播放平台支持随时点播暂停、留言区隔空交流等功能，一定程度实现了师生和生生的跨时空互动，但据受访教师反映，相较于线下课堂，电视课堂仍无法及时获得学生反馈，话语互动意义构建受限较大。即时互动的欠缺又使课堂话语必须提前预设，授课时模态很难发生转换和随机生成，所以灵活性受限较大。
此外，为适应学生概括和推理逻辑能力伴随学段增长逐步提高、思维方式由具象趋于抽象逻辑的认知特点，培养学生高阶思维能力，不同学段教师对模态的选用有所不同，呈现具象化向抽象化、生动性向逻辑性过渡的整体特征。具体体现在：相对具象和生动的图像、拟物及暗喻等手势和音视频模态组合等的使用随学段增长而递减，概括性的文字、思维可视化工具等的使用随学段增长而递增。
（二）建议
第一，设计在线教学多模态话语时，可以通过以下方式促进话语多模态化。首先，优化模态组合，充分发挥主模态的导向作用及其他模态的协同强化作用。主模态PPT应结合各视听觉符号资源呈现知识，力求图文并茂、重点分明、脉络清晰。语言设计和运用应综合考虑受众等因素，除关注话语准确性、严谨性、规范性外，还要根据教学内容和情境适当借助伴语言强化表达效果。教师还应充分发挥非语言模态的协同作用，结合目光、表情等创建真实情境，有效传达指令，增强课堂生动性。其次，灵活调用模态资源，创设课堂交互环境或设置交互任务，弥补教学时空分隔的不足。如玩偶可模拟学生的课堂参与，增强课堂交互感；镜头的拉远和拉近可改变师生的空间距离。教育技术的改良对突破录制条件及资源限制也非常重要。最后，通过课前预估、课后多元化评价和知识补充讲解，尽量弥补灵活性受限及教学预设的不足，如借班级学习群、播放平台留言区等获取学生回馈。总之，应在课程开发和媒体技术的推进配合下，进一步优化多模态课堂话语设计。
第二，模态的选择要符合学生的年龄特征。应考虑学生学段特点，适当结合认知发展理论设计话语模态。如低学段教师的表情应更加丰富多变，图表等可视化工具可多在高年段使用。
本文通过使用ELAN标注软件对广州电视课堂的优秀课例进行视频分析，发现在线教学英语教师多模态话语的特征，并通过访谈部分参与录制的一线教师总结相关在线教学经验。随着在线教学的普遍化，相信类似广州电视课堂这样在新冠肺炎疫情防控期间深受师生欢迎的在线教学方式，也能逐渐成为线下课堂的补充教学资源。由于本文主要分析录播式在线教学视频，未涉及其他形式在线教学，今后可使用ELAN软件继续探究其他在线教学形式中的多模态话语。
注：本文系广东省高等教育教学研究和改革项目“新师范背景下‘问题驱动 – 产出导向’的实践创新型卓越英语教师培养探索”、广东省教育科学“十三五”规划 2019 年度高校哲学社会科学专项“基于多元读写理论的教师教育混合式课程实施路径研究——以 UMU 互动平台为例”（课题编号：2019GXJK177）、广州市哲学社会科学发展“十三五”规划 2020年度共建课题“基于多元读写理论的师范生混合式教学探究社区模型构建研究”（课题编号：2020GZGJ193）、广州市高等学校第九批教育教学改革研究项目“基于PDS理念的师范生实习支教‘双导师制’创新模式构建研究”（课题编号：2017F32）的阶段性研究成果。
（作者翁素贤系广州大学外国语学院讲师，英语师范教研室主任；杨善、饶芊芊、黄嘉敏均系广州大学外国语学院本科生）
