多模态视角下二语语用道歉行为研究

裴晓宇 杨连瑞 闫海娟 

中国海洋大学外国语学院 

摘要：二语语用能力是二语学习者在社会环境中进行恰当交流的能力,而交流则涉及不同模态的相互作用。在道歉言语行为研究中引入多模态分析,是以新的研究范式重新审视语用学经典研究课题,可拓宽其研究视角并更加清晰地揭示语言以及其他模态在话语意义构建过程中所扮演的角色。本研究采用多模态互动分析方法,通过角色扮演任务对两名中国英语学习者与两名津巴布韦英语学习者在面对面互动交流中的道歉行为表现进行多模态分析,并绘制雷达图直观展现两组参与者的手势、头部动作、凝视、面部表情、姿势与口语六种不同模态资源的模态密度异同情况。研究发现,四名参与者在交际互动过程中凝视模态强度较高,口语模态并不完全占据所有道歉序列结构的中心地位。中国英语学习者与津巴布韦英语学习者各模态强度分别在解释策略与转移话题策略中达到最高值,表明他们对不同道歉策略的重视。相比之下中国英语学习者模态复杂度略低,表明他们未进行较复杂的行动,但仍协同使用言语与非言语模态共建会话。

主题词：二语语用; 道歉行为; 模态密度; 模态强度; 模态复杂度; 

文献来源： 裴晓宇,杨连瑞,闫海娟.多模态视角下二语语用道歉行为研究[J].外语教学,2020,41(4):12-17.    

作者简介：裴晓宇,中国海洋大学外国语学院硕士研究生,研究方向:第二语言习得。; 杨连瑞,中国海洋大学外国语学院教授,博士生导师,研究方向:应用语言学、第二语言习得。; 闫海娟,中国海洋大学外国语学院讲师,博士研究生,研究方向:二语习得、系统功能语言学。

基金：国家社科基金重点项目“中国英语学习者二语语用能力发展研究”(项目编号:17AYY023); 山东省社会科学规划研究项目“多模态视角下中国学生英语二语道歉行为发展研究”(项目编号:19CWZJ53)的阶段性研究成果; 

01

引言

多模态也称多符号,指用来构建意义的各种符号资源。Jewitt (2009) 区分了多模态研究的三个视角:社会符号学分析、系统功能语法分析和社会互动分析。其中,系统功能语法分析下的多模态话语分析研究成果较为丰富(O’Halloran 1999;Kress & Leeuwen 2001;朱永生2007;张德禄2009; 丁肇芬、张德禄2018)。然而鲜有涉及多模态与二语语用学相结合的研究。诸多过往语用学的研究焦点多为语言本体,侧重对语言使用的解释。而多模态研究解释不同的符号模式如何共建特定的交际行为,超越了语用学的语言层面 ( Beltrán-Palanques2016a)。

道歉言语行为是社会互动与公共话语中最常见的言语行为之一(Drewet al.2016),其相关研究多聚焦于语言层面下不同文化背景的道歉者在道歉策略选择上存在的差异。基于此,本研究尝试将多模态应用到语用学研究中,以期为语用学研究提供一个新的视角。

02

多模态在语用学领域研究现状

语用能力是交际能力模型的组成部分。Crysta(2008)对语用能力的概念做出界定,认为语用能力包括说话者与听者两方面。因此,对于语用学的探讨需从会话的视角进行研究。语用学大多分析说话者在交际互动过程中特定语境下话语所表达的意义,互动者如何适应彼此来构建及协商语用理解,以及如何共同解决交际无能的问题。这使得语用学研究陷入单模态的狭窄视域中。学者们目前对扩展语用学的应用,涵盖交际中的非语言方面表现出兴趣,这并非出人意料(Dicerto 2018)。在面对面互动中,参与者可以使用各种各样的符号资源,包括如言语行为、话轮转换等口语互动特征,即以语言为中心的资源,还包括手势、面部表情等语言外资源(Beltrán-Planques & Querol-Julian 2018)。多模态应用于语用学研究不仅是可能的,也是必要的。

Dicerto(2018)指出将语用学应用于多模态意味着需面对理论框架的选择问题。他认为Grice的合作原则及准则似乎非常适合于分析以话语形式出现的刺激。此外,在研究方法的探索上, Mubenga (2009) 以韩礼德的系统功能语法及符号学理论为基础提出了多模态语用分析方法,包括功能、符号和认知三个基本组成部分以及每个组成部分的三个分析层次,即概念、人际和语篇。Streeck(2013) 通过研究商店真实环境中交际互动时的身体状态,探讨了一个严密的、观察性的互动分析方法。另外,会话分析方法也是学者们采用的常用方法之一(Ivanova 2013;Li 2014)。国内学者陈新仁、钱永红 (2011) 通过借鉴系统功能语言学理论框架构建了适用于语用学分析的多模态语用分析框架,探讨了在语用学分析中应用多模态分析法的必要性及可行性。特定的言语行为被视为交流的最小单位(Searle 1969)。部分学者则拓展了言语行为研究的视野,从多模态视角对更具体的言语行为展开研究。Kendon (1995) 以自然环境下的会话视频为语料分析了现场即席话语中四种常用的手势作为语力标记的意义,并认为他们可以确切地指示不同的言语行为。Drew & Couper-Kuhlen(2014) 探讨了在自然环境中请求言语行为的多模态资源情况。国内学者黄立鹤(2015) 致力于探讨多模态语料库方法对于言语行为研究的作用,为从韵律特征、体貌动作等多个维度研究言语行为提供了可能。

在二语语用学中,Houck & Gass (1999) 对于拒绝言语行为的产出以及互动中非语言因素的探讨是一项开创性的研究。Beltrán-Palanques (2016b) 从副语言及身势语资源两方面探讨了不同水平英语学习者的抱怨以及对抱怨的反应,以探索如何从各种符号学模式中执行和构 建序列。Beltrán-Palanques & Querol-Julian (2018) 分析了以英语作为一门附加语言的两组不同水平的学习者在抱怨序列上的表现,表明口语只是学习者在互动过程中使用的资源之一,并不普遍存在于所有抱怨的结构序列中。展示了多模态方法为二语语用学研究所提供的启示,并证实了在分析这一言语行为中把语言模式置于中心地位将导致对跨语言语用能力的偏见理解。总结来看,多模态与二语语用学领域的结合是可能的,多模态的引入可以为二语语用学研究提供更多可能性。语言不能仅局限于语言符号结构,对语言的全面描述应包含处于不断发展的互动背景下丰富的多模态资源。因此本文将通过一项微型研究初步探索多模态的引入,采用多模态互动分析方法探讨不同社会文化背景下的英语学习者在道歉及受歉互动过程中的模态密度异同,以期为语用学研究提供更多证据。

03

研究设计

3.1 研究问题

本研究主要回答以下问题:1)中国英语学习者与津巴布韦英语学习者在道歉及受歉互动中所使用的最重要模态是什么?其模态强度有何差异?2)中国英语学习者与津巴布韦英语学习者在道歉及受歉互动中所使用各模态交织程度如何?他们如何整合使用不同模态资源共建会话?

3.2 研究方法

多模态互动分析是多模态研究的重要方法之一,它关注活动者如何使用语言、手势、凝视等模态资源调解特定语境下的互动。多模态互动分析的重点之一是共同展现社会活动的多种模态的形式特征及其关系。模态密度作为模态形式特征的重要组成部分,其分析可以清晰地展现交际者在交际互动中所使用的模态数量及其权重。本文尝试将多模态互动分析方法应用于语用学研究中,探讨不同社会文化背景下的参与者所整合使用的不同模态资源的模态密度情况。

3.3 参与者与任务

本研究选取大学二年级两名中国英语学习者及两名津巴布韦英语学习者(两组学习者于实验开始前通过CEFR测试评定同为C1等级),四人均为女生。为尽量控制实验变量,两组参与者需在现实生活中有本研究所选情境中相似的真实关系、相同的学位、相似的年龄以及相同的性别。以往语言学相关研究较少选取津巴布韦英语学习者作为被试,他们与中国英语学习者有着不同的社会文化背景与意识形态,在交际的传统、形式、人的思维模式及生活习惯方面都存在一定差异,以便我们分析不同社会文化背景下的英语学习者在道歉行为中所使用模态异同情况。

两组学习者在模拟情境下针对特定话题展开对话,完成角色扮演任务。道歉情境选自秦朗(2015)所设定的模拟日常生活情景并稍作修改。设定话题为A与B是朋友关系,A为学校某社团负责人,B前往另一社团面试,两人约定面试前A为B提供面试建议,但A最终未履行约定,随后向B道歉。任务开始前两组参与者进行热身角色扮演,以熟悉角色扮演任务类型和交际对象,使其能在后面的任务中表现得更加自然、真实。另外,参与者在感到尽量自然的环境中开展对话,无时间限制,并使用尽可能多的话轮达到交际目的。任务结束时,我们立即对参与者进行了回顾性口头采访。参与者提到在实验中录像设备对其影响较小,并且在真实情境下也会做出类似表现。这对实验真实性提供了一定保障。

3.4 研究设计

本文从参与者的手势、头部动作、凝视、面部表情、姿势与口语六种不同模态方面分析其整合使用情况。口语是最受关注的一种模态,其相关研究在过去30年获得长足发展。因此,本文最先关注口语模态。根据Blum-Kulka et al.(1989) 的分类,致歉时所用的言语由中心行为语与辅助行为语构成。其中,中心行为语是实现道歉的最小语言单位。辅助行为语是一种间接的道歉言语行为,由一系列辅助策略构成。根据Olshtain & Cohen (1983)对于道歉策略的分类,本研究发现两名道歉者都采用了解释与补偿策略。此外,他们还使用了转移道歉话题策略来减轻责任。 

本研究使用ELAN软件,该软件可以通过对视频文件进行转录、多层级同步标注及时间测量来分析说话人的话语内容、面部表情、手的动作等。本研究注释了中心行为语、辅助行为语中的解释策略、补偿策略以及转移话题策略四个步骤。模态密度通过模态强度及模态复杂度体现。模态强度指一种模态在互动过程中的重要性或权重,通过指示参与者在互动中选择每种模式的时间(秒)来测量。任意一种模态均可成为高强度模态 (张德禄、王正2016)。“模态承载的强度或重量越大,模态密度越高” (Norris 2004:79)。在本文中。模态强度表现为从图表中心开始到外环结束的单独轴绘制的每个资源的值所表示的每种模态的持续时长。模态复杂度是“‘社会行动者’构建行为时所使用的模态数量,模态数量越多,模态复杂性就越强” ( 管乐2017:86)。“多种模态交织 程度越复 杂, 模态密度 越高” ( Norris 2004:79)。在本文中,模态密度体现为雷达图中每个模态在移动过程中使用的时间(秒)的交点所形成的面积。

04

结果与讨论

本研究将利用雷达图直观展现四名参与者在道歉及受歉过程中的模态密度情况。为方便统计,中国英语学习者的道歉者及受歉者分别为C1、C2,津巴布韦两名英语学习者为Z1、Z2。本研究对两组参与者的姿势、手势、头部动作、凝视、面部表情以及口语六种不同模态进行了标注,并对时间进行了测量。

4.1 中心行为语

如图1所示,在道歉过程中C1与Z1显示相同的模态复杂度,两者均使用五种模态(口语、手势、面部表情、头部动作、以及凝视)用于表达道歉意义。然而Z1所使用模态构成区域面积较大,因此Z1在使用某种模态过程中的强度稍大。通过图表可知Z1的五种模态强度均高于C1,且两者手势模态差异最大。在道歉时,C1的口语为重要模态,而Z1为凝视模态,并伴随更多手势动作使用。在凝视方向上,有趣的是C1与Z1都倾向于在话语开始时看向远处,随后注视受歉者直至话轮结束。

如图2所示,在接受道歉时,C2与Z2的模态密度显示出较大差异。C2仅使用三种模态构建互动,而Z2使用较丰富的模态资源(手势、面部表情、头部动作、凝视以及口语)。两者在模态强度方面差异较大,Z2在受歉过程中除姿势未发生改变外,其他模态强度均高于C2。C2在接受道歉时凝视为最重要模态,展现出积极的倾听状态。Z2在受歉时使用较多手势模态表示不满。

4.2 解释策略

辅助行为语是一种间接的道歉言语行为,其作用是辅助中心行为语以实现道歉行为。两组参与者在道歉后都紧随解释策略,明确说明原因以减轻冒犯程度。

如图3所示,在对威胁面子的行为做出解释时,C1比Z1显示出更高的模态密度。C1具有更高的模态复杂度,六种模态全部用来表达话语意义,而在交谈过程中Z1的姿势未发生改变。从模态强度看,除手势外C1所使用的其他五种模态强度均高于Z1。C1具有较高强度的凝视模态,为最重要模态,这同时是C1与Z1在模态强度上差异最大的模态。在解释原因过程中,C1于话语开始时看向周围环境,随后转变凝视方向注视受歉者。而Z1手势模态最为重要,用于辅助解释原因。

如图4所示,与道歉者相同,C2比Z2显示出更高的模态密度。两名受歉者在此阶段全部使用六种模态与道歉者进行互动。C2使用的各模态强度均高于Z2。此外,凝视模态均为C2、Z2的最重要模态,展现出对道歉者的倾听与高度配合。

4.3 补偿策略

补偿策略即表明提供补偿的意愿。C1与Z1在补偿策略的运用上与解释策略完全相反。如图5所示,Z1的模态密度远高于C1。表现为Z1在表示做出补偿时对六种模态均有不同程度的使用且各模态强度均高于C1。其中,面部表情达到最高强度,表现出更多的吃惊、微笑及大笑的表情。而C1的凝视模态强度最高,在承诺做出补偿时始终注视受歉者。

如图6所示,Z2的模态密度高于C2。首先,C2只使用四种模态构建互动(面部表情、头部动作、凝视及口语),而Z2使用了全部模态。Z2各模态强度同样远高于C2。在道歉者表达补偿意愿后,C2选择了直接接受与表示感谢,而Z2则自愿提出补偿方式。在Z1稍作迟疑后,Z2的各模态强度均有所升高。与解释策略阶段相同,两名受歉者所使用的最重要模态均为凝视模态。

4.4 转移话题策略

如图7所示,在转移话题策略方面,Z1达到了最高的模态密度。表现出Z1更倾向于转移话题策略的运用,而C1则更偏向解释说明原因。两名道歉者在此部分都具有较高的模态复杂度,但模态强度差异较大,表现为C1的各模态强度均低于Z1。

如图8所示,Z2在此部分的模态密度同样达到最高。Z2的各模态强度均高于C2。四名参与者在此部分的凝视模态均为最高强度模态。C2在模态复杂度上略低,其姿势未发生变化,而Z2表现出更多的姿势变换,并使用六种模态更丰富地进行互动。例如,Z1要求Z2下次游玩时一定提前告知,Z2在表达话语“OK,fine!”时,双手摊开,右脚伸出,身体呈打开状态,这通常传递出积极肯定的信息。同时她注视Z1、点头并出现微笑的表情。六种模态协同使用,共同传达其话语意义,即表示肯定的意愿。

4.5 讨论

不同言语行为是语用学研究领域内的核心话题。诸多相关研究主要阐述语言内部因素,并没有真正将其处理为行为理论的一部分(黄立鹤2017)。倘若从传统语用理论方面分析,我们或许无法仅从语言和语境上准确理解说话者的用意。交际者所使用的非言语模态可以在一定程度上支撑对方对于交际行为的理解。如C2对C1的道歉话语进行回复表示没关系时,带有微笑、摇头等有助于互动发展中情感意义的模态与无面部表情和头部动作相比所传达的意义可能并不相同。因此需要把交际者的其他模态信息纳入分析范围。然而,交际者若仅使用除口语外的其他模态,交际目的将无法达成。因此,交际者为满足其交际需要所做出的合理语用努力主要表现为言语模态与非言语模态的协调性配合。

对于模态密度的微观分析包括模态强度及模态复杂度研究。在模态强度上,总体来看中国英语学习者在中心行为语与辅助行为语中所使用的凝视模态强度较高,占较大权重,为47. 6%。津巴布韦英语学习者的凝视模态同为重要模态,占比为29%。Janik et al.(1978)通过实验得出其参与者凝视时间占总交流时长的比重为43. 4%,同样说明凝视的重要性。两名中国英语学习者所使用各模态的强度仅在解释策略中相比两名津巴布韦英语学习者较高,但手势模态除外,手势在Z1解释说明原因中很重要。凝视为C1的最重要模态。虽然在中心行为语中C1的口语模态强度达到最高,但口语模态并不普遍占据所有道歉序列结构的中心地位。

凝视在面对面互动交流中尤为重要。Kendon(1967) 详细讨论了凝视在谈话中的作用并提到听者会更多地注视说话者,听者给予的长时间注视会被说话者简短的目光转移打断,说话者会交替注视信息接收者和距离他们大约相等长度的位置,并在话语结束时看向听者。本研究中四名参与者的凝视分布遵循了Kendon所描述的凝视结构。Leathers & Eaves(2008) 认为凝视具有七种交际功能,分别为:表明关注及感兴趣、建立维持亲密关系、体现话语可信度或劝说、调节、情感、权利以及印象管理功能。参与者的凝视方向在倾听及话语产出过程中大多直指另一方,这具有关注、劝说功能。然而参与者在凝视环境中的构件,如地板、窗户等时并无交际功能,表明其思维及话语组织过程。在凝视这一非言语模态与言语模态的交互关系中,关注及劝说功能体现了凝视对言语模态的强化作用,即凝视在一定程度上协助了言语模态的意义生成(潘鸣威2011)。

中国英语学习者与津巴布韦英语学习者各模态强度分别在解释策略与转移话题策略部分达到最高值,说明其对不同策略应用的重视。两种辅助策略的运用都说明参与者试图修复这种情况来保持和谐的关系,这需要一定的语用能力。中国文化与非洲文化同属高语境文化,其价值取向是集体主义。在发生冲突时多为对方留有面子,主张和谐。C1在冒犯行为发生后致歉并着重解释原因以减轻冒犯程度。Z1进行道歉并重视话题的转移以减轻责任并避免冲突激化。我们认为,津巴布韦作为以英语为官方语言的国家,其交际同样存在特定低语境文化的特点,注重个人主义。例如,在道歉者提出补偿条件后,C2随即选择接受并表示理解,而Z2立刻表示不满并自愿提出补偿方式。其表达较为直接,为维护自身利益尽可能使用较直白的话语表达自身感受。

在模态复杂度方面,与两名津巴布韦英语学习者相比,中国英语学习者整体略低。C2在中心行为语中仅使用了三种模态资源构建互动,而两名津巴布韦英语学习者在各部分互动中分别至少使用了五种模态资源构建话语意义,并在补偿策略及转移话题策略中的模态交织程度最为复杂。两名中国英语学习者仅在解释策略部分中全部使用六种模态资源构建互动,达到最高模态复杂度。尽管两名中国英语学习者模态复杂度较低,但四名参与者所使用的非言语模态均与口语模态紧密连接,协调配合,共同促进道歉及受歉话语意义的表达,推动整体的互动及交际意义的达成。

Houck & Gass(1999) 对于拒绝言语行为的研究、Beltrán-Palanques ( 2016b ) 以及Beltrán-Palanques & Querol-Julian(2018)对于抱怨言语行为的研究都证明了言语行为可以从更广阔的角度来看待,包括互动以及使用不同的符号资源。考虑多种模态信息不仅可以从新的视角更丰富地诠释语用学的相关理论,并且可以更确切地理解说话者在语境下特定话语的意义,因此在语用分析中应用多模态分析法是必要可行的(陈新仁、钱永红2011)。

05

结语

本研究采用多模态互动分析方法对两名中国英语学习者及两名津巴布韦英语学习者在道歉行为中所使用的手势、姿势、面部表情、头部动作、凝视及口语六种不同模态的模态密度异同情况进行了探讨。模态密度对于识别参与者在互动中选择的多重符号资源的差异具有启发意义,包括模态强度及模态复杂度。研究发现,与津巴布韦英语学习者相比,两名中国英语学习者整体的模态复杂度较低,但言语模态与非言语模态仍然协同使用帮助交际者更充分地传达话语意义。在模态强度上,中国英语学习者与津巴布韦英语学习者的各模态强度分别在解释策略与转移话题中达到最高,说明其对不同道歉策略的重视。四名参与者的凝视模态强度普遍较高,为重要模态。参与者在使用凝视这一非言语模态加强话语意义的同时展示出积极倾听的信号,这在面对面互动中是极为重要的。口语只是学习者在互动过程中使用的资源之一。

本研究表明,二语语用学可以从多模态的视角进行研究,综合考察包括语言在内的各种模态在交际中的功能及互动关系。但本研究选取的被试数量过少,且模态资源数量有限,仅作为一项初步探讨。未来相关研究可考虑采用其他研究方法,扩大样本数量并增加其他模态资源以探索二语学习者在交际互动时的多模态资源使用规律,以期提高其语用交际能力

参考文献略，欢迎查阅《外语教学》2020年第4期纸质原文

本文转自 语言学通讯

更多阅读

专著推荐| 《医患互动机制研究：从语言本体到多模态》

关注儿童语言 | 国外自闭症人群多模态话语及智能辅助诊断与干预研究

观点 | 国外自闭症人群多模态话语及智能辅助诊断与干预研究

观点 | 司法话语多模态研究的现状与未来

观点 | 多模态研究：认知语言学的新方法

多模态数据助推人文学科研究：国际数字人文进展研究

语义鸿沟、异构鸿沟、数据缺失，多模态技术如何跨过这些坎？