相关阅读
期刊动态| 《外语教学》2018年总目录
期刊动态|《外语教学》2019年第1期目录
多核并行架构：多模态研究的范式、路径及领域问题之辨
摘要：根据库恩关于科学范式的定义，多模态研究可以视为一个类似于计算机科学中“多核并行架构”、综合多种路径的整合性研究范式。多模态概念可归结为三个：1)将其视为感官及相应的神经系统；2)将其视为在社会文化中形成的创造意义的符号资源；3)将其定义为人机交互中的信息呈现方式。多模态研究的路径及领域包括：1)符号学属性的研究；2)语料库语言学研究；3)神经科学、人机交互与学习科学中的研究。目前，多模态研究范式下的不同路径被应用至多个领域，正向探索人类多模态互动的脑机制、行为规律等基础性研究以及多模态应用性研发两个方向不断拓展。
关键词： 多模态；基本概念；整合范式；路径方法；多核并行
文献出处：2019年第1期《外语教学》，第21-25页
作者简介：黄立鹤，博士、同济大学副教授、硕导。研究方向：多模态、语用学、老龄化与语言蚀失研究。张德禄，同济大学特聘教授、博导。研究方向：系统功能语言学、文体学、话语分析、符号学、多模态话语分析等。
语言学通讯推荐书目
1. 引言
多模态研究跨越了人文社会科学与自然科学、工程技术等多个领域，成为前沿课题。但目前国内鲜有学者对多模态研究的基本概念、研究范式、不同路径及涉及领域进行整体图景式的解析，部分研究对多模态的理解存在误区。本文从“模态”定义入手，提出了多模态研究是一个类似于计算机科学中“多核并行架构”、综合多种路径并具有多个领域的整合性研究范式，其能够为语言学研究带来新的变革。
2. “模态”与“多模态”的定义
“多模态”的定义主要存在以下三个角度：
2.1 将“模态”视为感官及其相应的神经系统
现代脑科学研究喜用“模态”一词通指感官及其相应的神经系统(Kolb & Whishaw 2005:135)，西方现代神经医学和胚胎学对多模态感官系统的研究取得了诸多重要成果。从该视角出发，“模态”被定义为人类通过感官系统(如视觉、听觉、触觉等)跟外部环境(如人、机器、物件、动物等)之间的互动方式。身心健康的人在正常情况下与外部世界(包括人际之间)的互动是多模态(至少是双模态)的。
2.2 将“模态”视为符号资源
此处的“模态”定义从符号学出发，是指“在社会文化中形成的创造意义的符号资源”(Kress 2010:79)，即信息传递的不同形式、方式或渠道，如声音、图像、颜色、动作等，语言只是其中一种形式。这种意义呈现方式被称为多模态。对混合使用这些符号资源的话语进行系统分析，称为多模态话语分析(顾曰国 2015:1)。
2.3 将“模态”视为信息呈现方式
此处的“模态”被定义为一种信息呈现方式(Bernsen 2008:7)。所谓多模态人机交互，就是人们使用多种感官模态，通过多种物理媒介，与计算机等机器进行多渠道、多形式的信息交互。多模态人机交互系统一般分为三个主要模块：多通道信息获取、信息分析与融合、多通道信息输出(陶建华等2011:30)。
3. 多模态作为一个整合性研究范式
虽然上述各种“模态”定义不同，但笔者认为：
无论是将“多模态”视为多种符号资源，还是将其定义为人机交互中的信息呈现方式，其根本是依靠脑的多模态功能(顾曰国 2013:3)，即语言的发生与发展、人类与外界的交际互动都需要多模态感官系统的支撑，人类的意义构建、传递及理解行为在本质上是由大脑的多模态协同机制支撑的。从生理学上说，大脑中的杏仁核细胞具有多模态工作特性，它们可以对一种以上的感官模态发出反应，
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/49917.html