视觉叙事理论基础

视觉叙事理论基础

当代社会正经历着一场深刻的感官重构。在数字技术与全球化浪潮的双重驱动下，视觉信息以前所未有的密度与速度渗透进人类生活的每一个角落。从城市空间中鳞次栉比的巨型广告牌，到智能终端屏幕上瞬息万变的交互界面，视觉符号已然成为主导当代传播格局的核心媒介形态。法国哲学家让·鲍德里亚（Jean Baudrillard）曾敏锐地指出，我们正生活在一个由拟像（simulacra）构成的世界中，图像不再是对现实的再现，而是逐渐取代现实本身成为人们认知与体验的主要对象。这一判断在今天看来愈发具有先见之明：当一个人每天醒来后首先触碰的是智能手机屏幕，当地铁通勤族的目光被车厢内的数字广告所吸引，当社交媒体上的图像内容取代文字成为信息传播的主要载体时，视觉叙事已然从学术议题转化为一种普遍的社会存在方式。

正是在这一背景下，系统性地研究视觉叙事的理论基础具有重要的学术价值与现实意义。所谓“视觉叙事”（Visual Narration），指的是通过视觉符号系统——包括但不限于图像、字体、色彩、构图等元素——进行意义建构与传达的叙事实践。与传统的以文字为主导的叙事形式不同，视觉叙事将信息编码与意义生成的场所从语言的线性序列转移到空间的并置与组合之中，要求受众调动视觉认知能力而非仅仅是文字解码能力来参与意义的共同建构。这一转变对于传播学、符号学、设计学乃至更广泛的人文社会科学领域都产生了深远的方法论启示。

然而，要深入理解视觉叙事的运作机制，我们不能仅仅停留在对视觉现象的直觉描述层面，而必须将其置于更为宏大的理论语境中加以审视。视觉叙事作为一个跨学科的研究领域，其理论根基深植于符号学与传播学两大传统之中。符号学为理解视觉符号的内部结构与意义生成规律提供了概念工具与分析框架，而传播学则将视觉叙事置于社会交往与文化生产的宏观脉络中考察，揭示其作为意义交换系统的社会功能。本章的核心任务，正是要系统梳理这两大理论传统中的关键概念与核心命题，进而引介多模态话语分析这一整合性的方法论框架，为后续章节对具体视觉传播案例的深入分析奠定认识论与方法论基础。

---

一、视觉叙事的概念界定与学术内涵

1.1 概念的词源追溯与语义演变

“叙事”（narration）一词源自拉丁语narratio，本意是指“讲述”或“叙述”的行为及其结果。在经典修辞学传统中，叙事被视为一种基本的言语行为模式，与描述（descriptio）、论证（argumentatio）、说明（explanatio）等并列，共同构成修辞术的核心组成部分。然而，传统叙事学主要关注的是以文字为媒介的叙事活动，其理论范畴——如情节（plot）、人物（character）、视角（point of view）、叙事者（narrator）等——大多是针对文学文本的特质而发展出来的。当我们将目光从文字媒介转向视觉媒介时，这些概念范畴是否仍然适用？视觉叙事是否构成一种独立于语言叙事的符号实践类型？这些问题的回答，首先需要对“视觉叙事”概念本身的学术内涵进行审慎的界定。

在英语学术语境中，“visual narration”或“visual narrative”这一术语的使用可以追溯至20世纪中期艺术史与电影研究领域。在电影理论中，“视觉叙事”通常指涉影像序列通过镜头语言、剪辑节奏与场面调度等手段进行的意义建构活动，其研究重点在于电影如何利用时间性的影像流动来讲述故事。而在艺术史领域，视觉叙事则更多指向静态图像——如绘画、雕塑、摄影——如何通过构图安排与象征符号的运用来传达叙事内容，其关注焦点在于图像如何“冻结”时间流中的某一时刻，并通过该时刻的选择与呈现来暗示前因后果。对于海报这类静态平面设计作品而言，视觉叙事的研究需要在综合上述两种传统的基础上，着重关注单一画面如何在空间性的组织结构中实现叙事的完整性。

1.2 视觉叙事作为跨学科概念

从学术史的角度看，“视觉叙事”概念的成型与流行，与20世纪后半叶以来人文社会科学的“图像转向”（pictorial turn）密切相关。美国艺术史家W.J.T.米歇尔（W.J.T. Mitchell）在其1994年的经典论文《图像转向》中提出，与此前哲学话语长期被语言学转向所主导不同，当代文化正在经历一场对图像、视觉性与复制技术的重新关注。米歇尔区分了“图像”（image）与“图画”（picture）这两个概念，指出前者是一个更为抽象和理论性的范畴，它不仅包括具体的图像制品，更指向一种普遍的文化想象——即人们关于何为图像、如何观看图像的基本预设。这一区分对于理解视觉叙事的理论位置具有重要启发意义：视觉叙事不仅是一种具体的传播实践，更是一种植根于特定文化观念与技术条件下的意义生产模式。

与此同时，“视觉叙事”概念的流行也与设计研究领域的兴起密不可分。在传统艺术院校的教育体系中，设计往往被定位为一种“应用艺术”，其功能被窄化为美化与装饰。然而，随着商业传播的日益视觉化以及消费者注意力的争夺日趋激烈，设计作为一种战略性传播实践的价值开始得到重新评估。设计师不再仅仅是美的形式的创造者，更成为意义的生产者与传达者。在这一语境下，“视觉叙事”概念为理解设计的传播功能提供了一个有力的理论框架：设计的终极目标不是创作孤立的视觉形式，而是通过视觉元素的组织编排来讲述故事、传达信息、激发情感、引导行为。

1.3 视觉叙事与相关概念的辨析

为了更精确地把握视觉叙事的学术内涵，有必要将其与若干相关概念进行辨析。首先是“视觉传达”（visual communication）与“视觉叙事”的关系。视觉传达是一个更为宽泛的概念，它泛指所有通过视觉符号进行的信息传递活动，既包括叙事性的传达（如广告海报讲述产品故事），也包括非叙事性的传达（如交通标识传达指令、信息图表呈现数据）。视觉叙事则更加强调叙事的维度，即通过视觉元素的组织来建构具有时间性或因果性的意义序列。从这个角度看，视觉叙事可以视为视觉传达的一个重要子类型，其特殊性在于它追求的不是信息的即时传递而是意义的层层展开。

其次是“图像叙事”（image narrative）与“视觉叙事”的区别。图像叙事这一术语在艺术史与文学研究领域使用较为普遍，它通常指涉图像作为叙事媒介的独特属性——即图像如何在有限的画面空间中截取时间流的一个瞬间，并通过与该瞬间相关的视觉线索（如人物的视线方向、手势姿态、与其他物体的空间关系等）来暗示未在画面中呈现的叙事内容。图像叙事的研究重点在于静态图像如何利用自身的特质来实现叙事功能。相比之下，视觉叙事的概念外延更为宽广，它不仅包括静态图像的叙事，也包括动态影像的叙事、多媒体界面的叙事，乃至整个视觉环境的叙事。进而言之，视觉叙事不仅关注图像“说了什么”，更关注视觉形式如何“说”——即视觉符号系统的组织原则、语法规则与生成机制。

最后需要辨析的是“视觉素养”（visual literacy）与“视觉叙事”的关系。视觉素养是指个体理解、解读和评价视觉信息的能力，它是一个面向受众的概念，强调的是观看者的认知素质。而视觉叙事则是面向生产者/设计者的概念，关注的是视觉信息如何被创造和组织以实现有效的传播。两者之间存在一种互为条件的关系：一方面，视觉叙事的设计需要考虑目标受众的视觉素养水平，另一方面，视觉素养的培养又在很大程度上依赖于对优秀视觉叙事的接触与学习。在本书的分析框架中，视觉素养被视为连接视觉叙事生产与接受的桥梁性概念，它帮助我们理解视觉叙事的社会效应与文化意义。

---

二、符号学视域中的视觉叙事

2.1 索绪尔符号学的基础概念

若要深入理解视觉符号的意义生成机制，符号学提供的概念工具是不可或缺的。符号学的学术传统可以追溯至19世纪末20世纪初的语言学研究，其中最具影响力的理论体系之一便是瑞士语言学家费迪南·德·索绪尔（Ferdinand de Saussure）创立的结构主义符号学。索绪尔在其1907至1911年间讲授的普通语言学课程中提出，语言符号是一种两面的心理实体，由“能指”（signifier）与“所指”（signified）两个要素构成。能指是符号的物质形式——对于语言符号而言是音响形象（sound image），对于视觉符号而言则可能是形状、色彩、线条等视觉属性。所指则是符号所指向的概念或意义层面，它不是事物本身，而是事物在符号系统中的位置与关系。

索绪尔进一步指出，符号的这两个层面之间的关系是任意的（arbitrary），即能指与所指之间的联结并非由自然本性决定，而是由特定社会文化传统约定俗成的。例如，“树”这个词在汉语中读作“shù”，在英语中读作“tree”，两者与“树”这一植物之间的对应关系并无必然的逻辑联系，而是各自语言社区的约定。这种任意性原则对于理解视觉符号具有重要启示：视觉符号的意义同样不是由其物理属性自然决定的，而是通过文化编码获得的。一朵红玫瑰之所以能够传达爱情的信息，并非因为红色或玫瑰本身天然具有浪漫意涵，而是因为特定的文化传统将这两种元素与爱情关联在一起。

此外，索绪尔还强调了符号系统的“差异性”原则。在语言系统中，每一个词的意义都不是由其自身决定的，而是由它与系统中其他词的区别决定的。“母亲”与“妈妈”这两个词之所以意义相近，是因为它们之间的差异不在核心语义层面，而只在风格或情感色彩层面。同样，在视觉符号系统中，一个视觉元素的意义在很大程度上取决于它与其他元素的差异与对比。红色的意义在不同语境中可以大相径庭：当红色出现在交通信号灯上时，它意味着“停止”或“危险”；当红色出现在奢侈品包装上时，它可能意味着“热情”或“喜庆”；当红色出现在医疗器械上时，它可能意味着“医疗”或“紧急”。理解视觉符号的意义，不能孤立地考察符号本身，而必须将其置于整个视觉语境系统中加以把握。

2.2 罗兰·巴特的图像符号学

如果说索绪尔的符号学主要是一种语言符号学，那么法国结构主义思想家罗兰·巴特（Roland Barthes）则将符号学的分析框架拓展到了图像领域。巴特在其1957年出版的《神话学》（Mythologies）以及1964年发表的论文《图像的修辞》（Rhetoric of the Image）中，系统地发展了一套图像符号学的分析方法，为后来的视觉研究奠定了重要的理论基础。

巴特图像符号学的核心贡献之一，是提出了图像意义生成的层次模型。在《图像的修辞》一文中，巴特以一则意大利 Olivetti 打字机的广告为例，区分了图像意义生成的三个层次：语言学讯息（linguistic message）、编码图像讯息（coded iconic message）以及非编码图像讯息（non-coded iconic message）。语言学讯息是指图像中实际出现的文字部分，如广告标题、产品说明等。编码图像讯息是指那些需要观众具备一定文化知识才能解码的符号意义，如特定的象征物、典故或风格惯例。非编码图像讯息则是指那些无需特殊文化背景即可直观感受到的信息，如物体的形状、颜色、空间位置等物理属性。

巴特进一步提出了“锚定”（anchorage）与“接替”（relay）这两个图像与文字之间关系的重要概念。锚定是指文字主要用于限定或澄清图像的多重意义，帮助受众理解图像想要传达的核心信息。例如，一张惊恐表情的照片可以有多种解读，但如果配以“这是一个难民儿童”的文字说明，其意义就被锚定在了特定的指涉上。接替则是指文字与图像形成互补关系，两者各司其职，共同完成意义的建构。在电影字幕中，对话文字与人物表情之间往往构成一种接替关系：字幕传达语言信息，而表情传达情感信息。

更重要的是，巴特在《神话学》中提出的“二级符号系统”理论，为理解视觉意识形态的生产机制提供了有力工具。巴特指出，当代大众传媒中的图像往往承载着远远超出其字面意义的“文化含义”。以一杯牛奶的广告为例，其字面意义可能是“一杯含有钙质的白色液体”，但其文化含义可能是“健康的生活方式”或“母亲的关爱”。巴特将前一层次称为“符号的外延”（denotation），将后一层次称为“符号的内涵”（connotation）。外延层面上的符号组合在内涵层面上被重新编码，承载起特定意识形态的意涵。这种从外延到内涵的意义转化过程，巴特称之为“神话”（myth），它是一种去历史化的言说方式，它将特定社会集团的特殊利益呈现为自然的、普遍的、永恒的真理。

对于视觉叙事研究而言，巴特的二级符号系统理论具有重要的方法论启示。它提醒我们，在分析任何视觉文本时，都不能仅仅停留在对视觉元素字面意义的描述上，而必须追问这些元素在特定社会文化语境中被赋予了怎样的附加意义，以及这些附加意义如何服务于特定的权力关系与意识形态目的。优秀的视觉叙事分析，必须同时在符号的外延与内涵两个层面上展开，既要揭示视觉符号的表层结构，也要揭示其深层的文化政治意涵。

2.3 皮尔斯符号学的视觉维度

与索绪尔的结构主义符号学传统不同，美国哲学家查尔斯·桑德斯·皮尔斯（Charles Sanders Peirce）创立了一套更为开放的符号学体系。皮尔斯的符号学虽然同样关注符号与其对象之间的关系，但其理论框架具有更强的普遍性与动态性。皮尔斯将符号定义为“某种事物对某人而言在某个方面或某种能力上代表某种事物”，这一定义强调符号的本质在于它是一种三元关系：符号（representamen）、对象（object）与解释项（interpretant）三者缺一不可。

皮尔斯符号学的一个核心贡献是对符号类型的系统分类。根据符号与其对象之间的关系方式，皮尔斯将符号分为三类：图像符号（icon）、指示符号（index）以及象征符号（symbol）。图像符号与其对象之间具有相似性关系，如照片、画像、地图等都是典型的图像符号。指示符号与其对象之间具有因果或空间上的邻接关系，如烟指示火、指针指示方向、脚印指示有人经过等。象征符号与其对象之间的关系则是基于约定俗成的规则，如文字、语言、徽章、旗帜等都是象征符号。

这三种符号类型的区分对于视觉叙事分析具有直接的适用价值。在实际的视觉传播中，绝大多数视觉符号都是混合类型的，很难找到纯粹的单一类型。例如，一张产品照片作为照片而言具有图像符号的特征（与产品外观的相似性），同时作为被拍摄的对象而言具有指示符号的特征（因果关系上由真实产品决定），而如果该照片被用于传达特定品牌理念，则照片中可能包含的象征符号元素（如特定的构图方式或色彩风格）又使其具有象征符号的特征。理解视觉符号的复合性质，有助于我们更全面地把握视觉叙事的多重意义层面。

皮尔斯符号学对于视觉研究的另一重要贡献，是其关于符号解释项的动态性理论。在皮尔斯的框架中，符号的意义不是固定的，而是在无限延伸的解释链条中不断生成和变化的。每一次符号解读都会产生一个新的解释项，而这一解释项本身又可以作为新的符号，进入下一轮的符号过程。这种无限衍义的思想，与当代建构主义的知识观高度契合：视觉符号的意义不是预先给定的，而是在观看者与视觉文本的互动过程中被共同建构的。这一视角对于理解视觉叙事的接受维度具有重要意义——它提醒我们，同一视觉文本在不同观看者、不同解读语境中可能产生完全不同的意义效果。

2.4 视觉语法：克雷斯和范勒文的功能语言学路径

在将符号学理论应用于视觉分析的具体操作层面，英国学者冈瑟·克雷斯（Gunther Kress）与荷兰学者西奥·范勒文（Theo van Leeuwen）的工作具有里程碑式的意义。他们合著的《解读图像：视觉语法》（Reading Images: The Grammar of Visual Design, 1990/2006）一书，系统地发展了一套被称为“视觉语法”（visual grammar）的分析框架，旨在将韩礼德（M.A.K. Halliday）系统功能语言学中的语言功能理论扩展到视觉符号领域。

韩礼德的功能语言学将语言的功能概括为三大元功能：概念功能（ideational function）、人际功能（interpersonal function）以及文本功能（textual function）。概念功能是指语言再现客观世界中的经验与关系的能力；人际功能是指语言建立和维护社会关系的能力；文本功能则是指语言组织信息以构成连贯文本的能力。克雷斯和范勒文认为，视觉符号系统同样具有这三大元功能，只是它们在视觉领域中的具体实现方式与语言有所不同。

在概念功能层面，视觉语法关注的是图像如何再现世界中的事物、过程与关系。与语言通过词汇语法的选择来建构经验类似，视觉图像通过视觉元素的选择与组合来建构关于世界的表征。克雷斯和范勒文特别讨论了图像中“参与者”（participants）、“过程”（processes）与“环境成分”（circumstances）的视觉表达方式。例如，人物图像可以通过其面部表情、身体姿势、与他者的空间关系等来表征心理过程、言语过程或行动过程。这种分析方法为视觉叙事中事件与情节的识别提供了操作性的工具。

在人际功能层面，视觉语法关注的是图像如何建立图像制作者、图像所呈现的世界以及图像观看者之间的关系。这种关系主要通过“视角”（angle）、“社会距离”（social distance）以及“情态”（modality）等视觉资源来实现。例如，一个镜头是平视、仰视还是俯视，决定了观看者与图像参与者之间的权力关系；镜头的远近决定了观看者与参与者之间的亲疏距离；而图像的写实程度——即所谓的“视觉情态”——则决定了图像在多大程度上被呈现为对现实的客观记录还是在多大程度上被编码了制作者的特定立场。

在文本功能层面，视觉语法关注的是视觉元素如何被组织以构成有意义的整体。克雷斯和范勒文引入了“信息价值”（information value）、“显著度”（salience）以及“框架”（framing）等概念来分析视觉构图。信息价值指的是视觉元素在画面中的位置（左侧/右侧、顶部/底部、中心/边缘）所承载的特定意义；显著度指的是通过尺寸、色彩、对比度、位置等技术手段使某些元素在视觉上更为突出；框架则是指视觉元素之间的连接或分离关系，它体现了元素之间在语义上的关联或独立性。

视觉语法框架的提出，为视觉叙事分析提供了一个系统性的描述工具。它使得研究者能够超越对视觉内容的直觉印象式描述，转而对视觉文本的构成规律进行系统、精细的分析。这种分析方法的引入，标志着视觉研究从印象批评向实证分析的转型，也为不同研究者之间的学术对话提供了共同的概念基础与操作程序。

---

三、传播学视角下的视觉叙事

3.1 视觉传播的理论渊源

传播学作为一门独立学科的形成，可以追溯至20世纪上半叶。在这一学科的早期发展阶段，学者们主要关注的是大众媒介——特别是报纸、广播、电视——的传播效果与社会影响。在这一传统中，视觉传播很长时间内并未被视为一个独立的研究领域，而是被纳入更为宽泛的“媒介效果”研究框架之中。视觉材料，如新闻照片、宣传海报、电视广告等，主要被视为传播效果的载体或中介，其自身的符号学特质与意义生成机制并未得到充分关注。

然而，随着电视的普及以及图像在公共传播中地位的日益提升，学者们开始意识到视觉信息具有区别于文字信息的独特传播属性。1964年，麦克卢汉（Marshall Mc