999彩票

形状或精神相似性哪个更适合概念可视化?来自事件相关电位的证据

2022-01-14 13:58:00 发布者: 查看:
考虑到概念可视化的现状,设计方案之间的差异远非简单的好坏判断,ERP实验为探讨多模态加工机制提供了良好的参考。

1、研究背景

图像和文字是视觉传播的重要媒介。与文字相比,图像创造了直观和生动的感觉。概念可视化在视觉设计领域发挥着重要的作用,在我们的头脑中构建了多模态映射。普遍接受的双码理论认为,所有的概念可以分为两类,具体的和抽象的。具体的词语可以通过附加的意象代码来体验,而抽象的词语只有语言代码。分类关系是对具体词语进行多模态映射讨论最多的一种。事件相关电位(ERPs)显示,N300效应存在于类别错配和下属错配之间,而N400效应存在于基础错配和下属错配[6]之间。当进一步细化为自然和人工的类别时,不匹配的图片比匹配的图片具有更低的准确率和更长的RTs,自然和基本的图片比对应的图片具有更长的RTs,但自然匹配的交互试验比人工匹配的交互试验花费更长的RTs。ERP推断N300索引的一致性和抽象,而P600成分意味着索引的类别。

考虑到概念可视化的现状,设计方案之间的差异远非简单的好坏判断,ERP实验为探讨多模态加工机制提供了良好的参考。

2、研究方法

2.1、被试

18名被试(10名女性,8名男性,年龄范围在21-27岁,平均年龄=22.5,SD=2.7)母语为汉语,右利手,没有神经、精神或情绪障碍,也无教育剥夺经历。所有的被试活动实验的知情同意权。

2.2、实验材料

采用命名试验选根。选取的60对灰色图像具体词在熟悉度得分和命名时间上无显著差异。

要求10名工业设计的研究生尽可能从原型中运用灰度和线条图概念可视化。每张图片的轮廓为5像素,图像大小为128*128像素(带背景)。同时,具体的词语在主题上或隐喻上被抽象。文字被精炼成两三个24像素大小的汉字和微软雅黑字体。所有方案均采用五分制进行评估,选出评分最高的图片和概念,构建60组,如图1所示。为避免判断同一性带来的不利影响,本实验采用15组进行练习,并在实验中作为判断干扰进行交叉。其它45组是最终目标。

 脑电实验刺激示意图

图1  刺激示意图

2.3、实验过程

刺激呈现在一个27寸的屏幕上,亮度为1920*1080像素。被试与屏幕中心的距离约为620mm。实验程序是通过E-prime 2.0软件编写。在每次实验开始时,在黑色背景的屏幕中央出现一个注视点“+”,持续约600ms,随后,图片(S1)呈现1000ms,随后是随机持续时间的空屏,时间持续为600-800ms。单词(S2)出现在屏幕上,直到被试做出反应。要求被试从S1到S2比较匹配或不匹配,并通过用左手或右手食指按两个键(F或J)中的一个做出反应。对左手和右手的匹配和不匹配反应的分配在被试间平衡。在他们回答后,一个空白屏幕随机出现,持续时间为600 – 800ms。记录S2出现后的ERPs。

2.4、数据采集和处理

采用国际10 - 20系统的32 导电极帽,以FCz电极作为接地电极,eego mylab放大器(ANT Neuro, Inc)连续记录(采样率500 Hz)的脑电数据,所有电极的阻抗均维持在5 kΩ以下。

利用EEGLAB工具箱在MATLAB中进行预处理。离线时处理时,进行低通滤波(30 Hz/24 dB),并转换参考为M1和M2电极的平均值。剔除低信噪比片段的脑电数据,然后进行独立成分分析(ICA)。使用ADJUST 1.1.1校正眼电(EOG)、肌电(EMG)和汗液等伪迹。根据S2出现时的-200 ~ 1000 ms将脑电数据分为多个时段,刺激前200 ms为基线。时段按条件分类,剔除幅度超过±100 μV之外的数据。结果平均剔除率为9.5%,每个被试在每个条件下平均保留41个epoch。总平均波形如图2所示。本研究提取了不同条件和区域的振幅值。对于所有条件的时域信号的幅值差异使用spss11进行分析。

ERP总平均波形 

图2 四种多模态映射诱发ERP总平均波形

 

如图2和图4所示,在条件下诱导了N1、P2、N400和P600效应。结合图3和图5,N1和P2成分在前部区域更为明显,N400成分在中央-顶叶区域差异明显,P600效应在整个区域差异显著。

峰值明显的是在N1(130-180ms),P2(230-280ms)。选取FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4电极附近的平均振幅为50 ms进行分析。N400 (300 ~ 500 ms)和P600 (600 ~ 800 ms)的波幅比较 “温和”,因此将时间过程除以100 ms,选择平均波幅进行分析(N400的FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6;FP1、FPz、FP2、F3、Fz、F4、FC5、FC1、FC2、FC6、C3、Cz、C4、CP5、CP1、CP2、CP6、P3、Pz、P4用于分析P600)。

3、实验结果

行为结果:条件的主效应显著,形象化与精神性结合所用的时间都比精神性结合所用的时间短。

ERP结果:

脑电地形图 

图3.在不同条件下分别在130 -180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的地形图

 ERP差异波 

图4. 四种多模态条件下的ERP差异波

脑电差异地形图 

图5.在130 - 180 ms (N1)、230 - 280 ms (P2)、400 - 500 ms (N400)和600 - 800 ms (P600)的时间序列中多模态映射之间的差异引发的地形图。

N1成分中,类型的主效应边缘显著,其它效应不显著。

P2成分中,类型和位置的交互效应显著,左侧类型的幅度值更大。

N400成分中,类型和位置的交互效应显著,在额中央,中央,和中央顶叶区,精神型幅度值大于形状型。

P600成分中,类型的主效应显著,类型和位置的交互效应显著,精神性的平均振幅大于形状型的平均振幅,形状-抽象的振幅与形状-混凝土的振幅呈现相反的趋势。

4、结论

概念形象化是一项主观工作,可能会在不知情的情况下产生认知危险。行为结果表明,形状相似在速度和准确性上优于精神相似,而具体的词比抽象的词更容易被接受为一种相关的图像。N1、P2和N400成分在所有条件下都被提取出来,表现出与行为结果相似的表现,表明多通道映射之间的加工开始时间差异。精神相似-具体概念条件与其他三种条件相比,得到了明显的P600/LPC,说明了多模态映射中具体性效应的复杂机制。

5、文献名称及DOI号

Zhou, L. ,  Ma, J. ,  X  Zhou,  Niu, Y. , &  Xue, C. . (2021). Which is better for concept visualization? shape or spirit similarity: evidence from event-related potentials. Neuroscience Letters, 749, 135755.

DOI:10.1016/j.neulet.2021.135755

丹麦28-999彩票 平安彩票-999彩票 平安彩票-官网 北京快乐8官网_欢迎您 红旗彩票-官网 彩88官网--[彩88官网]--欢迎你 彩神-Welcome