CN112641450B - 面向动态视频目标检测的时变脑网络重构方法 - Google Patents

Abstract

本发明属于脑电识别技术领域，特别涉及一种面向动态视频目标检测的时变脑网络重构方法，包含如下内容：将采集到的动态视频下被试者的头皮脑电信号映射到皮层空间，重构出高时空分辨率的皮层信号；从皮层空间选取感兴趣脑区作为网络分析节点，并针对皮层信号通过分析从目标搜索到目标发现的神经信息加工过程，获取反映认知加工过程的皮层时变脑网络连接图。本发明围绕动态视觉目标从搜索到发现这一过程的神经加工机制展开，选择将高时间分辨率的头皮脑电映射为高时空分辨率的皮层脑电，能够得到更加精细地大脑活动图，进一步通过时变网络分析的方法，探究大脑神经信息加工过程，便于脑机接口实际环境中的应用，具有较好的应用前景。

Description

面向动态视频目标检测的时变脑网络重构方法

技术领域

本发明属于脑电识别技术领域，特别涉及一种面向动态视频目标检测的时变脑网络重构方法。

背景技术

从复杂视觉场景中快速检测到关心的事件是一项必备的生存技能。然而对于有认知功能障碍的神经和精神类疾病的患者来说并非易事。认知神经科学将这一认识过程称之为目标检测，它在日常生活中的重要地位凸显了研究这一核心认知过程神经机制的重要性。探究人脑对关心事件的神经信息加工机制，将为人类进一步探索神经科学提供更加完善的理论指导，为解答“复杂思维活动中多脑区的合作机制”和“精神疾病的功能失调”等重要问题提供新的见解，将对脑机接口和医疗服务等领域提供可靠有效的思路。现有视觉目标检测任务研究主要集中于图像目标检测。图像目标检测最大的特点是刺激材料的出现是有时间标记。即目标的出现时间是有先验的。然而实际应用中，人眼所看到的画面是动态连续的，关心事件的出现时间是完全随机的。

因此，面向动态视觉目标的异步检测方法研究对于现实生活中实际的目标检测应用具有重要推进意义。不同于图像目标检测，动态视觉目标出现的时间未知，因而此类视觉目标的检测过程更为复杂，虽然现有的图像目标检测神经机制研究已经取得了一些进展，然而，动态场景中目标从搜索到发现的完整的认知加工过程还缺乏相关的研究和分析。脑电可以准确记录大脑在信息处理过程中神经元的放电规律，在脑功能研究中具有重要地位。大脑对来自外部环境的特定感觉或认知均会产生特定的神经电位响应，这些神经电位的变化可以反映大脑对刺激信息的认知加工过程。大脑的认知活动不仅涉及多个认知加工阶段，更是多脑区共同参与的过程。相比于高时间分辨率的头皮脑电，高时空分辨率的皮层脑电将更加有助于精细地研究动态视觉目标检测的神经加工机制。对大脑认知活动的探究不仅要关注特定脑区的活动，更要关注脑区与脑区之间的交互关系，即脑网络。脑网络为全脑功能和机制的研究提供了一个更加全面的视角，成为最有效的脑功能研究方法之一。脑网络连接关注不同脑区之间的关联，可以定量地表示脑区的连接性和网络属性。无向网络，如相关、相干、锁相值等，已经用于静息态脑和时间相关电位任务的脑连接分析。相比于无向网络，有向网络，如向传递函数、格兰杰因果关系和部分有向相干等，增加了信息流向的指向性，更好地呈现从控制区到激活区的信息流。这些方法均假设神经电信号的平稳性和时不变性。实际上事件相关电位具有明显的时变性和非平稳性。

发明内容

为此，本发明提供一种面向动态视频目标检测的时变脑网络重构方法，围绕动态视觉目标从搜索到发现这一过程的神经加工机制展开，选择将高时间分辨率的头皮脑电映射为高时空分辨率的皮层脑电，能够得到更加精细地大脑活动图，降低脑功能网络构建复杂度，便于脑机接口实际环境中的应用。

按照本发明所提供的设计方案，一种面向动态视频目标检测的时变脑网络重构方法，包含如下内容：

将采集到的动态视频下被试者的头皮脑电信号映射到皮层空间，重构出高时空分辨率的皮层信号；

从皮层空间选取感兴趣脑区作为网络分析节点，并针对皮层信号通过分析从目标搜索到目标发现的神经信息加工过程，获取反映认知加工过程的皮层时变脑网络连接图。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步的，皮层空间映射中，首选选择标准大脑解剖结构并导入空间三维坐标，设定包含大脑、头颅和头皮的三层头部模型；基于该三层头部模型获取每名被试者头皮脑电信号。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，依据行为报告，采集的原始脑电信号剔除错误报告对应视频信号，并进行信号数据的预处理，并从预处理后的信号数据中提取用于皮层空间映射的噪声信号和任务信号，其中，该预处理包括：去除眼电和肌电伪影、滤波及降采样。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，目标视频开始前，提取注视“+”所对应的脑电信号并将该脑电信号通过拼接用于获取噪声信号；依据目标视频播放中目标出现的前后时间点来设定信号截取时间段；依据信号截取时间段来设定目标搜索过程和目标发现过程时间；通过设定的时间来获取用于皮层空间映射的任务信号。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，针对头皮脑电信号通过计算协方差，并利用估计算法将单试次头皮脑电信号映射到皮层空间的信号源上；依据任务信号截取时间段获取基线信号，对单试次皮层信号响应通过标准化处理来获取皮层响应，并通过多试次叠加平均得到个体皮层脑响应；通过平均个体皮层脑响应来获取动态视觉目标检测任务的脑响应图数据。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，依据动态视频下目标搜索和目标发现过程中的响应区域选取感兴趣区域并依据感兴趣区域设定脑网络空间位置节点，并将单个感兴趣区域内所有源信号时域响应的第一主成分值作为感兴趣区域信号的响应结果。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，依据区域内多信号源的成分确定感应区内皮层信号，通过降采样及时间动力学模型计算获取时间和频点下网络节点之间的连接关系。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，采用自适应定向传输函数，以网络连接强度集中频带的均值作为自适应定向传输函数连接强度，并通过个体平均、组分析和显著性校验，得到反映认知加工过程的时变网络连接图。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，，其中，Λ(i,t)为时变网络卡尔曼滤波的状态转移矩阵，E(t)为多变量独立白噪声，p为模型阶数；将该模型通过频域变换及归一化处理，得到感兴趣频点下的定向因果连接，并依据时频分布规律及网络连接强度集中频带的均值来获取t时刻网络节点之间的连接强度。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，采用基于相位随机的替代数据进行自适应定向传输函数参数统计检验，将频域变换中傅里叶矩阵系数相位随机打乱，产生新的替代时间序列；对每个时间序列进行相位随机化来评估原始时间序列中自适应定向传输函数值。

本发明的有益效果：

针对以往的研究只关注快速序列呈现范式下简单目标检测的认知加工过程，缺乏对动态视觉目标检测认知加工过程研究，本发明借助高时间分辨率的头皮脑电信号重建出高时空分辨率的皮层时间序列分析动态视觉目标检测过程中大脑皮层关键节点之间动态的信息加工过程，充分挖掘脑功能各区域功能在信息交互中的作用，能够有效展现并识别大脑网络活动，为动态视觉目标检测中认知加工过程的理解提供独特洞察力，为动态视觉目标检测脑机接口的用户认知潜力预测和检测模型设计提供技术指导。

附图说明：

图1为实施例中时变脑网络重构流程示意；

图2为实施例中基于无人机视频的敏感目标检测实验范式流程示意；

图3为实施例中基于无人机视频的敏感目标检测时变脑网络重构示意；

图4为实施例中动态视觉目标检测的神经加工机制分析流程示意；

图5为实施例中目标搜索到发现头皮事件相关电位响应图(61通道)示意；

图6为实施例中目标搜索到发现的脑响应图示意；

图7为实施例中感兴趣区s空间分布图示意；

图8为实施例中感兴趣区s连接强度的时频分布图示意；

图9为实施例中目标搜索时变网络([-440,-360]ms,p<0.05)示意；

图10为实施例中信息整合阶段时变网络([0,200]ms,p<0.01,强度>0.020)示意；

图11为实施例中决策响应阶段时变网络([250,450]ms,p<0.01,强度>0.023)示意；

图12为实施例中目标搜索与发现的网络属性示意；

图13为实施例中搜索网络属性与目标发现响应的关系示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

脑电可以准确记录大脑在信息处理过程中神经元的放电规律，在脑功能研究中具有重要地位。对大脑认知活动的探究不仅要关注特定脑区的活动，更要关注脑区与脑区之间的交互关系，即脑网络。为从时间上更加精细地研究神经信息加工过程，时变网络分析方法尤其适合于基于事件相关电位的神经机制研究。本发明实施例，参见图1所示，提供一种面向动态视频目标检测的时变脑网络重构方法，包含如下内容：

S101、将采集到的动态视频下被试者的头皮脑电信号映射到皮层空间，重构出高时空分辨率的皮层信号；

S102、从皮层空间选取感兴趣脑区作为网络分析节点，并针对皮层信号通过分析从目标搜索到目标发现的神经信息加工过程，获取反映认知加工过程的皮层时变脑网络连接图。

助高时间分辨率的头皮脑电信号重建出高时空分辨率的皮层时间序列分析动态视觉目标检测过程中大脑皮层关键节点之间动态的信息加工过程，充分挖掘脑功能各区域功能在信息交互中的作用，能够有效展现并识别大脑网络活动。

现有的时变网络方法包括时变格兰杰因果、时变定向传输函数、自适应定向传输函数、时变广义正交化等。其中，自适应定向传输函数使用多变量自适应自回归模型，结合卡尔曼滤波算法的时变状态方程，来研究脑电信号信息传播模型的时间动力学规律，对事件相关电位响应研究具有重要意义，成为最受研究者青睐的时变网络分析方法之一。利用自适应定向传输函数的时变网络分析方法，在头皮脑电的层面上，研究简单几何图像的视觉oddball范式和运动想象任务的关键节点信息交互规律。利用自适应定向传输函数时变网络分析方法进一步研究视听双峰P3拼写任务下视听整合的神经加工机制，可发现空间语义的信息整合对脑响应的增强。为探索目标搜索到发现的动态神经传导过程提供了有力的技术支撑。

作为本发明实施例中面向动态视频目标检测的时变脑网络重构方法，进一步的，皮层空间映射中，首选选择标准大脑解剖结构并导入空间三维坐标，设定包含大脑、头颅和头皮的三层头部模型；基于该三层头部模型获取每名被试者头皮脑电信号。

在目标搜索阶段，大脑皮层的激活水平最弱，两侧脑岛为主要的信息源，脑连接稀疏、信息传递效率最低。目标发现阶段，脑区信息交互频繁，中央区、顶下回、上额叶、颞叶、颞顶连接和枕中回为信息源，其中枕中回发挥重要的定位和识别功能。前额叶和前扣带回成为关键激活区，执行空间注意的功能。其中，信息整合阶段[0,200]毫秒大脑信息加工速度最快，响应记忆阶段[250,450]毫秒脑连接最丰富，信息传递效率最高。研究还发现，搜索状态的网络属性与分类准确率之间存在显著相关性(相关性值：0.56,显著性水平<0.01)，以及虚警认知与发现认知在额上回、中央区和顶枕区脑连接的显著差异性。参见图2～4所示，真实场景下动态视觉目标检测的实验范式，并通过源估计算法，将采集到的头皮脑电映射到皮层空间，重构出高时空分辨率的皮层信号。然后，从皮层空间选择感兴趣的脑区作为网络分析节点，利用自适应定向传输函数的时变网络分析技术，研究从目标搜索到目标发现的神经信息加工过程，为揭示和阐明敏感信息认知加工的神经机制提供可靠的科学依据，并为人机交互中目标检测计算提供了理论基础。

作为本发明实施例中面向动态视频目标检测的时变脑网络重构方法，进一步地，依据行为报告，采集的原始脑电信号剔除错误报告对应视频信号，并进行信号数据的预处理，并从预处理后的信号数据中提取用于皮层空间映射的噪声信号和任务信号，其中，该预处理包括：去除眼电和肌电伪影、滤波及降采样。进一步地，目标视频开始前，提取注视“+”所对应的脑电信号并将该脑电信号通过拼接用于获取噪声信号；依据目标视频播放中目标出现的前后时间点来设定信号截取时间段；依据信号截取时间段来设定目标搜索过程和目标发现过程时间；通过设定的时间来获取用于皮层空间映射的任务信号。

实验可采用脑电采集系统采集脑电信号。脑电采集系统可利用包含64通道Ag/AgCI主动电极。脑电在线采样频率为600hz，带通滤波范围为0.1～100Hz，50Hz陷波。实验以右侧乳突和Fz电极为参考电极，除接地电极外，共可获得61个通道的有效信号。首先根据行为报告，从原始脑电信号中剔除错误报告对应视频的信号；然后，采用独立成分分析法去除眼电和肌电伪影，滤波到0.1～40Hz，并降采样到100Hz，以降低数据处理计算量。最后，从得到的数据中提取噪声信号和任务信号。噪声信号：将每段视频开始前2s的“+”注视所对应的信号提取并拼接，得到约400s的噪声信号。该信号用于后续源估计模型噪声协方差的计算。任务信号：从目标视频中提取，包括搜索和发现两个阶段。信号截取过程包括：(i)以视频中目标出现时刻前800ms为起点，目标出现后1500ms为终点，截取2300ms数据段[-800,1500]ms。先前研究已经证明，本案方案中P3检测潜伏期范围为300-800ms，抖动范围不超过500ms，因此，数据截取结束的时刻在通常的1000ms基础上再延长500ms。(ii)采用事件相关电位对齐算法从目标出现后[0,1500]ms信号中匹配出1000ms时间对齐的事件相关电位信号作为目标发现信号。(iii)以发现信号的起点为参考，重新向前截取800ms长度信号表示目标发现前的搜索过程。其中，前200ms数据作为基线，得到校正后[-600,1000]ms信号。[-600,0]ms表示目标发现前的搜索过程，[0,1000]ms表示目标发现过程。

作为本发明实施例中面向动态视频目标检测的时变脑网络重构方法，进一步地，针对头皮脑电信号通过计算协方差，并利用估计算法将单试次头皮脑电信号映射到皮层空间的信号源上；依据任务信号截取时间段获取基线信号，对单试次皮层信号响应通过标准化处理来获取皮层响应，并通过多试次叠加平均得到个体皮层脑响应；通过平均个体皮层脑响应来获取动态视觉目标检测任务的脑响应图数据。

脑电源估计是一个非线性优化问题。考虑到计算的复杂性，一般将其视为一个线性问题。本案实施例可使用溯源软件进行脑电信号的源重建。解剖结构采用标准脑模板ICBM152，正向模型采用OpenM脑电提供的三层头部模型(大脑、头颅和头皮)，该模型基于边界元法进行计算。逆向模型采用MNE算法进行信源估计。源估计步骤包括(i)头模型计算：选择标准大脑解剖结构，导入61导联的空间三维坐标，计算基于OpenMEEG脑电的头模型。(ii)协方差计算：导入每名被试的噪声信号和任务信号，分别计算噪声协方差和数据协方差。该协方差信息有助于实现更精准的源估计。(iii)单试次皮层响应：选择MNE源估计算法，将单试次的头皮脑电信号61*1600(61通道，采样率100Hz)映射到皮层空间的信号源上，映射到皮层空间的源信号大小为15000*1600。(iv)个体平均脑响应：以任务信号之前的200ms信号为基线，对单试次皮层信号响应进行Z分数标准化处理，得到15000*1600标准化后的皮层响应。通过多试次叠加平均，得到个体皮层脑响应。(v)组平均脑响应：平均个体皮层脑响应，得到更具代表性的动态视觉目标检测任务的脑响应图。

作为本发明实施例中面向动态视频目标检测的时变脑网络重构方法，进一步地，依据动态视频下目标搜索和目标发现过程中的响应区域选取感兴趣区域并依据感兴趣区域设定脑网络空间位置节点，并将单个感兴趣区域内所有源信号时域响应的第一主成分值作为感兴趣区域信号的响应结果。

结合现有研究结论和本案方案实际脑响应结果，选择与目标搜索和发现相关的关键响应区域，作为后续脑网络分析的空间位置节点。取单个感兴趣区内所有源信号时域响应和时频域响应的平均值作为该感兴趣区信号的响应结果。进而，为确定时变网络感兴趣频带提供参考。

作为本发明面向动态视频目标检测的时变脑网络重构方法，进一步地，依据区域内多信号源的成分确定感兴趣区域内皮层信号，通过降采样及时间动力学模型计算获取时间和频点下网络节点之间的连接关系。进一步地，采用自适应定向传输函数，以网络连接强度集中频带的均值作为自适应定向传输函数连接强度，并通过个体平均、组分析和显著性校验，得到反映认知加工过程的时变网络连接图。

以感兴趣区内多信号源的第一主成分表示该感兴趣区的皮层信号，感兴趣区信号降采样到25Hz，采用自适应定向传输函数时变网络分析方法，计算40ms间隔下关键脑区信息交互的时间动力学模型。自适应定向传输函数反映在特定时间和频点下的节点之间的连接关系。本案方案以网络连接强度集中频带的均值作为整体的自适应定向传输函数连接强度。最后，通过个体平均、组分析和显著性检验的方法，得到反映认知加工过程的时变网络连接图。

作为本发明实施例中面向动态视频目标检测的时变脑网络重构方法，进一步地，对于单试次任务信号X(t)，多变量自适应自模型可以表示为：

其中，Λ(i,t)为时变网络模型的系数矩阵，即卡尔曼滤波的状态转移矩阵。E(t)为多变量独立白噪声。p为模型阶数，可由AIC(Akaike Information Criterion)准则估计。

自适应定向传输函数计算，将上式变换到频域，得到

Λ(f,t)X(f,t)＝E(f,t)

进一步表示为

X(f,t)＝Λ^-1(f,t)E(f,t)＝H(f,t)E(f,t)

其中，特定频点下的系数矩阵为

且Λ_k＝0＝I。H(f,t)为DFT矩阵，H_i,j(f,t)表示t时刻、f频点下，第i个节点到第j个节点的连接。归一化处理后，得到感兴趣频点下的定向因果连接为

根据

的时频分布规律，整合连接强度集中频带[f_down,f_up]内连接值的均值

做为t时刻节点之间的连接强度。

作为本发明实施例中面向动态视频目标检测的时变脑网络重构方法，进一步地，采用基于相位随机的替代数据进行自适应定向传输函数参数统计检验，将频域变换中傅里叶矩阵系数相位随机打乱，产生新的替代时间序列；对每个时间序列进行相位随机化来评估原始时间序列中自适应定向传输函数值。

自适应定向传输函数与时间序列之间的关系是高度非线性的。在无连通性的零假设下，难以很好的建立估计值的分布和进行参数统计分析。因此，在本案方案采用基于相位随机的替代数据的非参数统计检验方法。该方法将傅立叶系数的相位随机打乱，以产生新的替代时间序列。因为自适应定向传输函数是特定频率的因果相互作用的度量，因此，相位随机化的能够保留了时间序列的频谱结构。对于每个时间序列进行200次相位随机化，在无因果相互作用的零假设下创建自适应定向传输函数值的经验分布，进而评估原始时间序列中自适应定向传输函数值的统计意义。

为验证本案方案有效性，下面结合实验数据做进一步解释说明：

实验招募25名年龄在20至25岁之间的大学生被试。所有被试均视力正常或矫正至正常，无神经病史，并在实验前签署了知情同意书。整个实验过程的设计得到了当地伦理委员会的审批。

动态视觉目标检测的实验范式设计流程如图2～4所示。视频材料源自于无人机视频。无人机沿着宽阔的街道飞行并录像，飞行高度约为25米。视场中既有车辆(目标)，也有植物、交通标志、行人和建筑物(干扰物)。实验过程中，被试双眼距离显示器中央约60cm。实验要求被试快速找到视频中停放或行驶的车辆，包括汽车、自行车、三轮车、大货车等，并有意识地继续跟踪车辆片刻。实验共包含200个视频片段。其中，100个的视频片段仅仅包含一个车辆作为目标视频，剩余100个没有车辆出现的视频作为干扰视频。目标视频中，车辆在视频播放1s后的任意时刻从屏幕任意方向进入视野。每段视频开始前呈现2s“+”帮助被试集中注意力，视频播放时长4-10s。每段视频结束后，被试通过按键报告视频中看到的目标个数。为降低色彩对视觉的刺激，将彩色视频处理成黑白视频，并按原先尺寸40％的缩放比例呈现在黑色背景的屏幕中央。在完成包含10个视频的练习实验之后，开始正式试验。正式实验中，被试共需完成10个Block，每个Block包含10个目标视频和10个干扰视频，视频播放的顺序是随机的。每两个Block之间设置休息时间，休息时长由被试自行控制。

事件相关电位从时间上反映了认知加工的不同阶段，成为研究神经认知的重要时间参考。目标搜索到发现头皮脑电的平均事件相关电位响应如图5所示。采用事件相关电位对齐算法将平均事件相关电位的P3响应峰值时间对齐到350ms。考虑到自适应定向传输函数方法在数估计时受初值的影响，其初始时间的连接估计也会存在一定的误差。因此，以[-500,0]ms信号表征目标搜索过程。搜索信号整体上相对平稳，幅值较低，多试次叠加平均后各通道响应幅值在0微伏附近。相对地，目标发现信号的响应成分主要集中在[0,600]ms。根据事件相关电位响应特点，发现信号大致可以分为两个阶段。在100ms和200ms均出现正向峰值，与P1和P2成分对应，即[0,200]ms表示对目标的注意和信息整合阶段。在350ms左右出现明显的P3峰值，即[250,450]ms表示对目标的神经响应阶段。本案针对动态视觉目标检测的这三个阶段的神经信息加工过程展开研究。

将头皮脑电映射到皮层空间，得到从搜索到发现过程中高时空分辨率的皮层脑响应图，如图6所示。图中以100ms时间间隔，分别从左侧、右侧、背侧和腹侧四个角度展示Z分数归一化后的皮层响应结果。可以看出，视频目标检测任务诱发了全脑的响应。搜索过程脑响应较为微弱，如图6(A)所示。图中显示了激活强度高于0.08的脑活动。搜索过程脑响应集中在左右中央皮层，在左侧顶下、枕中、颞顶连接处和右侧颞叶有响应。发现过程的脑响应激活强度较高，如图6(B)所示。图中显示激活强度高于0.2的脑活动。在信息整合阶段，两侧顶叶和中央区最先响应。200ms左右伴随信息整合进程的深入，额叶、脑岛和内侧皮层也得到激活，其中左右半球扣带皮层和脑岛呈现相反电位。在决策响应阶段，全脑响应面积最大、激活程度最高。两侧顶叶、枕叶和颞顶连接处的响应强度最高。大脑背侧皮层主要呈现正性电位，腹侧皮层主要呈现负性电位。经过P3响应峰值时刻后，额上皮层和中央前沟最先出现电位的反转。到500ms左右，随P3成分消失，大脑两侧扣带皮层和颞叶相反电位逐渐归于同向。此时，全脑响应电位方向与P3峰值时刻前相反。大脑背侧皮层主要呈现负性电位，腹侧皮层主要呈现正性电位，脑区沟回的电位也发生了反转。由此说明，动态视觉目标可以诱发强烈的P3成分，并在P3成分过后产生明显的电位反转以补偿强烈的P3电位冲击。整体上看，目标搜索与发现过程中均出现左右脑响应电位的不对称性，如300ms时刻左右颞叶电位相反。

大脑的认知加工过程通常涉及多脑区皮质的激活。为提高数据计算效率和结论准确性，可选择与任务相关的关键脑区进行后续神经信息加工的分析。研究结果显示，在动态视觉目标检测过程中，背侧皮层中的额上回、脑岛、颞中回、中央皮层、顶叶、枕中回，腹侧前额叶，内侧前扣带回和楔叶激活明显。根据以往的研究，在搜索过程中，双侧额叶、顶叶内沟、中央前回和颞顶交界处可能起到过滤干扰信息的作用。与P3和认知相关的事件相关电位研究中前额叶、额叶、颞中回、顶叶和扣带回等脑区是视觉P3最显著的来源。P3a主要由额叶和脑岛产生，而P3b主要由顶叶和颞叶产生。同时，与任务相关的fMRI数据也一致地确定了双侧额叶、顶叶、颞叶和扣带回的参与。同时，Yamaguchi和Knight发现，颞顶叶连接是成功检测目标和产生P3b的必要条件。这些结果和结论为标记感兴趣的脑区和理解从搜索到发现的脑响应变化提供了重要的理论依据。相比于在现有研究结论，本案方案增加对枕中回和楔叶的关注。依据Destrieux大脑皮层分区标准，本案方案可在皮层空间共选择了22个感兴趣区，其空间分布和对应名称表示分别如图7所示。这些脑区并非与Destrieux分区形状完全吻合，而是结合实际响应特点，从相应脑区范围内选择一定大小的区域。其中，.L表示左半球，.R表示右半球，每个感兴趣区包含70-120个皮层信号源，左右对称感兴趣区内包含信号个数基本相等。

将基于感兴趣区信号对目标搜索和发现过程中脑区间信息交互方式进行研究。通过分析感兴趣区内信号的响应规律，探索目标搜索和发现过程皮层脑响应的时频特征，为基于皮层源信号的时变网络分析频段提供依据。以感兴趣区内所有信号时域响应和时频域响应的平均值作为该感兴趣区的时频响应。结果发现，22个感兴趣区的响应特征基本一致。目标诱发皮层信号的P3成分与头皮电位响应保持一致，目标检测过程的脑响应能量主要集中在15Hz以下。因此，本案方案将主要对皮层感兴趣区内1～15Hz源信号的进行皮层脑网络计算。为进一步分析，不同频率和时间下脑网络连接强度的变化规律，图8给出了各感兴趣区之间时变网络连接强度的时频分布图。图中纵坐标为控制区，横坐标为激活区。图中每个小方格横坐标表示[-500,600]ms时间范围，纵坐标为[1,15]Hz频带范围，每个像素点，表示在指定时间和频点下控制感兴趣区对激活感兴趣区的脑网络连接强度。从时间上看，目标搜索过程的连接强度较弱，目标出现后，连接强度逐渐增强。从频域上看，连接强度在[1,15]Hz频带范围内分布相对均匀。因此，本案方案以[1,15]Hz范围内连接强度的平均值表示进行时变网络的连接强度值。

目标搜索、信息整合和神经响应等阶段共同构成了动态视觉目标检测的认知过程。不同认知加工阶段对大脑功能的需求带来脑响应分布和脑网络连接的差异。本案方案分别分析了不同认知加工阶段的时变脑网络连接和各节点的出度、入度，如图8、图10和图11。图中信息流向为从浅色指向深色，还包含双向连接。

目标搜索阶段的网络连接强度较弱，图9给出了连接显著性水平高于0.05的所有连接。前额叶和前扣带回为主要激活区。图中呈现[-480,-240]ms所有连接强度范围在0.004～0.012，两侧脑岛控制作用明显，左侧控制作用更强。在目标搜索阶段，视频画面相对简单，缺乏目标信息的诱发，大脑整体的激活水平相对较低。为应对随时可能出现的车辆，大脑保持相对较高的专注性和警惕性，两侧颞叶相对其它脑区的活动更加丰富(图6)。由两侧颞叶控制着前额叶和前扣带回对信息的搜索和辨识。[-200,-40]ms强度高于0.012的连接，中央区、颞叶、枕中回、顶下回和颞顶连接处发挥控制功能。可以看出，该时间区间的脑连接模式与图10信息整合阶段脑连接模式十分相似。这是因为本案方案中的时间零点为事件相关电位对齐信号的时间零点，即忽略了目标检测潜伏期的变化性，将较长P3潜伏期强制对齐到350ms。因此，该阶段与信息整合阶段网络连接模式的相似性与P3真实潜伏期的变化有关。

信息整合阶段是对目标的早期认知加工。全脑的激活水平迅速提升(图6)，网络连接的强度较高，图10显示了连接显著性水平p<0.01且权值高于0.02的连接。从连接关系看，大脑信息交互程度随信息的整合过程得到显著地提升，中央区、脑岛和中颞叶、颞顶连接处、下顶叶、颞顶连接处和枕中回均对前额叶和前扣带回发挥控制作用。从节点出入度来看，全脑控制强度和激活水平迅速提升。额上回、中央区、顶下回、颞顶连接和枕中回控制功能较强。两侧前额叶和前扣带回激活程度最高。信息整合过程最明显的特点为额叶、中央、颞叶、颞顶连接处和枕叶等多脑区对前额叶和前扣带回的长程连接的强控制。这与现有研究中所提“额叶-中心-顶叶”区域与刺激注意相关的结论一致。

神经响应阶段是对整合后的信息进行识别，也是P3产生的关键阶段。图11显示了连接显著性水平p<0.01且权值高于0.023的连接。该阶段脑区激活的程度和大脑连接的丰富性达到最高。仍然为全脑对前额叶和前扣带回的强控制。从出入度看，控制脑区和激活脑区与信息整合阶段并无明显差异，但各脑区的控制和激活程度相对增强。尤其为前额叶、前扣带回、颞叶、顶下和枕中回激活增强，该现象与相关报道所强调“顶-枕”网络对决策响应的重要性一致，也与任务相关功能磁共振成像(FMRI)结果中所提，双侧前额叶、右下顶叶、前扣带回和颞叶区域激活伴有较高的P3峰值，相一致。信息整合阶段后期与决策响应阶段的脑网络分布相似性反映出这两个阶段在行为上可能存在一定的重叠，体现了信息整合晚期和决策响应两个阶段脑信息加工的关联性。

整体上看，目标搜索阶段全脑信息交互连接稀疏、响应微弱。目标出现后，脑信息交互连接逐渐丰富，脑响应显著增强。由此说明，任务难度越高，大脑认知加工越丰富。目标检测过程中，额叶、中央区、颞顶连接、顶下回和枕中回始终作为信息源控制大脑活动，前额叶、前扣带回和顶叶成为目标检测响应的关键激活区。相关报道指出，P3a主要由额叶和脑岛产生，而P3b主要由顶叶和颞叶产生。本案方案中，从目标搜索到发现的过程中，额叶、中央、颞叶、顶叶、颞顶连接和枕叶均发挥控制功能。左侧额上回和左侧中央区比右侧额上和右侧中央区在信息整合和决策响应过程中发挥更多控制功能。顶下回、颞中回和脑岛在信息整合和决策判决中更好地参与对全脑信息交互的控制作用。颞中回与高级视觉信息的处理和记忆相关。以前的研究证实了具有空间信息特征的视觉刺激与顶区的激活有关。本案方案视觉刺激材料中的视频场景虽无人机飞行发生空间位置的改变，同时车辆可能从任意方向进入视场。因此，本案方案顶叶皮层的控制作用可能与动态视频材料的空间信息有关。现有研究一致认为颞顶连接与P3产生有重要关联。本案方案中，颞顶连接在目标检测各阶段均发挥重要控制功能。在目标检测过程中，枕中回的控制作用十分显著。本案方案刺激材料要求被试同时对目标进行空间定位和识别，因此来自枕叶的视觉信号需要分别沿背侧和腹侧通路扩展到后顶执行“对象-位置”功能和颞叶执行“对象-识别”功能。相关研究认为，空间工作记忆的维持和空间注意力集中似乎是前额叶皮层的一个重要功能，动态视觉目标检测任务的显著特点是要求被试保护高度集中的空间注意力，因此，前额叶和前扣带回成为重要的激活区。

脑网络属性反映了大脑信息处理和转换的能力。图12分别从聚类系数、全局效率、局部效率、特征路径长度四个网络属性分析从搜索到发现的网络执行效率。其中，聚类系数、全局效率、局部效率的值越大，网络执行效率越高；特征路径长度的值越，网络执行效率越高。在搜索阶段，由于缺少目标信息的刺激，导致脑响应强度微弱和显著性连接稀疏，所以搜索阶段信息处理网络效率较低。在发现阶段，随着大脑对信息整合和决策响应，网络的执行效率越来越高，其中，信息整合阶段相比搜索阶段网络执行效率显著提升，为目标响应P3的产生做好了准备。决策响应阶段大脑信息转换效率达到最高。由此说明，任务难度越高，大脑认知加工越丰富，信息处理的效率越高。

搜索阶段的网络属性可能蕴含着潜在的目标检测能力。现有研究证实了静息态脑活动可以反映任务态有效信息处理的执行能力。为进一步探究目标搜索阶段和发现阶段的关联性，本案方案探索了目标搜索阶段的网络属性对发现阶段信号响应和检测性能的预测能力。

目标搜索阶段的网络属性与目标发现阶段的P3幅度、目标识别率和分类准确的相关性，如图13所示。考虑到[-200,0]ms信号受P3潜伏期变化影响，本案方案选择[-500,-300]ms信号网络属性平均值来表征目标搜索阶段的网络属性。P3幅度为Cz、Cpz1、CPz、Cpz2和Pz通道P3响应幅度的均值。目标检测率和分类准确率为基于事件相关电位对齐算法提取1000ms对齐的发现信号和搜索信号使用脑电Net计算得到。图中，每个实心圆点代表一名被试，R表示基于皮尔逊相关系数的线性相关值，P表示显著性水平。结果显示，目标搜索阶段的四种网络属性与P3幅度基本没有相关性，与目标击中率相关性较弱，与分类准确率有显著相关关系。分类准确率与特征路径长度负相关，与其它三种网络属性正相关。整体上，搜索阶段脑网络属性与发现阶段响应的相关性为通过搜索状态预测任务状态表现提供了可能，为优秀被试的选择和工作状态的监测提供了技术参考。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (2)

1.一种面向动态视频目标检测的时变脑网络重构方法，其特征在于，包含如下内容：

动态视频刺激实验过程中，被试者同时对目标进行空间定位和识别，将采集到的动态视频下被试者的头皮脑电信号映射到皮层空间，重构出高时空分辨率的皮层信号； 其中，动态视频刺激实验过程目标视频开始前，提取注视“+”所对应的脑电信号并将该脑电信号通过拼接来获取噪声信号；依据目标视频播放中目标出现的前后时间点来设定信号截取时间段；依据信号截取时间段来设定目标搜索过程和目标发现过程时间；通过设定的时间来获取用于皮层空间映射的任务信号；获取任务信号中，依据行为报告从采集的原始脑电信号中剔除错误报告对应视频信号，并进行信号数据的预处理，从预处理后的信号数据中提取用于皮层空间映射的噪声信号和任务信号，其中，该预处理包括：去除眼电和肌电伪影、滤波及降采样；且在皮层空间映射中，选择标准大脑解剖结构并导入空间三维坐标，设定包含大脑、头颅和头皮的三层头部模型；基于该三层头部模型获取每名被试者头皮脑电信号；针对头皮脑电信号通过计算协方差，并利用估计算法将单试次头皮脑电信号映射到皮层空间的信号源上；依据任务信号截取时间段获取基线信号，对单试次皮层信号响应通过标准化处理来获取皮层响应，并通过多试次叠加平均得到个体皮层脑响应；通过平均个体皮层脑响应来获取动态视觉目标检测任务的脑响应图数据；

依据动态视频下目标搜索和目标发现过程中的响应区域选取感兴趣区域并依据感兴趣区域设定脑网络空间位置节点，并将单个感兴趣区域内所有源信号时域响应的第一主成分值作为感兴趣区域信号的响应结果；

从皮层空间选取感兴趣脑区作为网络分析节点，以感兴趣脑区内所有信号时域响应和时频域响应的平均值作为该感兴趣脑区的时频响应；并针对皮层信号通过分析从目标搜索到目标发现的神经信息加工过程，获取反映认知加工过程的皮层时变脑网络连接图，其中，依据区域内多信号源的成分确定感兴趣区域内皮层信号，通过降采样及时间动力学模型计算获取时间和频点下网络节点之间的连接关系，在各感兴趣脑区之间时变网络连接强度的时频分布图中，将激活时间范围作为横坐标，控制频率范围作为纵坐标，利用每个像素点来表示对应指定时间和频点下控制感兴趣脑区对激活感兴趣脑区的脑网络连接强度，利用控制频率范围内脑网络连接强度平均值来表示进行时变网络的连接强度值；并在表示进行时变网络的连接强度值中，通过采用自适应定向传输函数，以网络连接强度集中频带的均值作为自适应定向传输函数连接强度，并通过个体平均、组分析和显著性校验，得到反映认知加工过程的时变网络连接图。

2.根据权利要求1所述的面向动态视频目标检测的时变脑网络重构方法，其特征在于，采用自适应定向传输函数，以网络连接强度集中频带的均值作为自适应定向传输函数连接强度中，采用基于相位随机的替代数据进行自适应定向传输函数参数统计检验，将频域变换中傅里叶矩阵系数相位随机打乱，产生新的替代时间序列；对每个时间序列进行相位随机化来评估原始时间序列中自适应定向传输函数值。

Images