CN114755946B - 基于眼电的电饭煲控制系统 - Google Patents

Abstract

本发明公开了一种基于眼电的电饭煲控制系统，包括：眼电采集模块，包括采集模块和操作界面模块，采集模块采集眼电信号发送给算法模块，操作界面模块显示不同的内容与用户进行交互，第一，根据电饭煲功能设置的按钮，按钮按照设定的顺序闪烁，第二，电饭煲功能确认执行的提示和完成电饭煲功能的提示；算法模块，利用采集到的眼电信号，通过分类算法来解析指令并发送给通讯模块；通讯模块，接收到算法模块的指令发送给控制模块和操作界面模块，将控制模块的完成信息发送给操作界面模块；控制模块，根据通讯模块的指令控制电饭煲执行功能，功能完成后将信息反馈给通讯模块。通过本发明可以使聋哑等残障人士用户有效地进行电饭煲的控制和使用。

Description

基于眼电的电饭煲控制系统

技术领域

本发明涉及人机交互的技术领域，尤其是指一种基于眼电的电饭煲控制系统。

背景技术

传统的眼电控制，眨眼的判定，数据分析，基于繁琐的先验知识设计的，眼电波峰的阈值设计复杂，对不同的用户来说，鲁棒性很差，这可能会限制其在大规模样本上的应用。对特征信号采用训练以及测试的方式去做眨眼的判断，增强了系统对不同的用户来说的适用性。

传统的人工智能电饭煲主要采用语音交互技术等技术实现电饭煲的控制，无法照顾到聋哑等残障人员的使用的问题。

发明内容

本发明的目的在于解决目前人工智能电饭煲、系统及交互方法中没有考虑到聋哑等残障人士用户的便捷使用问题，提出了一种基于眼电的电饭煲控制系统，可以供聋哑等残障人士用户有效地进行电饭煲的控制和使用。

为实现上述目的，本发明所提供的技术方案为：基于眼电的电饭煲控制系统，包括：

眼电采集模块，分为两个部分，一个为采集模块，一个为操作界面模块；所述采集模块采集到的眼电信号数据发送给算法模块；所述操作界面模块的操作界面显示的内容包括：根据电饭煲功能设置的按钮，按钮按照设定的顺序分别闪烁，以及电饭煲功能确认执行的提示和完成电饭煲功能的提示；

算法模块，利用采集到的眼电信号数据，通过分类算法进行眨眼检测，根据眨眼检测的结果确定是否选中操作界面显示的按钮以及其选中哪个按钮，按照设定的规则进一步解析出用户需要的功能，根据功能得到相应的指令，将指令发送给通讯模块；

通讯模块，在电饭煲执行功能之前，接收算法模块发出的各种指令并传给控制模块，在电饭煲完成功能之后，将功能完成的信息发送给操作界面模块；

控制模块，根据通讯模块接收的指令，控制电饭煲完成对应功能，将功能完成的信息传给通讯模块。

进一步，所述采集模块需要在用户眼周围放置电极，电极连接着信号放大器，然后信号放大器与算法模块相连，采集到的眼电信号数据会被发送给算法模块。

进一步，所述操作界面模块中，有三种不同的显示模式：训练模式、使用模式和提示模式；

在训练模式下，操作界面只显示一个按钮，这个按钮连续闪烁；情况一，用户被提前告知按钮闪烁后进行眨眼动作；情况二，用户被提前告知按钮闪烁后不进行眨眼动作；

在使用模式下，操作界面上排布着“稀饭”、“热饭”、“保温”、“粥”、“蒸煮”、“开始”和“撤销”7个按钮；其中，“稀饭”、“热饭”、“保温”、“粥”、“蒸煮”属于功能按钮，“开始”、“撤销”按钮属于决策按钮；7个按钮按照设定的时间间隔和设定的顺序进行闪烁，用户被告知，如果想要触发某个按钮的功能就需要在该按钮闪烁后马上进行一次眨眼；

提示模式，提示用户功能的执行和功能的完成；在算法模块确定用户需要的某个功能后，操作界面显示成功选中这个功能并执行；在功能完成后，操作界面显示成功完成这个功能。

进一步，所述算法模块接收到眼电信号数据，结合操作界面上按钮闪烁的顺序，对每一轮按钮闪烁时的眼电信号数据进行眨眼检测；眨眼检测先判断按钮闪烁后用户进行了眨眼动作的数量；如果零个眨眼动作或者在多个按钮闪烁后都进行眨眼动作，则不选中任何按钮，操作界面继续下一轮的按钮闪烁；如果只在一个按钮闪烁进行了眨眼动作，再进一步判断眨眼动作处于哪个按钮闪烁之后，从而确定用户触发了哪个按钮；具体的，在眨眼检测中，对按钮闪烁后的眼电信号数据进行分类来确定这个按钮后是否进行了眨眼动作；

对于分类算法具体内容，分为训练和使用两个部分；训练分为数据预处理和模型的构建两个部分；使用分为数据预处理和利用模型分类两个部分；

训练的数据预处理部分，操作界面模块处于训练模式，情况一和情况二下采集到的眼电信号数据被打成眨眼和无眨眼两种不同的标签，系统以按钮闪烁时间点为起点，截取一段固定长度的眼电信号段；首先对信号段整体进行带通滤波，去除高频肌电以及低频头部抖动的干扰，然后进行差分，得到差分信号段，需要提取的波形特征参数包括：滤波信号段的最大值a_max，差分信号段的最大值d_max，差分信号段的最小值d_min，差分信号段最大值与最小值的时间点成为t_p和t_v，滤波信号段的均值a_ave，波形跨度t_d由公式给出：

t_d＝|t_p-t_v|

a_max、d_max、d_min、t_p、t_v、a_ave作为6个特征数据；

训练的模型的构建，χ表示特征空间，Y表示标签集合，-1代表无眨眼，1代表眨眼，Rⁿ表示实数域，N表示数据总量，第i个特征向量第i个标签y_i∈Y＝{-1,+1}，存在1≤i≤N；每个样本点由特征和标签组成，训练数据集表示为：

T＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}

利用训练数据集T构建分类模型，由于输入的特征数量小，为了分类效果，采用投票分类器G(x)模型，其中使用的基本分类器分别为：K-近邻分类器g₁(x)，线性判别分析分类器g₂(x)，支持向量机分类器g₃(x)；g_m(x)表示第m个基本分类器，a_m是线性组合中g_m(x)对应的系数，且利用特征和标签分别训练基本分类器g₁(x),g₂(x),g₃(x)；投票分类器G(x)本质上是一种提升(boosting)方法，最终得到的分类器是基本分类器的线性组合：

计算g_m(x)的训练数据上的分类误差率e_m：

其中，系数

根据上述的公式，得到投票分类器G(x)；

使用的数据预处理部分，操作界面模块处于使用模式，按钮闪烁后，采用与训练的同样的数据处理方式；

使用的模型分类部分，将a_max、d_max、d_min、t_p、t_v、a_ave这6个特征数据放入训练得到的投票分类器中，将分类输出结果作为眨眼检测的结果；

当连续的两个选中的按钮分别为功能按钮和决策按钮的时候进行判断：先选中功能按钮，后选中撤销按钮，认为撤销之前的选中的功能按钮；先选中功能按钮，后选中开始按钮，认为确定执行选中的功能按钮对应的功能，算法模块将确定执行功能对应的指令发送给通讯模块，并且在眼电采集模块中的操作界面模块中显示成功选中这个功能。

进一步，所述通讯模块为一个蓝牙接口，能够进行双向的通信，在指令下达之前，其专门接收算法模块发出的指令信息，并根据指令信息控制电饭煲工作，在指令对应的功能完成之后，将功能完成的信息发送给操作界面模块。

进一步，所述控制模块接收通讯模块发送的指令，然后控制电饭煲执行指令对应的功能，同时设置定时器和进行温度检测，其中定时器的时间为设定的功能对应的完成时间；当定时器定时结束且温度大于设定的功能对应的完成温度，判断功能完成，然后将功能完成的信息反馈给通讯模块。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用了投票分类器的算法去做眨眼检测，比传统的直接设置阈值检测波峰的方法更具有适应性、鲁棒性，对于不同的用户或者同一用户不同的时间段，能够根据用户的脑电信号更新训练模型，以达到更好的效果。

2、本发明设计了通讯模块，负责算法模块和控制模块的通讯，将算法模块输出的指令传送给控制模块，将控制模块是否完成指令的信息传给眼电采集模块，沟通了多个模块，提高了整个系统的可用性。

3、本发明使用的算法相较于其它脑电控制的系统使用的算法，模型较为简单，参数量和计算量较小，速度快，因而再实际应用场景中具有广泛的使用空间，具有广阔的应用前景。

4、本发明在设计电饭煲的按钮选择的时候，设置了“开始”和“撤销”两个功能按钮，能够一定程度上防止眨眼误触按钮，提高操作效率。

5、本发明提供了一种电饭煲智能控制的新思路，利用一种生理电信号去控制电器的使用，在智能家居的实际应用中前景十分广泛。

附图说明

图1为本发明系统的架构图。

图2为操作显示模块的屏幕按钮排布示意图。

图3为眨眼检测流程框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1所示，本实施例公开了一种基于眼电的电饭煲控制系统，包括以下功能模块：

眼电采集模块，分为两个部分，一个为采集模块，一个为操作界面模块；所述采集模块采集到的眼电信号数据发送给算法模块；所述操作界面模块的操作界面显示的内容包括：根据电饭煲功能设置的按钮，按钮按照设定的顺序分别闪烁，以及电饭煲功能确认执行的提示和完成电饭煲功能的提示；

算法模块，利用采集到的眼电信号数据，通过分类算法进行眨眼检测，根据眨眼检测的结果确定是否选中操作界面显示的按钮以及其选中哪个按钮，按照设定的规则进一步解析出用户需要的功能，根据功能得到相应的指令，将指令发送给通讯模块；

通讯模块，在电饭煲执行功能之前，接收算法模块发出的各种指令并传给控制模块，在电饭煲完成功能之后，将功能完成的信息发送给操作界面模块；

控制模块，根据通讯模块接收的指令，控制电饭煲完成对应功能，将功能完成的信息传给通讯模块。

进一步，所述采集模块需要在用户眼周围放置电极(Ag/AgCl电极)，电极连接着信号放大器，型号为Neuroscan NuAmps，然后信号放大器与算法模块相连，采集到的眼电信号数据会被发送给算法模块。

进一步，所述操作界面模块中，有三种不同的显示模式：训练模式、使用模式和提示模式。

在训练模式下，操作界面只显示一个按钮，这个按钮连续闪烁。情况一，用户被提前告知按钮闪烁后进行眨眼动作；情况二，用户被提前告知按钮闪烁后不进行眨眼动作。

在使用模式下，操作界面上排布着“稀饭”、“热饭”、“保温”、“粥”、“蒸煮”、“开始”、“撤销”7个按钮，见图2所示。其中，“稀饭”、“热饭”、“保温”、“粥”、“蒸煮”属于功能按钮，“开始”、“撤销”按钮属于决策按钮。7个按钮按照设定的时间间隔和设定的顺序进行闪烁，用户被告知，如果想要触发某个按钮的功能就需要在该按钮闪烁后马上进行一次眨眼。

提示模式，提示用户功能的执行和功能的完成。在算法模块确定用户需要的某个功能后，操作界面显示成功选中这个功能并执行。在功能完成后，操作界面显示成功完成这个功能。

进一步，所述算法模块接收到眼电信号数据，结合操作界面上按钮闪烁的顺序，对每一轮按钮闪烁时的眼电数据进行眨眼检测。眨眼检测先判断按钮闪烁后用户进行了眨眼动作的数量。如果零个眨眼动作或者在多个按钮闪烁后都进行眨眼动作，则不选中任何按钮，操作界面继续下一轮的按钮闪烁。如果只在一个按钮闪烁进行了眨眼动作，再进一步判断眨眼动作处于哪个按钮闪烁之后，从而确定用户触发了哪个按钮。具体的，在眨眼检测中，对按钮闪烁后的眼电信号数据进行分类来确定这个按钮后是否进行了眨眼动作。

对于分类算法具体内容：我们分为训练和使用两个部分。训练分为数据预处理和模型的构建两个部分。使用分为数据预处理和利用模型分类两个部分。

训练的数据预处理部分，操作界面模块处于训练模式，情况一和情况二下采集到的眼电信号数据被打成眨眼和无眨眼两种不同的标签，系统以按钮闪烁时间点为起点，截取一段固定长度600ms的眼电信号段(采样频率；250Hz)首先对信号段整体进行带通滤波(1-12Hz)，去除高频肌电以及低频头部抖动的干扰，然后进行差分，得到差分信号段，需要提取的波形特征参数包括：滤波信号段的最大值a_max，差分信号段的最大值d_max，差分信号段的最小值d_min，差分信号段最大值与最小值的时间点成为t_p和t_v，滤波信号段的均值a_ave，波形跨度t_d由公式给出：

t_d＝|t_p-t_v|

a_max、d_max、d_min、t_p、t_v、a_ave作为6个特征数据。

训练的模型的构建，χ表示特征空间，Y表示标签集合，-1代表无眨眼，1代表眨眼，Rⁿ表示实数域，N表示数据总量，第i个特征向量第i个标签y_i∈Y＝{-1,+1}，存在1≤i≤N。每个样本点由特征和标签组成，训练数据集可以表示为：

T＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}

利用训练数据集T构建分类模型。由于输入的特征数量小，为了分类效果，采用投票分类器G(x)模型，其中使用的基本分类器分别为：K-近邻分类器g₁(x)，线性判别分析分类器g₂(x)，支持向量机分类器g₃(x)。这三种基本分类器可以采用MATLAB机器学习的工具箱实现。g_m(x)表示第m个基本分类器，a_m(m＝1,2,3)是线性组合中g_m(x)对应的系数，且利用特征和标签分别训练基本分类器g₁(x),g₂(x),g₃(x)。投票分类器G(x)本质上是一种提升(boosting)方法，最终得到的分类器是基本分类器的线性组合。

计算g_m(x)的训练数据上的分类误差率e_m：

其中系数

根据上述的公式，得到投票分类器G(x)。

使用的数据预处理部分，操作界面模块处于使用模式，按钮闪烁后，采用与训练的同样的数据处理方式。

使用的模型分类部分，将a_max、d_max、d_min、t_p、t_v、a_ave这6个特征数据放入训练得到的投票分类器中，将分类输出结果作为眨眼检测的结果，眨眼检测的流程框图见图3所示。

当连续的两个选中的按钮分别为功能按钮和决策按钮的时候进行判断。先选中功能按钮，后选中撤销按钮，认为撤销之前的选中的功能按钮；先选中功能按钮，后选中开始按钮，认为确定执行选中的功能按钮对应的功能，算法模块将确定执行功能对应的指令发送给通讯模块，并且在眼电采集模块中的操作界面模块中显示成功选中这个功能。

进一步，所述通讯模块为一个蓝牙接口，可以进行双向的通信。在指令下达之前，其专门接收算法模块发出的指令信息，并根据指令信息控制电饭煲工作。在指令对应的功能完成之后，将功能完成的信息发送给操作界面模块。

进一步，所述控制模块接收通讯模块发送的指令，然后控制电饭煲执行指令对应的功能，同时设置定时器(时间为设定的功能对应的完成时间)和进行温度检测。定时可以使用555定时器芯片完成，温度检测装置使用数字式测温芯片DS18B20完成。当定时器定时结束且温度大于设定的功能对应的完成温度，判断功能完成，然后将功能完成的信息反馈给通讯模块。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于眼电的电饭煲控制系统，其特征在于，包括：

眼电采集模块，分为两个部分，一个为采集模块，一个为操作界面模块；所述采集模块采集到的眼电信号数据发送给算法模块；所述操作界面模块的操作界面显示的内容包括：根据电饭煲功能设置的按钮，按钮按照设定的顺序分别闪烁，以及电饭煲功能确认执行的提示和完成电饭煲功能的提示；

算法模块，利用采集到的眼电信号数据，通过分类算法进行眨眼检测，根据眨眼检测的结果确定是否选中操作界面显示的按钮以及其选中哪个按钮，按照设定的规则进一步解析出用户需要的功能，根据功能得到相应的指令，将指令发送给通讯模块；

通讯模块，在电饭煲执行功能之前，接收算法模块发出的各种指令并传给控制模块，在电饭煲完成功能之后，将功能完成的信息发送给操作界面模块；

控制模块，根据通讯模块接收的指令，控制电饭煲完成对应功能，将功能完成的信息传给通讯模块；

所述算法模块接收到眼电信号数据，结合操作界面上按钮闪烁的顺序，对每一轮按钮闪烁时的眼电信号数据进行眨眼检测；眨眼检测先判断按钮闪烁后用户进行了眨眼动作的数量；如果零个眨眼动作或者在多个按钮闪烁后都进行眨眼动作，则不选中任何按钮，操作界面继续下一轮的按钮闪烁；如果只在一个按钮闪烁进行了眨眼动作，再进一步判断眨眼动作处于哪个按钮闪烁之后，从而确定用户触发了哪个按钮；具体的，在眨眼检测中，对按钮闪烁后的眼电信号数据进行分类来确定这个按钮后是否进行了眨眼动作；

对于分类算法具体内容，分为训练和使用两个部分；训练分为数据预处理和模型的构建两个部分；使用分为数据预处理和利用模型分类两个部分；

训练的数据预处理部分，操作界面模块处于训练模式，情况一和情况二下采集到的眼电信号数据被打成眨眼和无眨眼两种不同的标签，系统以按钮闪烁时间点为起点，截取一段固定长度的眼电信号段；首先对信号段整体进行带通滤波，去除高频肌电以及低频头部抖动的干扰，然后进行差分，得到差分信号段，需要提取的波形特征参数包括：滤波信号段的最大值a_max，差分信号段的最大值d_max，差分信号段的最小值d_min，差分信号段最大值与最小值的时间点成为t_p和t_v，滤波信号段的均值a_ave，波形跨度t_d由公式给出：

t_d＝|t_p-t_v|

a_max、d_max、d_min、t_p、t_v、a_ave作为6个特征数据；

训练的模型的构建，χ表示特征空间，Y表示标签集合，-1代表无眨眼，1代表眨眼，Rⁿ表示实数域，N表示数据总量，第i个特征向量第i个标签y_i∈Y＝{-1,+1}，存在1≤i≤N；每个样本点由特征和标签组成，训练数据集表示为：

T＝{(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}

利用训练数据集T构建分类模型，由于输入的特征数量小，为了分类效果，采用投票分类器G(x)模型，其中使用的基本分类器分别为：K-近邻分类器g₁(x)，线性判别分析分类器g₂(x)，支持向量机分类器g₃(x)；g_m(x)表示第m个基本分类器，a_m是线性组合中g_m(x)对应的系数，且利用特征和标签分别训练基本分类器g₁(x),g₂(x),g₃(x)；投票分类器G(x)本质上是一种提升方法，最终得到的分类器是基本分类器的线性组合：

计算g_m(x)的训练数据上的分类误差率e_m：

其中，系数

根据上述的公式，得到投票分类器G(x)；

使用的数据预处理部分，操作界面模块处于使用模式，按钮闪烁后，采用与训练的同样的数据处理方式；

使用的模型分类部分，将a_max、d_max、d_min、t_p、t_v、a_ave这6个特征数据放入训练得到的投票分类器中，将分类输出结果作为眨眼检测的结果；

当连续的两个选中的按钮分别为功能按钮和决策按钮的时候进行判断：先选中功能按钮，后选中撤销按钮，认为撤销之前的选中的功能按钮；先选中功能按钮，后选中开始按钮，认为确定执行选中的功能按钮对应的功能，算法模块将确定执行功能对应的指令发送给通讯模块，并且在眼电采集模块中的操作界面模块中显示成功选中这个功能。

2.根据权利要求1所述的基于眼电的电饭煲控制系统，其特征在于，所述采集模块需要在用户眼周围放置电极，电极连接着信号放大器，然后信号放大器与算法模块相连，采集到的眼电信号数据会被发送给算法模块。

3.根据权利要求1所述的基于眼电的电饭煲控制系统，其特征在于，所述操作界面模块中，有三种不同的显示模式：训练模式、使用模式和提示模式；

在训练模式下，操作界面只显示一个按钮，这个按钮连续闪烁；情况一，用户被提前告知按钮闪烁后进行眨眼动作；情况二，用户被提前告知按钮闪烁后不进行眨眼动作；

在使用模式下，操作界面上排布着“稀饭”、“热饭”、“保温”、“粥”、“蒸煮”、“开始”和“撤销”7个按钮；其中，“稀饭”、“热饭”、“保温”、“粥”、“蒸煮”属于功能按钮，“开始”、“撤销”按钮属于决策按钮；7个按钮按照设定的时间间隔和设定的顺序进行闪烁，用户被告知，如果想要触发某个按钮的功能就需要在该按钮闪烁后马上进行一次眨眼；

提示模式，提示用户功能的执行和功能的完成；在算法模块确定用户需要的某个功能后，操作界面显示成功选中这个功能并执行；在功能完成后，操作界面显示成功完成这个功能。

4.根据权利要求1所述的基于眼电的电饭煲控制系统，其特征在于，所述通讯模块为一个蓝牙接口，能够进行双向的通信，在指令下达之前，其专门接收算法模块发出的指令信息，并根据指令信息控制电饭煲工作，在指令对应的功能完成之后，将功能完成的信息发送给操作界面模块。

5.根据权利要求1所述的基于眼电的电饭煲控制系统，其特征在于，所述控制模块接收通讯模块发送的指令，然后控制电饭煲执行指令对应的功能，同时设置定时器和进行温度检测，其中定时器的时间为设定的功能对应的完成时间；当定时器定时结束且温度大于设定的功能对应的完成温度，判断功能完成，然后将功能完成的信息反馈给通讯模块。