卷积神经网络论文范文第五篇：卷积神经网络和迁移学习理论下癫痫发作状态识别模型的构建
摘要：随着对癫痫状态神经元电活动研究的不断深入，针对癫痫患者的电磁刺激疗法备受关注，自动准确地识别癫痫发作状态是及时准确地实施电磁刺激的关键。因此，构建了一种由通用模型向个性化模型迁移的癫痫发作状态识别方法。首先，基于多个病患的脑电数据，采用一维卷积神经网络建立癫痫状态识别的通用模型，学习不同病患癫痫发作时脑电状态的共性特征，以实现对不同病患癫痫发作状态的通用识别；其次，基于单个病患的脑电数据，通过迁移学习将通用模型的参数迁移到个性化模型之中以简化模型训练、加速收敛，讨论了通用模型参数向个性化模型迁移的全面迁移方式和卷积层参数迁移方式的性能。使用CHB-MIT数据库中17例病患的长程脑电记录数据对算法进行验证，最终所有病患个性化模型的平均准确率达到了91.04%.基于个性化模型对病患的长程脑电记录进行癫痫发作起止时间判断，模型对癫痫发作和结束状态的检出率达到了96.43%和89.29%.结果表明，该模型发挥了深度学习无需手动提取、选择特征的优势，为癫痫状态识别方法用于癫痫治疗方案的开发提供了参考与依据。
关键词：癫痫；卷积神经网络；迁移学习；个性化模型；
作者简介：曹玉珍（1963-），女，博士，教授，yzcao@tju.edu.cn.;*余辉，yuhui@tju.edu.cn.;
Abstract:With the deepening of research on the electrical activity of epileptic neurons,electromagnetic stimulation therapy for epileptic patients has attracted considerable attention. Automatic and accurate identification of epileptic seizure status is the key to the timely and accurate implementation of electromagnetic stimulation. In this study,a novel patient-specific seizure state recognition technique based on convolutional neural network（CNN）and transfer learning is proposed. First,on the basis of the electroencephalogram（EEG）recordings from multiple patients,the one-dimensional CNN is used to establish a general model for epileptic seizure state recognition. The general model is used to learn the common characteristics of EEG during seizures in different patients to achieve general recognition of seizure states. Then,on the basis of the EEG recordings from inpidual patients,the parameters of the general model are transferred to the personalized model using transfer learning to simplify model training and accelerate convergence. The model performance of the overall migration and convolution layer parameter migration modes of universal model parameters to the personalized model is also discussed. Finally,the algorithm is applied to long-term scalp EEG recordings of 17 patients in the CHB-MIT database. The average accuracy of all patient personalized models reaches 91.04%. On the basis of the personalized model,the patients' long-term EEG recordings are used to judge the onset and end of seizures. The detection rates of the onset and end of seizure states reach 96.43% and 89.29%,respectively,in the test dataset. Thus,the EEG-based seizure state recognition model using CNN and transfer learning could be used in the development of treatment programs for patients with epilepsy.
Keyword:epilepsy; convolutional neural network; transfer learning; personalized model;
癫痫是一种由大脑神经元异常放电引起的慢性大脑疾病，具有不确定性、反复发作的特点[1].癫痫状态自动识别不仅可以用于监测病患是否发病，也为癫痫电磁刺激疗法提供支持。对于一个闭环的电磁刺激控制系统，对癫痫发作状态应具有较好的识别准确率和实时性[2],而针对特定病患的癫痫发作状态自动识别算法是关键所在。
癫痫发作期间，脑电信号表现为棘波、尖波、棘慢复合波、尖慢复合波，被认为是临床上检测癫痫样放电最显著的特征波形。癫痫状态识别通常通过对脑电片段进行特征提取后进行分类识别，目前主要基于时域分析、频域分析、时频分析以及非线性动力学分析等技术提取特征。随着深度学习方法理论日益完善，深度学习模型在图像识别与分割、语音识别等领域都取得了很好的成果，在脑电信号分析处理中也逐渐取代了部分传统模式识别方法，得到了较广泛的关注。Acharya等[3]在2017年将卷积神经网络用于癫痫脑电数据处理，最终在BONN大学的i EEG数据集上达到了88.67%的识别准确率；Yao等[4]基于双向长短时记忆网络（LSTM）对癫痫脑电发作检测的平均精确度达到了88.63%.单绍杰等[5]在提取小波能量特征的基础上，将LSTM应用到单导联癫痫脑电发作预测中。
然而，由于不同病患之间的个体差异较大，训练一个识别准确的通用模型是很困难的，难以达到理想的识别效果。因此，考虑到病患的个体差异性，为其训练一个个性化的分类识别模型，以提高识别准确率，实现癫痫状态识别的个性化。
基于深度学习构建癫痫状态识别模型[6,7],相比于现有的基于特征提取和机器学习方法，无需手动提取、选择特征。癫痫作为一种神经系统疾病，不同病患之间异常脑电活动存在一定的共性，因此，本文提出一种癫痫状态识别的通用模型，采用一维卷积神经网络对不同病患的癫痫脑电进行分类辨识。同时基于通用模型使用迁移学习的方法为每个病患训练特定的个性化模型以实现癫痫状态识别。个性化模型基于迁移学习构建，具有收敛快速、数据量需求小的优点[8],在病患EEG数据库更新时无需再次重新训练模型。
1 方法
1.1 通用模型
癫痫状态识别通用模型基于一维卷积神经网络（1D-CNN）实现。模型一共包含3个卷积层、3个最大池化层和2个全连接层。1D-CNN接收长度为512的样本作为原始输入，卷积层和池化层的步长分别设置为1和2,其核的大小分别为5和2.3层卷积操作中卷积核的个数分别为16、32、64,在卷积过程中对样本边缘进行补零填充，使得经过卷积层的特征映射输出与输入尺寸相同。模型的结构如图1所示。
原始输入经过3个卷积层和3个池化层之后得到大小为64×64的特征映射，然后将二维特征映射展开成一个长度为4 096的一维张量，再经过两个全连接层降维之后进入Softmax层计算输入样本属于各类的归一化概率，最后得到输入样本的模型判断类别。1D-CNN模型使用ELU函数作为各中间层神经元的激活函数，同时基于Softmax函数输出计算二值交叉熵损失函数。
图1 一维卷积神经网络的结构与参数
Fig.1 Structure and parameters of 1D-CNN
1.2 基于参数迁移的癫痫状态识别个性化模型
通用模型可以用于病患脑电状态的初步判断，在获得新病患的脑电数据记录时也可使用通用模型进行预标注，同时通用模型的参数以及训练过程也可以为特定病患个性化的癫痫状态识别模型训练提供支持。
1.2.1 参数迁移方案
癫痫状态识别个性化模型基于训练好的通用模型实现参数迁移。参数迁移有两种方案：全面迁移和卷积层迁移。
全面迁移是将个性化模型的结构与参数完全按照通用模型实现，即在通用模型上更换不同的个性化数据集，调整学习率进行二次训练从而得到特定病患的个性化模型。
卷积层迁移是把通用模型的卷积池化组合部分的结构与参数迁移到个性化模型之中，但是模型最后几层的参数做重新训练，且模型最后几层的结构也可以做出一定程度的调整以更好地适应个性化状态识别任务。
1.2.2 个性化模型结构与参数
癫痫状态识别个性化模型结构与通用模型的结构（图1）相似，都是基于3个卷积层、3个池化层和2个全连接层的组合。
个性化模型的激活函数与优化方法与通用模型一致，分别使用ELU函数和Adagrad算法，未经参数迁移的全连接层使用He方法进行初始化。模型的损失函数也同样使用二值交叉熵函数。
2 实验方法与结果
2.1 数据来源及预处理
本文使用的脑电数据来源于美国国家综合医学研究所（NIGMS）和国家生物医学影像与生物工程研究所（NIBIB）提供支持的生物医学信号研究资源网站Physio Net中的CHB-MIT数据库[9].数据库包含了23例来自波士顿儿童医院的病患的脑电数据，记录了实验被试在撤去抗癫痫药物治疗后的情况下连续几天内监测采集到的头皮EEG信号，其中病患的年龄区间为3~22岁。数据库给出了每个病患每次癫痫发作的起止时间标注信息以便研究。数据库中的EEG数据采用国际化标准的10~20双极导联法记录，可以减少无关电极的干扰。采样频率为256 Hz,数据库记录了病患们23个通道的差动EEG数据。
依据数据库提供的癫痫发作起止标注信息，首先截取每个记录中病患发作期的数据片段。然后以2 s时间窗对发作期数据进行分段截取[10],得到若干病患EEG数据的正样本。其中窗口重叠率为50%,即移动步长为1 s,以此实现数据增强。然后在病患非发作期时段以相同的时间窗设置，随机截取和正样本数目相同的非发作期EEG数据片段作为负样本。
根据对23个病患的EEG数据经过截取后单通道的正样本数目分析可知，病患chb02、chb06、chb09、chb14、chb16和chb21的样本数目比较少（低于200），因此选取除上述病患之外17名病患的EEG数据进行分析研究。
对截取的原始EEG数据进行滤波，采用5层小波分解进行癫痫信号的降噪与重构，只保留delta、theta、alpha、beta频段的数据。选择波形与癫痫发作时的棘波相似且有紧支撑的db5小波作为母小波。
2.2 通用模型数据集构建与识别结果
2.2.1 通用模型数据集构建
为了建立通用模型，需要构建包含不同病患EEG数据样本的通用模型数据集。首先把数据库中各个病患原始EEG数据经过预处理之后得到若干数量发作期样本和非发作期样本，然后按照一定比例k（0<k≤1）随机选择不同病患相同数目的两类样本混合构成通用数据集。为了平衡模型的效果与性能，k值不宜过大或过小，经过验证与测试，当k=0.45时模型各方面表现最好。通用样本数据集一共包括17个病患的EEG样本数据共167 193个。然后对样本进行Z-score标准化处理，以便通用模型的训练。
2.2.2 通用模型识别结果
通用模型数据集中的样本分为发作期样本和非发作期样本共两类，标签分别设置为1和0.随机选取全部样本中的15%作为模型的测试集，剩余的样本用于1D-CNN的训练。
模型使用反向传播算法计算损失函数关于网络参数的梯度，使用自适应学习率算法Adagrad算法优化网络参数。在网络最后的全连接层引入随机失活（失活率设置为0.5）以预防过拟合。在训练过程中全局学习率初值设置为0.000 7~0.002 0之间的随机数。通用模型样本数据集的规模较大，为了节省计算资源，基于批处理方法训练模型，批处理大小设为300.抽取训练集10%作为验证集，图2显示了模型在训练过程中损失函数值Loss在训练集和验证集上的变化曲线。由图2可以看出，随着迭代次数增长，训练集和验证集的Loss逐渐下降。而验证集的Loss有相当长的平坦期，当迭代次数达到100次时，验证集Loss偏离训练集Loss,有再次增大的趋势，说明当前模型在数据集上训练100次左右后，继续训练可能会导致过拟合。因此，在过拟合之前，采取早停措施，故确定模型训练次数为100次。
使用准确率（accuracy,ACC）、真阳性率（true positive rate,TPR）和假阳性率（false positive rate,FPR）这3个指标评价模型的分类结果，其计算式分别为
式中：TP为模型预测和真实标签都为阳性的样本个数；FN为模型预测为阴性但真实标签为阳性的样本个数；FP为模型预测为阳性但真实标签为阴性的样本个数；TN为模型预测和真实标签都为阴性的样本个数；Ntotal为样本总数。
图2 通用模型损失函数值的变化曲线
Fig.2 Variation of the loss function value in the general model
当模型参数k=0.45、学习率设置设为0.000 95、迭代次数设为100时，上述通用模型最终在测试集上的ACC、TPR以及FPR分别为72.52%、73.86%和28.35%.选择未入选通用模型数据集的病患（chb02、chb06、chb09、chb14、chb16和chb21）的EEG数据构建新的测试集检验模型，ACC、TPR及FPR的均值分别为69.25%、71.45%和31.23%.以上结果表明，癫痫状态识别通用模型对EEG样本数据具有一定程度的区分能力，但针对特定病患的癫痫状态识别仍有一定的提升空间。
2.3 个性化模型数据集构建与识别结果
2.3.1 个性化模型数据集构建
个性化模型数据集的样本混合是针对特定病患不同通道的样本数据而言的。考虑到全通道脑电数据包含较多的冗余信息，会增加算法的计算复杂度且可能带来模型的过拟合[11],采用卷积自编码器和费舍尔准则[12],对病患的通道排序后，选择与分类任务相关性最高的若干个通道子集的样本数据混合在一起。这里选择通道子集数为5.
为了提升模型精度、预防过拟合的发生，需要对数据样本进行扩增。数据扩增的方法基于重截取，即针对上一步得到的通道子集中的原始EEG数据，调整数据截取的起始点和步长进行二次样本截取。数据样本的时长为2 s,样本点数为512.原始数据截取的窗口移动步长为1 s,现将窗口移动步长降低为0.5 s,也就是128个采样点，同时数据截取的起始点向后移动64个数据点（1/4 s）。这样可以保证重采样的数据与原有样本之间不产生重复。
2.3.2 个性化模型识别结果
个性化模型数据集中的样本标签设置与通用模型数据集中的一致。随机选取病患个性化模型数据集中15%的样本作为模型的测试集，剩余的样本用于模型训练。
模型的训练基于反向传播算法和Adagrad算法传播误差并优化网络参数。除了在网络最后的全连接层引入随机失活（失活率设置为0.5）以外还使用早停来预防过拟合。个性化模型训练的全局学习率初值比通用模型的学习率初值稍小，设置为0.000 4~0.001 4之间的随机数。个性化模型样本数据集的规模相对较小，为了增加批训练的次数，适当减小批处理大小，将其设置为100.抽取训练集5%作为验证集，图3显示了对于病患chb01,模型在训练过程中在训练集和验证集上准确率ACC的变化曲线。由图3可以看出，个性化模型的验证集ACC在20次左右迭代就达到了一个较高的水平并且趋于稳定。模型在验证集上的ACC与训练集ACC变化趋势一致，说明当前模型没有发生过拟合。其他病患个性化模型在训练时经过20次左右迭代也趋于收敛。对每一个病患都训练一个癫痫状态识别个性化模型，训练完成之后用测试集对模型进行检验，然后得到各个病患个性化模型的分类结果。各个病患对应的个性化模型最终在测试集上的ACC如图4所示。从图中可以看出癫痫状态识别个性化模型的识别准确率都较高。所有病患的平均ACC达到了91.04%.识别准确率最高的是病患chb10,为95.48%;识别准确率最低的是病患chb13,为85.78%.
同时，各个病患对应的个性化模型TPR均保持在较高水平，其中最高的是病患chb10,为97.10%;最低的是病患chb15,为88.24%;其平均值为92.05%,说明个性化模型在病患处于癫痫发作状态时，将这个时期的脑电样本片段判断为癫痫发作状态的可能性较大。各病患的FPR指标都较低，FPR最低的是病患chb04,为4.84%;最高的是病患chb13,为17.70%;其均值为9.27%.另外，病患之间TNR相差不大，TNR最高的是病患chb04,为95.16%;最低的是病患chb13,为82.30%;其均值为90.73%.反映了病患脑电正常状态可被正确识别的百分比较高。
图3 个性化模型ACC的变化曲线
Fig.3 Variation of ACC in the personalized model
图4 各病患个性化模型在测试集上的ACC
Fig.4 ACC of the personalized model with different pa-tients using a test set
2.3.3 癫痫发作起止时间判断
癫痫状态识别的个性化模型可用于癫痫病患长程脑电的发作起止时间判断，这使个性化模型的价值更大。病患chb12等的EEG部分数据记录中存在多次发作情况。排除其中用于通用模型和个性化模型数据集构建的发作情况，将剩余发作情况对应的长程EEG数据作为癫痫发作起止时间判断的测试数据。
将测试数据按照时序以2 s为窗长截取EEG片段输入个性化模型，其中窗口移动步长设置为1 s.为了提高癫痫发作时间段识别的鲁棒性和精度，当连续两次的识别结果为发作时，才判定病患进入癫痫发作状态；当连续两次的识别结果为正常时，判定病患不再是癫痫发作状态。当识别的状态发生改变时，输出上个窗口起点对应的时间戳，作为状态改变的时刻。定义发作开始时间偏差Tse和发作结束时间偏差Tee,以衡量癫痫发作起止时间判断的准确程度。Tse和Tee的计算式分别为
式中T0s、T1s、T0e、T1e分别代表癫痫发作开始的标定时间和模型判断时间、癫痫发作终止的标定时间和模型判断时间。
图5以病患chb04的某个发作片段为例癫痫发作起止时间判断的结果。其中纵轴1和0分别表示发作和正常状态。
图5 病患chb04癫痫发作起止时间判断示意
Fig.5 Seizure onset and ending time of patient chb04
统计上述7名病患所有发作片段在测试过程中的Tse和Tee,如表1所示。由表1可以看出，通过连续两次判别状态统一才确定状态的方法，个性化模型对癫痫发作起止时间判断的偏差绝大部分在3 s以内，其中Tse均值约为1.5 s,Tee均值约为2.3 s.考虑到样本的窗长为2 s,如果模型识别出的癫痫发作起止时间偏差不大于3 s,则认为模型正确识别出了癫痫状态[12].最终在测试数据集上模型对癫痫发作开始状态的检出率为96.43%,结束状态的检出率为89.29%,识别效果较好。
表1 不同病患癫痫发作起止判断时间偏差对比
表1 不同病患癫痫发作起止判断时间偏差对比
3 讨论
3.1 个性化模型的参数迁移程度
针对个性化模型参数迁移的程度进行讨论以找出最适合建立病患个性化癫痫状态识别模型的参数迁移方案。如表2所示，讨论的情况分为4种，即全面迁移（A）、卷积层迁移（B）、卷积层迁移且全连接层网络规模增加（C）、卷积层迁移且全连接层网络规模减小（D）的个性化模型。
表2 个性化模型参数迁移方案
表2 个性化模型参数迁移方案
个性化模型全连接层网络结构为两层，神经元数目分别为256和128.对于每个病患都训练A、B、C、D 4个个性化模型，完成训练后记录各个模型的评价指标。采用六折交叉验证，获得最佳ACC列示在表3中。采用第2.3.2节所述随机划分的测试集和训练集做多次实验，整体而言，约90%模型和最佳模型ACC相差在10%以内。
表3 病患迁移程度不同的个性化模型在测试集上的最佳ACC
表3 病患迁移程度不同的个性化模型在测试集上的最佳ACC
由表3可以看出4种迁移程度对应的个性化模型都有较高的分类准确率。大部分病患卷积层迁移方案对应的个性化模型的ACC高于全面迁移的方案。对于不同病患而言，最佳的迁移模型有所不同，可以认为这一现象产生的原因是不同病患之间个性化数据集的样本数不同，因而最适合该病患的模型容量也存在一定差异。
3.2 学习率初值
个性化模型训练使用的优化函数和通用模型训练中一致。在通用模型训练时学习率初值lr的最佳取值范围是[0.000 7,0.002 0].个性化模型由通用模型参数迁移而来，网络参数在源域上处于接近收敛的状态，因此在进行二次训练的时候可以适当降低学习率以免损失函数无法收敛到最小值附近。以病患chb01的个性化模型为例，不断调整lr的值，统计多次实验中个性化模型在测试集上的最佳分类准确率的变化情况，实验结果如图6所示。
图6 最佳ACC随学习率初值变化的曲线
Fig.6 Variation of the optimal ACC when considering the initial value of the learning rate
从图6可以看出，当lr在0.000 4~0.001 4时，病患chb01的个性化模型的最佳ACC取值较高。当lr>0.005时影响模型的最佳ACC明显降低。其他病患个性化模型的lr取值范围讨论结果与示例基本相同，选择区间[0.000 3,0.001 5]作为个性化模型的学习率初值取值范围。
4 结语
本研究构建了一个基于一维卷积神经网络的癫痫状态识别通用模型；为了进一步提升模型对病患癫痫状态的特异性识别效果，构建了基于迁移学习的个性化癫痫状态识别模型，通过对个性化模型的关键参数讨论分析，得到了一组较优的模型训练参数；最后基于个性化模型进行癫痫发作状态起止时间的判断，具有一定的临床应用价值。未来的工作可以考虑在算法的实时性研究方面开展工作，同时搭配嵌入式便携脑电信号采集仪实现癫痫脑电状态识别；将癫痫状态识别的功能加入到病患日常监护或者电磁刺激治疗设备之中，一旦检测到癫痫发作就立即通知相关人员对病患实施救助或启动电磁刺激设备进行治疗。
参考文献
[1] Fisher R S,Boas W V E,Blume W,et al. Response:Definitions proposed by the international league against epilepsy（IL AE）and the international bureau forepilepsy（IBE）[J]. Epilepsia,2005, 46（10）：1701-1702.
[2] Arrais M,Wendling F,Modolo J. Identification of effective stimulation parameters to abort epileptic seizures in a neural mass model[C]/IEEE 2019 41st Annual International Conference of the IEE Engineering in Medicine and Biology Society（EMBC）。 Berin, Germany,2019:5208-5211.
[3] Acharya U R,Oh S L,Hagiwara Y,et al. Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals[J]. Computers in Biology and Medicine ,2017,100:270-278.
[4] Yao X,Li X,Ye Q,et al. A robust deep learning approach for automatic classification of seizures against non-seizures[J]. Biomedical Signal Processing and Control,2021,64（3）：102215.
[5]单绍杰，李汉军，王璐璐，等基于LSTM模型的单导联脑电癫痫发作预测[J].计算机应用研究， 2018,35（11）：57-60 .Shan Shaojie,Li Hanjun,Wang Lulu,et al. Epil
eptic seizure prediction from single channel scalp EEG based on LSTM model[J]. Applic ation Research of Computers 2018,35（11）：57-60（in Chinese）。
[6] Daoud H,Bayoumi M A. Efficient epileptic seizure prediction based on deep leamning[J]. IEEE Transactions on Biomedical Circuits and Systems,2019,13（5）：804-813.
[7] Ullah 1,Hussain M,Qazi E U H,et al. An automated system for epilepsy detection using EEG brain signals based on deep learmning approach[J]. Expert Systems with Applications ,2018,107:61-71.
[8] Pan S J,Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering.2010.22（10）：1345-1359.
[9] Shoeb A. Applic ation of Machine Learning to Epileptic Seizure Onset Detection and Treatment[D] Cambridge:.Massachusetts Institute of Technology.2009.
[10] Duun-Henriksen J,Kjaer T,Elsborg R,et al. Channel selection for automatic seizure detection[J]. Clinical Neurophysiology,2011,123（1）：84-92.
[11] Alotaiby T N, EIsamie F,Alshebeili S A. A review of channel selection algorithms for EEG signal proc essing[J] EURASIP Journal on Advances in SignalProcessing,2015（1）：66-68.
[12]曹玉珍，高晨阳，余辉，等。基于深度学习的癫痫脑电通道选择与发作检测[J].天津大学学报：自然科学与工程技术版， 2020,53（4）：426-432.Cao Yuzhen,Gao Chenyang,Yu Hui,et al. Epileptic EEG channel selection and seizure detection based on deep learning[J]. Journal of Tianjin University:Science and Technology.2020,53（4）-:426-432（in Chinese）。
