但尚不清晰这些发觉正在多洪流平上合用于人类正在一样平常糊口中经常作出的天然活动[10

13 5月

但尚不清晰这些发觉正在多洪流平上合用于人类正在一样平常糊口中经常作出的天然活动[10

例如,sub01_ses-3_behavior+ecePhy.nwb包含记实第3天参取者P01的数据。我们利用PyNWB 1.4.0加载这些数据文件并取其交互。表1显示了所有从变量正在每个数据文件中的。

十余年来,核心一直秉承“鼎力支持 热情办事行业”的旨,立脚“的IPR高端智库 行业的立异IPR平台”定位,充实阐扬中国信通院正在手艺尺度、法令律例、政策经济、行业立异、财产成长等范畴的全体劣势,聚焦于学问产权创制、使用、、办理、办事全链条,努力于处理中国消息通信财产所面对的各类计谋性和现实性学问产权问题,帮力国度学问产权强国扶植、激发全社会立异活力、鞭策建立新成长款式。

表3 每个参取者的粗略勾当标签持续时间(以小时为单元)。这些标签描述了各类参取者的行为,如聊天、吃饭和看电视。每隔3分钟手动审核一次视频,生成标签。虽然到目前为止睡眠是最常见的,但每个参取者正在几个小时内城市呈现几个勾当标签。请留意,多个勾当标签能够同时呈现(例如。边吃边看电视)。因而,任何勾当标签(最初一栏)的总持续时间可能小于每个参取者零丁标签持续时间的总和。

姿态轨迹则是利用计较机视觉从同步的视频记实中获得的,能够从动化有些乏味的正文过程,该过程以前解除了建立雷同的数据集[30、31]。除了这两个焦点数据流,我们还添加了大量的元数据,包罗以前用于神经解码的数千个手腕活动启动事务[32、33],描述所施行的活动类型和任何相关上下文的10个定量事务相关特征[18]、描述参取者基于对视频的视觉查抄的行为形态的粗略标签[34]、以及14个分歧的电极程度特征[18]。这个数据集,我们称之为AJILE12(12名人类参取者的持久皮质脑电图术中的正文关节),它成立正在我们之前的AJILE数据集[35]的根本上,如图1所示。

图1 12名受试者(AJILE12)的持久皮质脑电描记(AJILE12)数据集的f附带正文关节示企图。AJILE12包罗12名参取者的ECoG记实和上身姿态轨迹,总共记实了55天,以及各类行为、活动事务相关和电极程度的元数据。所无数据都以NWB数据尺度存储正在Dandi存档上,我们正在Jupyter Python中建立了一个基于浏览器的定制仪表板,以便利数据摸索,而无需当地下载数据文件。

图2 粗略的行为标签。(A)我们利用分层标签对视频记实中的参取者行为进行标注,以细致申明常见的和勾当行为。这些正文还包罗列表标签,这些标签正在数据摸索期间可能要避免的时间。(B)我们展现了参取者P01正在整个记实第四天期间的行为标签的示例。如预期的那样,睡眠取歇息发生正在早上和晚上,次要勾当时段正在白日(8:00-20:00)。最下面一行显示了以谈线小时勾当期间的细致勾当标签。请留意,这些细致的勾当标签能够正在时间上堆叠。

标签包罗事务检测可能不精确的时间,如相机挪动和遮挡,以及私家时间和无关的研究尝试。一些参取者也有临床法式标签,表白临床工做人员对参取者非常行为做出反映的时间。我们对所有标签进行了上采样,以婚配姿态数据的30赫兹采样率。表3和表4别离显示了勾当标签和列表标签参取者之间每个标签的持续时间。

同一的开源数据格局能够帮帮研究人员可以或许轻松地拜候数据并使用事后存正在的、可反复利用的工做流程,而不是从零起头,因而我们利用了NWB。此外,我们还开辟了一个可拜候的、基于浏览器的交互式仪表板,它能够可视化神经和姿态勾当,以及相关的元数据。该仪表盘能够近程拜候AJILE12以可视化数据,而无需下载当地数据文件,从而提高了AJILE12的可拜候性。

每个参取者都被植入了按照临床需要放置的皮层脑电(ECoG)电极。我们选择这些参取者是由于他们正在监测期间凡是很活跃,并且ECoG电极位于活动皮质附近。所有参取者都供给了书面知情同意。我们的方案获得了大学院校审查委员会的核准。

即可便利地进行数据摸索。我们的仪表板包罗电极的可视化,以及用户选择的时间窗口的ECoG和手腕姿态轨迹(图4)。

春秋29.4±7.6岁[Mean±SD])正在美国西雅图港景医学核心进行临床癫痫监测期间的数据。4名女性;我们收集了12名人类参取者(8名男性,个体参取者的细致消息请拜见表2。

天然的人类活动是复杂和顺应性强的,涉及多个皮质和皮质下区域的高度协调的感受活动处置[1-4]。然而,很多聚焦于人类上肢活动的神经根本的尝试经常研究受限的、反复的活动,例如正在受控的尝试室中[5-9]。如许的研究极大地添加了我们对活动的神经联系关系的认识,但尚不清晰这些发觉正在多大程度上合用于人类正在日常糊口中经常做出的天然活动[10,11]。人类上肢活动的研究包罗提醒和性较少的活动[12-16],但关心无布局的、天然的活动能够加强我们对活动行为的神经根本的认识,帮帮我们理解神经行为变同性的感化[18,19],并帮帮开辟用于现实世界的健壮的脑机接口[20-26]。正在这里,我们展现了同步的颅内神经记实和上半身姿态轨迹,这些轨迹是基于12名受试者随机获得的,他们正在3-5个记实日(总共55天)内进行了不受的天然活动。将电极间接放置正在皮质概况、颅骨和硬脑膜下,便能够通过皮质脑电(ECoG)记实到颅内神经勾当,如许能够供给高空间和时间分辩率[27-29]。

虽然手动正文容易遭到报酬错误的影响[55],但当基于标识表记标帜的活动捕捉不成能[30,56]时,它们经常被用来评估无标识表记标帜姿态估量机能。我们利用所相关键点上平均的均方根(RMS)误差来评估用于锻炼模子的950帧以及50个未锻炼的带正文帧的模子机能。正如预期的那样,阻尼组的均方根误差(5.71±1.90像素)较着大于列车组误差(1.52±0.12像素),但仍正在可接管的容差范畴内,由于3个像素大约等于1 cm33。

为了将神经科学的研究扩展到受的尝试室之外,领会天然从义场景中人类活动的神经根本十分主要。正在这里,我们描述了正在12名人类参取者的持久皮质脑电图术(AJILE12)数据集中的正文关节,这是公开且可用的、最大的人类神经行为数据集,它是正在被动临床癫痫监测期间记实的。AJILE12包罗同步的颅内神经记实和上半身姿态轨迹,跨度包罗55个半持续的天然活动,还有相关的元数据,包罗数千个手腕活动事务和正文的行为形态。每个参取者佩带至多64个电极,以500赫兹的频次进行神经记实。数据调集计1280小时,从1.18亿个视频帧估量了9个上半身环节点的姿态轨迹。为了进一步利用和操纵这些数据,我们正在NWB数据尺度享了丹迪档案上的AJILE12,并开辟了一个基于浏览器的仪表板。

学问产权取立异成长核心(以下简称“核心”)成立于2008年,是中国信通院一级营业部分,高级工程师及以上职称人数占比近40%。

AJILE12对于将来的阐发具有很高的反复利用价值,由于它是一个大型的、全面的、颠末优良验证的、正在NWB数据尺度享的数据集。我们收录了55天的半持续颅内神经记实,以及数千个颠末验证的手腕活动事务,这都大大跨越了来自对照尝试的典型ECoG数据集[36]以及其他持久天然的ECoG数据集[34、35、37、38]。如斯丰硕的数据提高了统计能力,使大规模地摸索比以前可能的更复杂的行为成为可能,出格是便于操纵现代机械进修手艺,如深度进修[32、39-42]。

表1.每个数据文件中包含的次要变量。文件定名为Sub-##_ses-#_behavior+ecePhy.nwb,此中##暗示参取者,#暗示的日期。

我们努力于脑机接口的财产立异研究和创生力军协同,我们普遍联合产学研用各方专家,并努力于面向供给支持,面向行业供给办事,面向供给科普。

我们对每个参取者利用零丁的DeepLabCut模子对原始视频片段进行了无标识表记标帜姿态估量。起首,一名研究人员正在每个参取者(的1000个随机视频帧中手动标注了9个上半身环节点(鼻子、耳朵、手腕、肘部和肩膀)的2D。正在所有日中随机选择帧,优先选择白日勾当期间的帧。这1,000帧相当于每个参取者视频记实中总帧的0.006。这些人工标注的帧被用来为每个参取者锻炼零丁的DeepLabCut神经收集模子(950帧用于锻炼,50帧用于验证)。模子布局为50层深的卷积神经收集(ResNet-50)。然后,我们将锻炼后的模子使用于该参取者的每一个视频帧,以生成估量的姿态轨迹。我们利用视频时间戳同步ECoG数据和姿态轨迹,并归并多个记实会话,以便每个文件包含从午夜[47]起头和竣事的整个24小时记实日的数据。

同样,时间窗之间的差别看起来很小,我们看到感受活动(地方前回/地方后回)和颞区之间的光谱功率较着分歧,正如预期的那样。此外,我们保留了每个参取者92.3%±6.3%的ECoG电极(表2),进一步证了然我们神经数据的质量[53,54]。我们通过将每个姿态估量模子的输出取我们对每个参取者的姿态的手动正文进行比力来验证姿态轨迹(表5)。

表5 位姿估量模子误差。我们的从动无标识表记标帜姿态模子的均方根沉建误差显示了每个参取者的锻炼(950帧)和(50帧)集。正在计较误差时,我们利用手动正文做为根基现实,计较所有9个上半身环节点的平均误差。对于标号3,像素大约等于1厘米。

运转我们的Jupyter Python仪表板并从头建立本文中的所有成果的代码可正在上找到。我们利用的是Python3.8.5和PyNWB 1.4.0。我们的代码存储库中供给了一个需求文件,此中列出了运转代码所需的Python包和版本。我们的代码是公开的,除了归属之外没有其他。

表4 每个参取者的粗略列表标签持续时间(以小时为单元)。这些标签正在提取因为相机挪动、无关的尝试和私家时间而导致的手腕挪动事务时要避免的时间。标签是通过手动审查视频生成的,分辩率约为3分钟。

此外,AJILE12包含全面的元数据,包罗粗略的行为标签、定量事务特征和组级别坐标中的局部电极,从而可以或许对神经勾当进行跨参取者比力。我们还对神经数据进行了预处置,并正在视觉上验证了所有6931个手腕活动事务,以确保高质量的数据,这些数据曾经正在多个研究中利用。此外,我们正在NWB数据尺度(表1)43中发布了AJILE12,以恪守可发觉性、可拜候性、互操做性和可沉用性的公允数据准绳[44]。

图3 颅内神经信号质量验证。(A)以MNI坐标显示每个参取者的皮层脑电图仪电极。显示了(B)所有12名参取者(暗影暗示尺度差)和(C)参取者P01正在所有可用的半小不时间窗口中的ECOG功率谱。我们将频谱能量投射到感受活动和姑且大脑区域,解除了可能表白数据中缀的非数字值的时间窗口。参取者P01的行暗示每个窗口中的电力(n 130=合计,或65小时)。功率谱外形(跟着频次的添加呈指数下降)和随时间的分歧性表白我们的神经记实正在多个记实日的洁净度和不变性。

正在这一部门,我们通过验证我们的两个焦点数据流:颅内神经记实和姿态轨迹来评估AJILE12的手艺质量。除了这项评估外,我们之前还正在多项已颁发的研究[18、32、33]中验证了AJILE12的质量和靠得住性。我们通过评估投射到常见大脑区域的频谱能量来验证ECoG数据质量。这一投影过程使多参取者可以或许进行比力,虽然电极笼盖分歧,并将ECoG数据的维度从64个或更多电极(图3(A))降低到几个感乐趣的大脑区域[18,32]。正在这项阐发中,我们沉点研究了利用AAL2脑图谱[48,49]定义的左侧大脑半球的4个感受活动和颞叶区域:地方前回、地方后回、颞中回和颞下回。对于电极次要植入左半球的参取者,我们将电极镜像到左半球。我们将神经数据分成30分钟的窗口,并使用韦尔奇的方式计较不堆叠的30秒子窗口的中值光谱功率。我们解除了具有非数字数据值的30分钟窗口,很可能是因为数据中缀。正在所有记实的日子里,我们平均利用每个参取者160.4±30.6个窗口(80.2±15.3个小时)。频谱能量被内插到整数频次,并被投射到4个预定义的大脑区域(有一步的方式细节,请Peterson等人18)。图3(B)显示了按参取者划分的跨时间窗口的平均频谱功率。总体而言,参取者之间的功率谱连结相当分歧,时间窗口之间的尺度误差很小,这表白ECoG的大部门数据都适合利用[51,52]。我们还绘制了参取者P01的每个零丁窗口的功率谱,如图3(C)所示。