来自麻省理工学院和实证卫生学院的研究人员的一项新研究使用了300万个人日的Apple Watch数据来开发一个基础模型,以令人印象深刻的准确性预测医疗状况. 详情如下。
有点背景
Yann LeCun仍是Meta的首席AI科学家,他提出联合预测架构(Joint-Embedding Previous Architecture), 即JEPA,
换句话说,在处理数据空白时,模型学会了预测缺失的部分_代表_,而不是尝试猜测和重构它们的精确值.
例如,对于一个图象,当某些部分被遮掩,另一些部分被遮掩时,JEPA会将可见和遮掩的区域嵌入一个共享的空间(因此,联合Embedding),并让模型从可见的上下文推断蒙掩区域的代表性,而不是隐藏的准确的_内容_.
Meta在2023年发布名为I-JEPA的模型时,
翻译: 去年,梅塔的AI首席科学家Yann LeCun提出了一个新的架构,旨在克服当今甚至最先进的AI系统的关键局限性。 他的愿景是创建能够学习世界如何运作的内部模型的机器,以便他们能够更快地学习,计划如何完成复杂的任务,并随时适应不熟悉的情况.
自从LeCun最初的JEPA研究发表以来,这个架构就成为了一个探索“世界模式”领域的基础,这背离了LLMs和基于GPT的系统的象征性预测重点。
事实上,LeCun最近甚至离开了Meta来创办一个完全专注于世界模型的公司,他认为这是通往AGI的真正路径.
300万天的苹果观察数据?
是的,回到手头的书房。 几个月前出版的论文JETS:一个自我监督的联合嵌入时间系列保健行为数据基础模型最近被NeurIPS的一个讲习班所接受.
它将JEPA的联合嵌入方法适用于不规则的多变量时间序列,如长期可穿戴数据,其中的心率,睡眠,活动等测量值在一段时间内显得不一致或存在较大差距.
从研究中:
翻译: 该研究利用了一个纵向数据集,其中包括从16 522个群体收集的可穿戴设备数据,共计300万人/日。 对每个人来说,每日或较低的分辨率记录了63个不同的时间序列指标。 这些指标分为五个生理和行为领域:心血管健康、呼吸道健康、睡眠、体育活动和一般统计。
有趣的是,只有15%的参与者将医疗史贴上评价的标签,这意味着85%的数据在传统的监督学习方法中是无法使用的。 相反,JETS首先通过自我监督的预训从完整的数据集中学习,并在标签子集上微调了_当时_.
为了让整件事奏效, 他们用与日,值,和度量类型相对应的观测数据 做了三重数据。
这使得他们可以将每个观测结果转换成一个符号,这反过来又经过了一个遮掩过程,被编码,然后通过一个预测器(以预测缺失的补丁的嵌入)进行输入.
一旦完成这项工作,研究人员将JETS与其他基线模型(包括基于变形器架构的JETS的前版本)对比,并使用AUROC和AUPRC来评价它们,这是AI如何区分正反案例的两个标准尺度.
JETS实现高血压的AUROC为86.8%,审判性颤抖为70.5%,慢性疲劳综合征为81%,患病性鼻炎综合征为86.8%等. 当然,它不会总是赢,但好处相当明显,如下所述:
值得强调的是, AUROC 和 AUPRC 并非严格意义上的准确性指数。 他们的衡量标准显示一个模型对可能病例的排名或优先排序有多好,而不是它得到正确预测的频率。
总而言之,本研究报告为最大限度地发挥数据作为不完整或不定期而注销的洞察力和救生潜力提供了一个有趣的办法。 在某些情况下,只有0.4%的时间记录了健康指标,而另一些时间则出现在99%的日读数中。
研究还强化了这样的观念,即新颖的模型和培训技术有很多希望来探索苹果卫视等常规可穿戴器已经收集的数据,即使它们没有100%的时间磨损.
你可以在这里读完整的研究。
亚马逊的附属交易
_FTC:我们使用赚取收入的汽车附属链接。 _ 再来
