讯享网

 <p id="34SEOKF8">本文介绍了来自NeurIPS 2024的最新科研成果 ———一种完全<strong>自监督</strong>的湍流分析新范式。其性能远远超越同类有监督方法，且所需的训练样本（无标注）仅为以往方法的 1 %。该方法受湍流领域所特有的物理规律启发，引入了一种全新的零散度损失。同时，该方法自然支持测试时优化，利用动态测速增强器（DVE）模块，实现了强大的<strong>跨领域鲁棒性</strong>：仅在物理合成数据上训练，即可泛化到真实世界数据上。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Feef9f859j00sm8x7u007ad200mz00c6g00it009y.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p><blockquote id="34SEOKJ6">论文题目： Dual-frame Fluid Motion Estimation with Test-time Optimization and Zero-divergence Loss 论文链接： https://arxiv.org/abs/2410.11934 代码链接： https://github.com/Forrest-110/FluidMotionNet</blockquote></p><p id="34SEOKFC"><strong>一、动机</strong></p><p id="34SEOKFD"><strong>测量和理解湍流</strong>是一个至关重要的问题，无论是在自然界，还是在工程社会中，湍流在生活的各个方面无处不在。三维粒子跟踪测速（PTV）是分析湍流的关键技术，也是本世纪最具挑战性的计算问题之一。三维粒子跟踪测速仪的核心是双帧流体运动估计算法，该算法在两个连续帧中跟踪粒子。最近，基于深度学习的方法如 DeepPTV<strong>[1]</strong>和 GotFlow3D<strong>[2]</strong>在双帧流体运动估计方面取得了令人印象深刻的优越性能；然而，这些方法利用的是<strong>全监督</strong>方案，<strong>严重依赖于大量有标记数据</strong>。这种数据依赖对AI4Science领域提出了巨大挑战，尤其是在PTV领域: 由于需要精确选择示踪粒子、定制照明和相机设置，因此收集合适的数据非常复杂。此外，某些场景（如疾病背景下的细胞质流）非常罕见，因此几乎不可能获得大量的数据。</p><p id="34SEOKFE">为了解决上述难题，研究团队引入了一种新型的<strong>纯自监督</strong>框架，专门用于三维 PTV 过程中的双帧流体运动估计。针对数据收集的固有困难，该方法可在有限的数据集规模下工作，<strong>仅需要现有的全监督方法通常使用的数据集规模的1%，就可获得相比拟的性能</strong>。此外，流体粒子具有特殊的物理特性，为此，研究团队利用不可压缩流体速度场固有的零散度原理，设计了一种专为流体定制的新型零散度自监督损失算法。由于该方法是自监督式的，自然支持测试时优化。因此，研究团队还引入了一个称为动态测速增强器（DVE）的模块，该模块可在测试过程中根据特定输入数据即时优化初始预测，能够在各种测试场景中提高准确度，具有较好的<strong>跨域鲁棒</strong><strong>性</strong>。</p><p id="34SEOKFF">通过全面的实验，该<strong>纯自监督框架明显优于完全监督框架</strong>，即使在数据受限的条件下也是如此。此外，研究团队进行了跨领域鲁棒性分析，展示了该框架具有将其推广到未见领域的内在能力，甚至包括真实世界的物理/生物领域，突出体现了该方法在真实世界三维 PTV 应用的可能。</p><p id="34SEOKFG"><strong>二、方法</strong></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F42c185d5j00sm8x7u00ggd200u000dtg00it008n.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>方法概述：训练阶段，该方法使用输入点云构建图表示，然后通过可训练的特征提取器，并使用自监督损失项（包括重建损失 g 、平滑损失 f 和零散度损失 e ）求解最优传输问题，以进行初始流估计。测试阶段，有了初始流估计值 F_init，该方法再利用另一个重建损失函数 g* 优化残差 R，以生成最终流 F。<strong><strong>2.1 问题形式化</strong></strong></p><p id="34SEOKFI">为了阐明提出的双帧流体运动估计方法，研究团队首先将问题形式化：算法输入为两个连续的、非结构化的3D粒子集， 和 ，这些粒子集分别在时间 和 被记录。该方法输出预测的流动运动 ，将 中的每个粒子 映射到一个向量 ，该向量表示两帧之间的移动，捕捉湍流3D环境中的流动动态。</p><p><strong>2.2 训练阶段</strong><strong>2.2.1 图特征提取器</strong></p><p id="34SEOKFJ">基于点云的提取器常用于激光雷达场景流估算。虽然这些提取器能有效辨别更广泛的空间结构，但它们把握<strong>错综复杂的局部关系</strong>（这对分析流体动力学至关重要）的能力可能不足。相比之下，基于图的特征提取器通过考虑近似节点（在本文的语境中为流体粒子）之间的关系，在捕捉局部模式方面表现出色。因此，受到 GotFlow3D<strong>[2]</strong>的启发，研究团队选择了<strong>基于图的特征提取器</strong>：首先从输入点云中构建一个静态近邻图。然后通过 GeoSetConv 层对该图进行处理，形成高维几何局部特征。为了进一步丰富特征，该方法根据高维特征使用 EdgeConv 构建动态图，形成一个能输出静态-动态特征的 GNN。</p><p><strong>2.2.3 求解最优传输问题</strong></p><p id="34SEOKFK">利用特征提取器得到的静态-动态特征，可通过<strong>最优传输（optimal transport）</strong>框架来求解对应链接问题，其中两点之间的传输成本越高，表明提取特征空间内的相似度越低。最优传输方案可以得到 和 之间的软对应权重，该权重可用于求解初始流估计值 。</p><p><strong>2.2.4 自监督损失</strong></p><p id="34SEOKFL"><strong>1. 重建损失：</strong></p><p id="34SEOKFM">自监督流体学习的一个核心原则是 与 应该相似。Chamfer distance （CD）是测量点云补全中点云形状相似度的标准度量。因此，该方法采用CD作为重构损失，并添加了一个正则化项以防止退化：</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fd3b12912p00sm8x7v0006d200g0001xg00it0029.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKFP">这里， 代表由 形成的估计点云， 是由 形成的目标点云。 表示最优传输中的匹配置信度，它是运输成本的加权和。 项用于避免 的平凡解。</p><p id="34SEOKFQ"><strong>2. 平滑损失：</strong></p><p id="34SEOKFR">鉴于速度场具有无限可微的特性，流速场应显示出一定级别的连续和平滑过渡（在粗略尺度上）。基于这一理论基础，该方法引入了一个平滑正则化损失来强化和维持速度场中的这种连续行为，定义如下，</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fd0b44f6fp00sm8x7v0004d2008w0022g008w0022.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKFU">这里， 代表由 形成的点云。 表示与 最近的 个点的索引集。 和 分别表示点 和 处估计的流动向量。</p><p id="34SEOKFV"><strong>3. 零散度损失：</strong></p><p id="34SEOKG0">平滑损失对于流体粒子并不足够。考虑到速度场的内在属性，不可压缩流体具有零散度性质。此外，在低马赫数等条件下，可压缩流体也可以近似为不可压缩，这在许多工程环境中是近似成立的。因此，研究团队引入了零散度正则化损失，补偿了平滑损失的缺陷。</p><p><ul><li id="34SEOKJ3"></p><p id="34SEOKG1">基于<strong>Splat</strong>的实现。</p><p id="34SEOKG2">Splat 最初用于高维高斯滤波，将输入值嵌入高维空间。该方法实现了基于splat的零散度损失：计算散度需要场的偏导数，而3D中粒子的不规则排列使这一过程复杂化。因此，作者提出将非结构化的流动估计“splat”到一个统一的3D网格上，然后在这些网格点上应用零散度正则化。</p><p id="34SEOKG3">形式上，密集网格由 表示，其中 表示网格点的3D索引。参数 对应于网格的间距。给定网格点 ，使用逆平方距离作为插值权重来近似该点的流动，</p><p></li></ul><br/></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F85d9ae37p00sm8x7v0003d200al002hg00al002h.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKG5">其中 是点 处估计的流动值。 表示 的点集中网格点 的邻域。参数 引入是为了保持数值稳定性。使用splatting，将变量粒子距离转换为固定网格间距，从而实现高效计算零散度损失。</p><p id="34SEOKG6">一旦采用了 Splat，由 指定的某点的散度可以定义为：</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fdb4537d8p00sm8x7w0004d200c0002kg00c0002k.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKG8">其中， 是在第 项为1的单位向量。</p><p id="34SEOKG9">最终，零散度正则化可以表述为，</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fece37b61p00sm8x7w0005d200d7002eg00d7002e.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKGB">其中 J、K 和 L 分别代表各个维度上的网格点数。</p><p id="34SEOKGC">总而言之，该方法训练阶段最终的自监督训练损失为</p><p id="34SEOKGE"><strong>2.3 测试阶段</strong></p><p id="34SEOKGF">从训练网络得到初始流估计后，该方法在测试阶段引入了一个新颖的<strong>动态流速增强器</strong>（DVE）模块进行测试时优化。这提供了额外的灵活性，以适应未见情况并解决由于有限的训练数据而引起的潜在不准确性。形式上，DVE寻求一个残差流向量 ，使得 ，可以优化以纠正不准确性。DVE本质上是一个使用 目标函数的优化过程，公式如下：</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fp00sm8x7x0006d200d2002ng00d2002n.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKGH">该损失函数类似于 ，但没有正则化 。该优化问题使用Adam优化器求解，只涉及来自 矩阵的参数。考虑到现有的测试时优化模块运行缓慢，DVE相比之下非常高效。</p><p id="34SEOKGI"><strong>三、实验</strong></p><p id="34SEOKGJ">作者在多个数据集上对提出的框架进行了全面评估。首先，作者将提出的方法与<strong>SOTA 全监督方法</strong>进行了比较。接着，针对特定领域数据有限的现实情况，考察了该方法在<strong>训练数据规模受限</strong>的情况下的性能。然后，作者评估了该框架在不同领域下的性能，突出了其<strong>跨领域鲁棒性</strong>。此外，作者还对框架的各个组件进行了全面的<strong>消融研究</strong>，以验证其效果。</p><p id="34SEOKGK">这里展示主要结果，更多结果请参考论文。</p><p><strong>3.1 与最先进方法的比较</strong></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F3e96129bj00sm8x7x0070d200nh0089g00it006l.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34SEOKGM">以完全监督方法为基准。 表示可训练参数的数量。 表示每个样本的推理时间。**结果以粗体标出。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F701a55d4j00sm8x7y00h6d200na00hdg00it00e0.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>不同流体类型之间的比较。**结果用粗体标出，次优结果用下划线标出。右侧的子图直观显示了这三种流体。颜色越深表示流速越高。所有模型都是在完整数据基础上训练的，除了Ours (1%)。</p><p id="34SEOKGO">3.2 有限数据训练表现</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2F3eaf9ed2j00sm8x7z001dd200u00077g00it004i.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>有限训练数据下EPE指标的比较。<br/><strong>3.3 跨领域鲁棒性表现</strong><strong>3.3.1 在同一合成流体数据集上进行测试</strong></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Fb94023bcj00sm8x7z0013d200u00049g00it002n.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>六折交叉验证。以最先进的流体运动学习方法 GotFlow3D 作为基准，EPE 指标结果。<strong>3.3.2 Sim2Real实验</strong><ol><li id="34SEOKJ4"></p><p id="34SEOKGR">从合成流体数据到实际流体数据的测试</p><p></li></ol></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Febac6a30j00sm8x8000a9d200o3008ng00it006q.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>(a) DeformationFlow 数据可视化。(b) 提出的方法进行的初始估算。(c) SerialTrack和 Ours+ST的耗时比较。“PerIt "表示 PTV 每次迭代的时间。<ol><li id="34SEOKJ5"></p><p id="34SEOKGT">从合成物理流体到生物数据的测试</p><p></li></ol></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1101%2Ffe4cec38p00sm8x81001hd200gu0039g00it003m.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p>AVIC 图像数据集。C2E, C2N, E2N 代表三种设置：Cyto-D 处理与 Endo-1 处理对比，Cyto-D 处理与正常处理对比，Endo-1 处理与正常处理对比。MNDS 代表平均邻域距离得分。<strong>四、总结与展望</strong></p><p id="34SEOKGV">此研究提出了一种<strong>测试时自监督框架</strong>，用于从双帧非结构化粒子集学习三维流体运动。该方法解决了<strong>数据效率依赖和跨域鲁棒性</strong>的难题，这对实际应用至关重要。研究团队通过两个真实世界的研究证明了所提出的方法的可行性，期待此类研究结果可以为进一步研究广泛的真实世界应用、探索特定场景的约束条件以及开发新型模型架构以增强适应性提供参考。</p><p>参考文献</p><p id="34SEOKH0">[1] Jiaming Liang, Shengze Cai, Chao Xu, Tehuan Chen, and Jian Chu. Deepptv: particle tracking velocimetry for complex flow motion via deep neural networks. IEEE Transactions on Instrumentation and Measurement, 71:1–16, 2021.</p><p id="34SEOKH1">[2] Jiaming Liang, Chao Xu, and Shengze Cai. Gotflow3d: recurrent graph optimal transport for learning 3d flow motion in particle tracking. arXiv preprint arXiv:2210.17012, 2022.</p><p id="34SEOKH2">llustration From IconScout By IconScout Store</p><p id="34SEOKH6">-The End-</p><p id="34SEOKHA"><strong>扫码观看！</strong></p><p id="34SEOKHD"><strong>本周上新！</strong></p><p id="34SEOKHK"><strong>“AI技术流”原创投稿计划</strong></p><p id="34SEOKHM">TechBeat是由将门创投建立的AI学习社区（</p><p><blockquote id="34SEOKJ7">www.techbeat.net</blockquote>） 。 社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。<br/></p><p id="34SEOKHO"><strong>投稿内容</strong></p><p id="34SEOKHP"><strong>// 最新技术解读/系统性知识分享 //</strong></p><p id="34SEOKHQ"><strong>// 前沿资讯解说/心得经历讲述 //</strong></p><p id="34SEOKHS"><strong>投稿须知</strong></p><p id="34SEOKHT">稿件需要为原创文章，并标明作者信息。</p><p id="34SEOKHU">我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励</p><p id="34SEOKI0"><strong>投稿方式</strong></p><p id="34SEOKI1">发送邮件到</p><p id="34SEOKI2"><strong></strong></p><p id="34SEOKI3">或添加<strong>工作人员微信（</strong><strong>yellowsubbj</strong>）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“<strong>投稿</strong>”二字，获得投稿说明。</p><p id="34SEOKID"><strong>关于我“</strong>门”</p><p id="34SEOKII"><strong>将门</strong>是一家以专注于<strong>数智核心科技领域</strong>的<strong>新型创投机构</strong>，也是<strong>北京市标杆型孵化器</strong>。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。</p><p id="34SEOKIK">将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。</p><p id="34SEOKIM">如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，<strong>欢迎发送或者推荐项目给我“门”:</strong></p><p id="34SEOKIN"></p><p class="f_center"><img src="http://dingyue.ws.126.net/2024/1101/bcd2ee39g00sm8xd200j000aog0059002y.gif"/><br/></p><p id="34SEOKJ0">点击右上角，把文章分享到朋友圈</p>