您现在的位置是:网站首页>军事军事

超级电玩城免广告版下载最新

江夏岚 2025-05-14 军事 5299 人已围观

新智元报道⑥、【新智元导读】MICAS是一种专为3D点云上下文学习设计的多粒度采样方法⑱,通过任务自适应点采样和查询特定提示采样⑤,提升模型在点云重建⑦、去噪⑯、配准和分割等任务中的稳健性和适应性⑰,显着优于现有技术⑳。

3D点云处理涉及多种任务⑱,如分割⑨、去噪⑥、配准⑫、重建等⑳,传统方法通常是为每个任务设计专用模型❷,导致过程繁杂⑥、成本高昂⑬。

虽然多任务学习⑳、能缓解模型数量问题②,但在任务冲突②、参数调优方面仍存在挑战①。

近年来兴起的In-Context Learning技术②,是指大型语言模型在不进行显式参数更新的情况下⑨,仅通过输入中的示例来完成新的任务⑳。

在3D点云领域⑥,由于点云数据本身具有非结构化和无序性②,因此点云的采样策略成为实现有效上下文学习的关键因素⑦,不可忽视❷。

浙江大学②、内华达大学里诺分校的研究人员提出首个专为点云上下文学习设计的多粒度自适应采样机制MICAS⑪,包含两个关键模块:任务自适应点采样与查询特定提示采样⑲,分别从点级和提示级两个维度出发④,有效提升ICL在3D点云任务中的稳健性与适应性⑪。

论文链接:https://arxiv.org/abs/2411.16773

MICAS实现

任务自适应点采样⑦、利用任务相关的信息⑱,优化每个点的采样过程②,以提高不同任务间对点的选择精度❶。

1. 提示理解:使用PointNet作为编码器⑨,从输入prompt中提取出任务特征❷,再将输入点云和目标点云的特征进行拼接③,生成任务特征⑩。

2. Gumbel采样:使用Gumbel-softmax实现可微分的采样②,将任务特征和当前点云的特征结合⑳,通过正态化的sampling weights生成最终的采样结果⑭,让模型在训练期间得到更高的效能⑬。

查询特定提示采样⑰、在同一个任务下⑱,对不同的查询提高提示的相关性⑭,来解决任务内部的敏感性⑭。

伪标签生成:利用ICL模型来生成预测结果①,评估其与真实值之间的差异❶,将模型性能作为伪标签⑬;

采样分值计算:根据不同候选提示对每个查询点云计算采样分值▓,选择分值最高的提示作为最终输入⑥。

损失函数:用List-wise ranking loss优化提示的选择顺序②,提高模型的整体性能⑥。

实验分析⑰、评估数据集:⑦、使用ShapeNet In-Context Dataset❶,该数据集包含了多种「输入-目标」点云的对⑲,以便进行全面的任务评估⑱。

评估指标:⑩、使用Chamfer Distance和Mean Intersection over Union来衡量不同任务的性能①。例如⑭,CD用于重建⑰、去噪和配准任务⑰,mIOU用于分割任务⑭。

研究人员验证了文中所提出的任务自适应点采样与查询特定提示采样两个模块的有效性③,设计并开展了多组消融实验⑱。

同时⑦,为进一步验证所提方法 MICAS 的鲁棒性与通用性③,在多种点云深度学习模型上进行了测试⑤。

实验结果表明:任务自适应点采样模块在点云去噪与部件分割任务中带来显着性能提升⑥,而查询特定提示采样模块则在点云重建与配准任务中表现更加优越①。

综合结果进一步印证了两种采样策略在不同任务中各具优势⑩,分别从点级与提示级两个粒度对上下文构建形成互补效应⑲,共同推动模型性能的全面提升⑫。

模型训练和推理可视化③、实验结果对比可视化⑯、研究人员从中心点采样质量与模型预测性能两个维度对比了所提MICAS方法与Baseline方法⑳。

实验结果表明⑮,MICAS所采用的自适应采样策略在中心点选择上优于Baseline中常用的最远点采样⑨,从而进一步带来了更优的下游任务预测效果⑭。

重建任务的采样结果对比④、去噪任务的采样结果对比⑪、配准任务的采样结果对比❸、分割任务的采样结果对比⑱、参考资料:

很赞哦❷!

随机图文