AI 大模型、端到端 VLA 与具身世界模型
聚焦具身基础大模型与策略学习，提出基于 AI Agent 的通用机器人分层操作架构 Teach and Grow（基座权重冻结、参数化技能块与物理断言自愈）、首创视觉-声音-语言-动作统一大模型 HEAR（因果音频记忆与流匹配高保真轨迹生成），以及面向示教扩增的 4D 多视角生成式具身世界模型 ERMV。
聂畅
博士研究生（最后一年）
研究兴趣
- 具身智能与机器人学习 (Embodied AI & Robot Learning)
- VLM 与 LLM 大模型机器人认知推理 (VLM & LLM Reasoning)
- 端到端具身策略 (VLA、WAM) 与流匹配动作扩散
- 基于 AI Agent 的通用操作架构与生成式世界模型
- 多模态感知与 3D 时空几何重建 (3D Perception & SfM)
关于我
我是聂畅，上海交通大学控制科学与工程专业博士生（导师：王贺升教授），预计于 2027 年 1 月毕业。
研究方向聚焦具身智能、VLM与LLM大模型、机器人学习，主攻端到端机器人策略（VLA、WAM）、基于 VLM/LLM 的机器人认知推理、基于 AI Agent 的通用操作架构、生成式世界模型以及 3D 感知。具备移动双臂机器人全栈系统集成与实机部署经验。相关研究以第一作者发表于 IJRR、ICCV、IEEE TNNLS、ICRA、IROS 等顶刊顶会。致力于推动具身基础大模型（VLM/LLM/VLA）、AI Agent 智能体与生成式世界模型在真实物理环境中的闭环落地。
研究与开发
3D 感知、时空重建与鲁棒几何视觉
移动双臂机器人系统集成与产业实机部署
具备移动双臂机器人全栈系统集成与实机调试经验。主导搭建生化实验移动双臂机器人全栈架构、统筹宁德时代重载工业物流移动双臂协同作业系统、主导哪吒汽车 4D 自动标注平台、车规级地下车库自主代客泊车 AVP、宝时得智能割草机，以及华威大学长时序具身智能 Agent 架构。
最新动态
近期学术论文、研究进展与工程项目动态。
- 项目进展 机器人 主导搭建面向生化实验全流程的移动双臂具身智能全栈系统架构，完成真实机器人高保真交互与闭环验证。
- IJRR 论文 HEAR 获 IJRR 录用：首创视觉-声音-语言-动作（VSLA）统一具身大模型，融合因果音频记忆与流匹配生成高保真轨迹。
- 在研 Teach and Grow：基于 AI Agent 的通用机器人分层操作架构，在基座模型权重冻结下持续积累可复用技能块并实现闭环自愈。
- IJCV 论文 VCGS-SLAM 发表于 IJCV：提出面向端侧嵌入式视觉系统的体素化 3D 高斯稠密视觉 SLAM。
展开更多动态 收起动态
- 进行中 合作项目 华威大学合作：主导搭建分层 Agent 具身操作架构，实现长程任务规划与闭环物理自愈。
- 进行中 合作项目 香港中文大学合作：主导搭建移动双臂操作框架，负责同轴视觉伺服与智能体闭环执行。
- 工业项目 机器人 宁德时代合作：统筹搭建重载工业物流移动双臂自主协同作业框架，实现密集料箱拆垛与跨工位转运。
- ICRA 论文 MRASfM 获 ICRA 2026 接收：研发刚性多相机 SfM 重建与多趟次时空地图高精度几何配准聚合。
- TNNLS 论文 MID 获 IEEE TNNLS 录用：提出多模态自监督迭代去噪框架，无干净监督下恢复非线性退化数据。
- IROS 论文 MovSAM 获 IROS 2025 接收：结合视觉语言大模型（VLM）与深度思考认知推理，实现单图运动物体分割。
- 在研 提出 4D 生成式具身世界模型 ERMV：在严格保持机械臂动作轨迹几何一致下实现高质量场景编辑。
- 在研 提出 LNR：通过学习邻域几何特征实现粗到细筛选与细化，用于复杂场景鲁棒多模型拟合。
- 在研 提出 DiffSAC：将几何条件扩散生成引入采样一致性，高效采样高质量假设以实现鲁棒估计。
- 产学研 哪吒汽车合作：主导搭建车规级环视多相机三维重建与自动化 4D 标注系统架构，赋能自动驾驶与世界底座。
- ICCV 论文 RLSAC 获 ICCV 2023 录用：提出强化学习引导的几何采样一致性框架，在极高外点率下实现鲁棒估计。
- TETCI 论文 DTFI 获 IEEE TETCI 录用：提出基于激光雷达-相机融合与 IMM-UKF 的高速公路 3D 目标检测与跟踪。
- 产学研 寅家科技合作：主导搭建自主代客泊车（AVP）全栈架构，突破 GNSS 拒止环境下的高精定位与规划控制，完成实车闭环路测。
- 产学研 宝时得合作：主持研发智能割草机坡度自适应激光点云滤波与视觉避障算法，完成非结构化起伏草地实机作业。
- 2019–2022 科研平台 北航自主研发：从零搭建两代全线控实验平台，打通 ROS/ROS2 架构、LiDAR-SLAM、多传感器融合与底盘电控调优。
机器人与工程项目视频
从声音感知操作、移动双臂机器人，到自动驾驶与三维感知，浏览研究与工程项目的实验演示。
论文与研究
聚焦具身智能、VLM与LLM大模型、端到端具身策略（VLA、WAM）、AI Agent 智能体通用操作架构、生成式世界模型以及 3D 感知。
2026
机器人 AI Agent免训练机器人学习代表工作
Teach and Grow：面向通用机器人学习的智能体中心架构
T-RO审稿中IEEE Transactions on Robotics（IEEE 机器人学汇刊，T-RO）
基于 AI Agent 的通用机器人分层操作架构，在基座大模型权重完全冻结下将少样本示教转化为可复用技能块，结合物理状态断言实现闭环自愈。
关键词免训练机器人学习机器人 AI Agent具身智能体 (Agentic AI)终身机器人学习技能库与长期记忆闭环操作验证
2025
在审稿件机器人世界模型
ERMV：面向具身智能的 4D 多视角机器人世界模型
TCSVT审稿中IEEE Transactions on Circuits and Systems for Video Technology（IEEE 电路与系统视频技术汇刊，TCSVT）
4D 多视角生成式具身世界模型：在严格保持机械臂动作与轨迹几何一致的前提下实现高质量场景编辑，赋能下游端到端 VLA 策略训练。
关键词具身世界模型机器人世界模型动作对齐视频编辑同步机器人轨迹稀疏时空注意力机器人数据引擎
2026
期刊论文3D 高斯与视觉 SLAM
面向嵌入式视觉系统的体素化三维高斯稠密视觉 SLAM
IJCV已发表International Journal of Computer Vision（国际计算机视觉期刊，IJCV）
面向嵌入式系统提出体素化三维高斯稠密视觉 SLAM，结合冗余自适应剔除与属性量化压缩实现高精度建图与实时相机跟踪。
关键词三维高斯泼溅（3DGS）稠密视觉 SLAM嵌入式视觉神经渲染模型压缩机器人建图
2026
会议论文自动驾驶与 SfM 重建
MRASfM：驾驶场景中的多相机运动恢复结构与聚合
ICRA已发表IEEE International Conference on Robotics and Automation（IEEE 机器人与自动化国际会议，ICRA 2026）
面向自动驾驶与世界底座，提出刚性多相机 SfM 重建与多趟次时空地图高精度几何配准聚合算法。
关键词自动驾驶多相机三维重建运动恢复结构（SfM）束调整4D 自动标注高精地图
2025
会议论文大模型驱动的感知
MovSAM：基于深度思考的单图像运动物体分割
IROS已发表IEEE/RSJ International Conference on Intelligent Robots and Systems（IEEE/RSJ 智能机器人与系统国际会议，IROS 2025）
结合视觉语言大模型（VLM）与深度思考认知推理，提出无需光流输入的单图运动物体分割模型。
关键词LLMVLM大语言模型视觉语言模型Segment Anything运动物体分割
2026
期刊论文多模态自监督学习
MID：自监督多模态迭代去噪框架
TNNLS已发表IEEE Transactions on Neural Networks and Learning Systems（IEEE 神经网络与学习系统汇刊，TNNLS）
提出自监督多模态迭代去噪框架，仅依赖含噪观测学习退化阶段估计与残差逆转，无需干净真值实现多模态与科学数据高保真恢复。
关键词自监督学习多模态学习迭代去噪退化过程建模科学机器学习数据中心 AI
2024
在审稿件鲁棒几何估计
LNR：通过学习邻域实现鲁棒多模型拟合
TPAMI审稿中IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE 模式分析与机器智能汇刊，TPAMI）
提出由粗到细的鲁棒多模型拟合框架 LNR，通过学习最小集置信度初筛与局部邻域特征细化，突破多结构混叠下的组合爆炸瓶颈。
关键词鲁棒估计多模型拟合几何视觉RANSAC神经网络三维重建
2024
在审稿件鲁棒几何估计
DiffSAC：扩散引导的采样一致性鲁棒估计
IJCV审稿中International Journal of Computer Vision（国际计算机视觉期刊，IJCV）
面向极高外点率下的几何模型求解，提出首个几何条件扩散导引的采样一致性鲁棒估计范式 DiffSAC。
关键词扩散模型鲁棒估计采样一致性几何深度学习外点剔除可微 RANSAC
2023
期刊论文自动驾驶环境感知
基于激光雷达–相机融合与 IMM-UKF 的高速公路三维目标检测与跟踪
TETCI已发表IEEE Transactions on Emerging Topics in Computational Intelligence (TETCI), 7(4): 1242–1252, 2023
DTFI 结合局部激光雷达与相机特征融合及 IMM-UKF 多模型滤波，实现高速公路场景中的三维车辆检测与跟踪。
关键词LiDAR-Camera Fusion3D Object DetectionMulti-Object TrackingIMM-UKFAutonomous Driving
工程项目与系统研发
具备移动双臂机器人全栈系统集成与实机部署经验。主导或统筹移动双臂化学实验机器人、宁德时代重载工业物流移动双臂、哪吒汽车 4D 自动标注平台、车规级自主代客泊车（AVP）及宝时得智能割草机等系统研发与实机部署。
双臂精细操作 · 具身策略2026
双臂精细操作
实机验证
机器人化学家：面向生化实验的双臂移动操作全栈系统
合作单位
移动双臂机器人系统结合环境感知、技能学习与任务规划，面向化学实验室的多步骤实验操作实现自动化。
项目概况
- 全栈系统架构
- 全自主移动导航、多模态视觉感知、仿生双臂协同操作、示教动作映射、少样本技能学习与大模型分层任务规划
- 我在其中的工作
- 作为项目负责人，带领 10 人团队搭建移动双臂自主生化实验具身智能全栈系统架构；负责端到端 VLA 模型微调训练与端侧高频部署，累计采集真实机器人数据超 100 小时、仿真数据超 10,000 条，实现长时序实验全流程自主闭环，综合任务执行成功率超 92%。
- 核心成果与实机验证
- 双臂移动化学操作实机全流程自主闭环、高精度离心机对齐装配、透明器皿 6D 位姿解算、平稳流体转运与分层自愈执行系统
技能编排 · 移动操作2026
技能编排
在研
香港中文大学合作项目：图书馆书架智能整理与双臂移动操作机器人
合作单位
面向书籍自主取放与书架整理，研究结合对象感知、任务规划与移动双臂协同的机器人操作系统。
项目概况
- 全栈系统架构
- AI Agent 任务编排、对象中心世界模型、移动双臂协调控制与虚实迁移学习
- 我在其中的工作
- 作为项目负责人，搭建移动双臂操作框架，负责同轴视觉伺服与智能体闭环执行；推进密集书架整理方案研发，以 1.5–3.0 mm 缝隙下双臂协同抽取成功率超 92%、插入卡阻自愈率超 80% 为预期攻关目标。
- 预期攻关目标与交付重点
- 打通密集书架环境下毫米级缝隙抽取与插入全流程；预期达成双臂协同抽取成功率超 92%、卡阻自愈成功率超 80% 的实机操作目标
分层任务规划 · 多模态感知2026
分层任务规划
在研
华威大学国际合作：面向长时序任务的分层具身智能与 AI Agent 架构
合作单位
结合多模态三维感知与分层任务规划，探索从高层任务指令到机器人闭环控制的具身智能系统。
项目概况
- 全栈系统架构
- 多模态三维感知、高层任务规划、底层机器人控制与闭环执行
- 我在其中的工作
- 作为项目负责人，主导搭建分层 Agent 具身操作架构，针对 8–15 步长时序操作，以端到端任务成功率由 35% 提升至 84% 以上、局部物理偶发卡阻自愈率超 70% 为预期攻关目标。
- 预期攻关目标与交付重点
- 打通 8–15 步长时序具身操作闭环；预期将端到端长程任务成功率提升至 84% 以上，局部偶发卡阻自愈率超 70%，视雷多模态融合定位误差控制在 3 mm 以内
6D 位姿估计 · 双臂协同控制2025
双臂协同控制
产线落地
工业物料搬运：全自主双臂移动机器人与料箱智能拆垛转运
合作单位
移动双臂机器人结合三维视觉、自主导航与协同操作，完成工厂料箱的拆垛与跨工位转运。
项目概况
- 全栈系统架构
- 3D 视觉位姿解算、自主导航定位、双臂协同拆垛、自适应料箱转运与产线状态闭环
- 我在其中的工作
- 作为项目负责人，统筹搭建重载工业物流移动双臂协同作业框架；引入 VLM 开放感知与 3D 位姿解算，实现双臂 10 kg 重载协同搬运与平滑轨迹规划，密集料箱拆垛识别与对接成功率超 98%，保障跨工位高效转运。
- 核心成果与实机验证
- 双臂 10 kg 重载协同搬运、密集料箱 3D 位姿高精解算（拆垛成功率超 98%）、闭链协同内力解耦与跨工位平稳转运实机闭环
多相机 SfM · 场景聚合2024
多相机 SfM
量产落地
车规级 4D 自动标注系统：面向智能驾驶的多相机刚性 SfM 与高精几何重建
合作单位
4D 视觉自动标注系统结合多相机三维重建与多行程场景聚合，从行车数据中自动生成道路元素标注。
项目概况
- 全栈系统架构
- 时空数据同步、环视语义感知、多源融合定位、多相机刚性 SfM、稠密路面重建、车道元素自动标注与多趟场景聚合
- 我在其中的工作
- 作为项目负责人，主导搭建车规级多相机三维重建与自动化 4D 标注系统架构；带领 5 人算法组优化刚性多相机 SfM 与时空聚合，累计处理实车数据超 1,000 km，跨趟次几何配准误差优于 5 cm，标注综合提效 80% 以上。
- 车规级交付成果与量产验证
- 车规级 4D 自动标注工程全链路；累计处理超 1,000 km 实车数据（跨趟次配准误差优于 5 cm）、位姿与外参在线标定、标注综合提效 80% 以上
融合定位 · 运动规划与控制2024
规划控制
实车落地
车规级地下车库自主代客泊车（AVP）全栈系统
合作单位
自主代客泊车系统融合环视感知、定位建图、路径规划与车辆控制，完成车库内的自主行驶与泊车。
项目概况
- 全栈系统架构
- 用户交互端、环视鱼眼/超声波感知、多源融合定位、BEV 语义建图、分层行车与泊车规划、高动态横纵向控制与远程召唤
- 我在其中的工作
- 作为项目负责人，主导搭建寅家科技 AVP 全栈架构，带领团队完成 500 余次实车闭环路测，泊车成功率超 95%，突破 GNSS 拒止环境下的高精定位与全自主规划控制。
- 核心交付成果与量产验证
- 车规级纯车端 AVP 全栈架构；500+ 次实车闭环路测（泊车成功率超 95%）、GNSS 拒止环境高精融合定位、狭窄车位连续揉库与一键召唤
地形建模 · 多模态障碍感知2023
地形感知
商业落地
商用智能割草机器人：非结构化草坪多源融合感知与自适应避障
合作单位
户外割草机器人融合地形与障碍物感知、多传感器定位和覆盖路径规划，实现草坪自主作业。
项目概况
- 全栈系统架构
- 多目相机、RGB-D、激光雷达、RTK/GNSS、车规 IMU、轮速计、嵌入式边缘 GPU、因子图融合定位、全自主规划与作业控制
- 我在其中的工作
- 作为项目负责人，主持研发宝时得智能割草机坡度自适应滤波与视觉避障算法，作业避障成功率超 98%，攻关起伏草地上的多线激光雷达点云滤波、正负障碍物分离与视雷跨模态空间融合。
- 工业级交付成果与实地验证
- 商用级全栈免埋线割草机器人系统；作业避障成功率超 98%、起伏草坪自适应 3D 障碍物检测、正负障碍物快速识别与视雷多模态融合
线控底盘 · 多传感器集成2022
底盘与传感器集成
实车落地
低速自动驾驶全栈科研平台：软硬件一体化搭建与实车闭环验证
合作单位
面向低速自动驾驶研究，搭建集感知、定位、规划与控制于一体的乘用车和四轮独立转向 AGV 实验平台。
项目概况
- 全栈系统架构
- 多传感器同步采集、3D 空间感知、高精地图与 RTK 定位、多目标决策规划、高动态线控底盘 CAN 驱动与车车网联协同
- 我在其中的工作
- 作为项目负责人，从零搭建 2 代全线控自动驾驶科研实车平台（乘用车与 4WIS AGV），累计完成 300+ 小时实地路测，负责底层线控改装、配电隔离、CAN 总线逆向与多场景实车闭环验证。
- 实车交付与多场景闭环验证
- 2 大构型线控自动驾驶实车科研平台；300+ 小时实车路测、涵盖 8 大场景全闭环演示（横向循迹误差 <5 cm，AEB 响应 <60 ms）与全栈 ROS 系统