多模态算法工程师（理解与智能决策方向）

职位描述

1、前沿调研与设备控制闭环：深度调研国内外多模态大模型（VLM/VLA）在工业自动化和具身控制领域的最新进展。针对海底捞门店硬件设备，设计“感知-决策-控制”的技术路径，通过改进现有模型提升设备自动化率。

2、多模态状态对齐与动作决策：负责多模态模型的指令微调与空间对齐。将厨房现场的视觉信息与文本指令、设备控制参数进行深度对齐，实现端到端的智能动作规划与设备调控。

3、传统视觉与端侧感知：负责构建高可靠性的传统计算机视觉模块，利用 YOLO 等经典目标检测、语义分割模型，在边缘侧实现对门店物品、设备状态、人员操作的高频、低延迟、高精度感知。

4、混合感知架构设计：将“传统 CV 感知”与“多模态大模型决策（VLM 顶层规划）”进行有机结合，设计务实、高确定性的混合算法架构，解决大模型在物理设备控制中的幻觉与延迟问题。

任职要求

1、硬核技术与落地经验（硬性）：3-5 年左右算法研发经验，具备实际的多模态或大模型（LLM/VLM）控制实体硬件（如工业设备、机器人、智能家居、自动化链路）的业务落地经验。

2、传统 CV 功底扎实：熟练掌握传统计算机视觉算法，精通 YOLO 系列等主流检测、分割模型，有丰富的边缘端部署和实际调优经验，能够解决工业级场景下的光照变化、遮挡等长尾问题。

3、多模态大模型栈：熟练掌握 LLaVA、Qwen-VL 等至少一种主流多模态模型的架构及训练细节，熟悉大模型微调框架（如 LLaMA-Factory、DeepSpeed 等）。代码与工程功底：具备极强的 Python 编码执行力，代码鲁棒，熟悉 Linux 开发环境及 Docker 容器化配置。

【重点加分项】

1、长期大模型/强化学习沉淀：有长期从事大模型算法研发的背景，且在强化学习（PPO、DPO）用于序列决策或复杂控制链路中有实际落地成果者优先。

2、硬件设备闭环控制经验：有实际的多模态模型（VLM）与物理硬件（如智能家电、工业设备、加热/清洗系统、自动化执行机构）进行闭环联调的经验。熟悉常见的工业级通信协议与接口（如 RS485、Modbus、CAN 模块、串口通信、GPIO 控制），能够主导将大模型/传统 CV 的高层状态决策转化为底层设备的物理控制信号。

3、硬核集群 Debug 能力：熟悉多 GPU 分布式训练调优，具备快速定位 OOM、网络通信瓶颈、多卡同步死锁等底层硬核 Debug 能力者优先。

【软实力特质】

1、强悍的执行力：拒绝“只说不练”，能够快速将前沿论文或开源社区的算法思路转化为本地的 baseline 代码并进行硬件联调。

2、务实解决问题：目标导向，具备极强的工程落地导向思维，不盲目追求复杂的模型，能用最合适、最高效的技术手段（大模型与传统 CV 结合）解决当下的设备控制痛点。

3、抗压与自驱：具备良好的技术直觉和独立排查堵点的能力，在面对模糊的需求或复杂的软硬件 Bug 时能迅速顶上。