技术路线方案：基于大模型驱动的固定式双臂工作站整线包装系统

一、需求说明

二、总体架构设计

❏ 本方案采用“云-边-端”三层架构，核心是“大模型具身智能中枢+工作站终端”，各层级协同实现整线智能包装。

（一）云端/边缘服务器层（大脑 - 大模型中枢）

部署方式：直接采用云端租赁服务器部署

核心组件：部署“整线具身智能中枢系统”的服务器

大模型核心角色：

• 任务理解与分解：解析生产订单（如“包装A产品附件套组”），分解为原子操作任务（如“从1号周转箱拣选电源适配器 -> 放置到治具A1位置”“对纸托进行折叠”“将遥控器装入已折叠纸托”）。
• 场景理解与规划：基于多工作站传回的实时多模态感知数据（视觉、力觉），动态理解产线状态（周转箱内物料分布、治具占用情况、工作站忙闲状态），进行全局任务调度和路径规划。
• 异常处理与决策：面对软质线材缠绕、硬质附件卡滞、纸托折叠失败等突发场景，基于物理常识和训练数据推理，生成调整抓取点、改变抓取力度、重新规划折叠顺序等新操作策略。
• 技能优化与进化：持续收集各工作站操作数据（成功/失败案例、力控曲线、视觉特征），用于微调大模型或训练专用技能模型，实现系统迭代升级。

（二）工作站控制层（小脑 - 本地智能体）

配置说明：含多工作站共用单台模型服务器，每个双臂工作站配备一个“边缘计算单元”

运行内容：轻量化的“整线具身智能”终端实例（具体某一个工序的作业实例）

核心职责：

• 接收中枢下发的具体操作指令（如“执行抓取任务#123”）。
• 驱动本地视觉系统、力控系统、机器人控制器，完成指令的精准、实时执行。
• 将本地感知数据（图像语义、点云坐标、力矩反馈等）和任务执行状态实时上报给中枢。

（三）物理执行层（手脚 - 硬件平台，含本地臂控工控机）

1. 固定式双臂协作机器人工作站

每个工作站包含2条高精度、带力控末端的协作机器臂，划分为三个作业区：

• 拣选上料区：负责物料的抓取与上料作业
• 摆盘装配区：负责物料的有序摆放与装配作业
• 包装作业区：负责最终的包装相关作业

2. 多模态感知系统

• 全局3D视觉：固定于工作站上方的可移动工作区域3D相机（拍照距离500mm左右），扫描来料（拣选区、摆盘区和作业区）整体情况，生成初始抓取点和任务范式（动作序列+参数表达式）。
• 眼在手上3D视觉：安装在机器人末端的3D相机（拍照距离250mm左右），用于近距离精确定位和识别附件特征、治具孔位、盒子放入位置等。
• 力控传感器：集成于机器人腕部，实现对抓取力、装配力的精细控制，关键适配软材质、易变形材质处理和精密装配场景。
• 辅助传感器：集成在生产线作业区（检测工序状态）、拣选区周转箱到位控制皮带线、摆盘区（检测治具到位和防撞检测）。

3. 模块化末端执行器（EOAT）

配备快换装置，可根据任务自动或手动更换：

• 自适应夹爪：用于抓取尺寸、形状各异的硬质附件（通用2指夹爪）。
• 真空吸盘或阵列：用于抓取平整的纸托、填充棉等。
• 专用夹具：如用于折叠纸托的推杆、用于整理线材的梳状工具。

4. 上料与下料系统

自动输送线运送周转箱/Tray盘至工作站指定位置，并将完成摆盘的治具送至下一工序（配备滚筒机器人）。

三、方案的具体工作流程与实现方式

假设一条产线配置N个固定双臂工作站（WS-1, WS-2, ..., WS-n），整体流程如下：

（一）任务启动

• 中枢系统接收订单，解析需要包装的附件清单（电源、遥控器、线材、纸托等）。
• 大模型根据附件特性、工序依赖关系（如必须先折叠纸托才能装入物品），生成全局任务序列图，并动态分配给各工作站。

（二）无序拣选与有序摆盘（分配至WS-1, WS-2...执行）

• 来料感知：周转箱送达工作站，全局视觉扫描，大模型识别箱内所有附件类别和大致位姿。
• 拣选决策：大模型根据当前治具空缺位置，确定本次抓取优先级（如治具需先放电源，则优先寻找并抓取电源）。
• 灵巧抓取执行：
  • 硬材质（电源、遥控器）：机器人规划路径，使用自适应夹爪，结合力控实现稳定抓取，避免滑落或夹伤。
  • 软材质/易变形材质（线材、填充棉）：大模型指挥机器人采用“推-抓-整理”复合策略，视觉识别线材堆叠状态，先用工具推开缠绕，再用夹爪或吸盘拾取，力传感器实时反馈确保轻柔操作。
  • 纸托：使用吸盘吸取+专用治具按压成型。
• 精准放置：机器人将抓取的附件移动到治具指定孔位，利用“眼在手上”视觉进行最终精定位，结合力觉实现“柔顺装配”，确保放置到位。

（三）预处理作业集成（在特定工作站如WS-k进行）

1. 纸托折叠

• 从Tray盘或周转箱中吸取一个平展纸托。
• 移动到折叠工位。
• 根据纸托的3D模型，生成折叠动作序列（如先折A边，再折B角），通过力控确保折叠到位且不撕裂。

2. 附件装填（如将遥控器装进已折叠的纸托）

• 机器人（或另一只手臂）抓取遥控器。
• 视觉定位纸托的装填口。
• 在力觉引导下，以柔顺的方式将遥控器推入纸托卡位。

（四）有序装袋/盒（在后续工作站进行）

• 完成摆盘的治具流转到包装站。
• 机器人从治具上，按照与摆盘相反的顺序（后进先出）或指定顺序，依次抓取附件。
• 另一只手臂或隔壁工作站配合，打开包装袋或盒。
• 在视觉引导下，将附件装入包装内；对于软材质需调整姿态，对于已装入纸托的套装则整体抓取放入。

（五）闭环与优化

• 记录每个步骤的成功/失败状态、用时、力控数据等关键信息。
• 大模型中枢持续分析数据，如发现某种线材的特定抓取方式失败率高，会自动优化该材质的抓取策略，并同步给所有相关工作站。

四、技术挑战与玑之科技方案的对应优势

技术挑战	玑之科技方案对应优势
多品类、非标附件处理（典型“小批量、多品种”柔性生产场景）	依靠大模型的“场景与意图理解”能力，结合“多模态感知”技术，让机器人能“看懂”不同附件并做出相应决策，而非依赖预先编写的固定程序。
软材质和易变形材质操作（传统自动化难以解决的痛点）	核心采用“基于物理仿真的技能学习与泛化”和“高精度柔顺控制”技术，可在仿真环境中预先训练机器人操作软物体的技能，再通过实际力觉反馈进行微调，精准解决操作难题。
整线协同与调度（多个工作站需高效协作）	通过“多智能体协同作业规划”技术，让多个机器人（智能体）像工人一样协同工作，由中枢系统统一调度，避免工序等待和操作冲突。
快速部署与换型需求	采用“通用化硬件平台+可进化具身智能软件”的敏捷交付模式；硬件（双臂、相机、夹具）标准化设计，换产时仅需在中枢系统中更新或训练新附件的3D模型和操作特性，通过软件层面适配即可，无需大规模改造硬件。

五、实施步骤

Phase 1: 单站验证

硬件配置：生产气源/电源接口、可移动地脚、待包装的飞机盒、自动后阻挡片、自动前阻挡片、生产线原有皮带线、生产线原有人工作业平台、传送皮带、周转料箱、局部相机、可改变视野的支撑臂、全局相机

• 选择最具代表性的工作站（如处理硬质附件+软质线材的拣选站），部署一套“双臂+视觉+力控”硬件。
• 利用先进的VLA或类似框架，构建该工作站的本地智能体，并连接到实验性的大模型中枢（可基于开源大模型微调）。
• 完成单一工作站的“无序拣选-有序摆放”验证，重点攻克软材质抓取难题。

Phase 2: 整线集成与预处理工序添加

• 增加工作站数量，形成完整流水线。
• 引入包含预处理（如纸托折叠）的专用工作站。
• 强化中枢系统的全局任务调度和规划能力，实现治具在站间的流转与任务衔接。

Phase 3: 数据迭代与优化

• 在生产过程中持续收集各工作站操作数据。
• 利用“操作技能迭代学习”能力，不断优化各附件的操作技能库，提升整线效率、作业成功率和场景适应性。

总结

玑之科技专注于“工业和商用特定场景”的复杂任务解决，本方案构建了以“大模型具身智能中枢”为核心，以“多模态感知”为眼，以“力控双臂”为手，通过“JZAgentOS”中枢后台进行协同的完整技术路线。该方案不仅能高效解决客户工厂当前的附件包装核心问题，其“可进化”的特性更能支撑未来处理更多样化的产品，为企业柔性生产和长远发展提供技术保障。

欢迎访问官网：www.jizhi-robot.com