从让大模型“轻装上阵” 的FPGA神器，到会“打手语”的机械手掌；从能识别灾情的救灾机器人，到会“调整策略”的智能机械狗……当芯片设计遇上大模型浪潮，一场跨越学术与产业的创新实验正在上演！近日，迈特芯团队与南方科技大学深港微电子学院携手打造的《SME310深度学习与芯片设计》课程项目成果惊艳亮相，在迈特芯创始人及课程导师余浩教授的带领下，双方历时4个月深度协作，解锁十个“深度学习芯片设计”创新项目，带你看见端侧大模型芯片支持个人智能体的N种可能！
具体项目名单包括：
《大模型的FPGA编译部署》
《大模型的并发部署》
《大模型Agent的MCP部署》
《大模型智能体—某某同学的一天》
《文本OCR 大模型》
《医疗诊断大模型》
《大模型机械狗推理》
《大模型机械手手语》
《大模型机器人、机械臂、机器狗协同》
《大模型无人机、机器狗协同》
划重点：其中《大模型的FPGA编译部署》、《大模型机械手手语》、《大模型无人机、机器狗协同》、《大模型机械狗推理》这四个项目凭借亮眼表现刷屏出圈，共同构成了一条从芯片设计、系统编译到信息智能体和具身智能体的大模型学术与工程实现链路。
图1 余浩教授讲解课程内容
亮点项目一：
《大模型的FPGA编译部署》
—— 让大模型 “轻装上阵” 的一体化部署神器
图2《大模型的FPGA编译部署》项目展示现场
《大模型的FPGA编译部署》项目demo
在迈特芯团队的支持下，深港微电子学院苏灿、高琦、黎睿正三位同学共同完成的《大模型的FPGA编译部署》成为本次课程的亮点成果之一。该项目聚焦于大模型在FPGA平台的高效部署，针对现有部署流程中存在的工具结合度低、新模型适配难、操作学习成本高等问题，构建了一体化的部署工具链。
项目集成了GPTQ量化、lm-eval和EvalPlus打分体系，开发了支持OpenAI风格接口的FPGA通信转译层，并搭建了图形化WebUI，极大地提升了部署效率与用户体验。其技术方案兼顾GPU和FPGA部署，并通过自动调度器实现多GPU资源的智能分配，为大模型跨平台部署提供了新范式。
图3.1 FPGA推理服务数据流转架构图
 图3.2 大模型量化评估效果图 |  图3.3 FPGA大模型WebUI实测 |
图4 FPGA大模型推理卡实物图
亮点项目二：
《大模型机械手手语》
——会“手语对话”的助残黑科技
图5《大模型机械手手语》项目展示现场
《大模型机械手手语》项目demo
迈特芯团队与陈启致、阮理扬、张博然、覃冠臻四位同学共同打造的《大模型机械手手语》项目以树莓派5和Uhandpi机械手为核心平台，融合多模态交互技术，实现了语音指令响应、目标检测与智能手语识别等多种功能。
其中，手语识别模块尤为突出。团队将手语拆解为32个基础动作，结合千问大模型与提示词工程，构建了语义理解到动作映射的高效通路，使系统能够精准理解用户输入并生成相应手语动作。同时，基于Mediapipe实现的21节点手部关键点检测和自定义夹角判断逻辑，为复杂手势识别如“石头剪刀布”等交互提供了技术支撑。项目兼顾趣味性与实用性，为智能助残、教育辅具等场景提供了现实落地参考。
图6.1 基于Mediapipe实现的21节点手部关键点
图6.2 物体检测模型训练结果
图6.3 手语模块演示效果
图7《大模型无人机、机器狗协同》项目展示现场
《大模型无人机、机器狗协同》项目demo
迈特芯团队与姜沛宇、陈倩、张扬、李奕萱四位同学联合完成的《大模型无人机、机器狗协同》项目以宇树机器狗Go2和无人机为核心平台，融合多模态部署技术，实现了火情快速响应、目标定位与火场态势感知等多种功能。
其中，火场态势感知模块尤为突出。团队将火场信息拆解为多种关键要素，结合大模型技术与实时数据传输，构建了从火源识别到现场探查的高效通路，使系统能够精准定位火源并实时回传火场画面。同时，基于激光雷达实现的SLAM地图构建和实时避障技术，为复杂地形下的火场探查提供了技术支撑。项目兼顾应急响应效率与安全性，为智能应急救援、火灾监测等场景提供了现实落地参考。
图8.1 系统原理架构图
图8.2 算法点云去噪
图8.3 实现效果
亮点项目四：
《大模型机械狗推理》
——会“调整策略”的机器狗
图9《大模型机械狗推理》项目展示现场
《大模型机械狗推理》项目demo
在迈特芯团队的深度支持下，许国祥、汪子睿、汤易博、张攸鹏完成的《大模型机械狗推理》项目，采用分层多模态控制架构，以机器狗为载体，深度融合千问Qwen系列大模型，实现指令精准响应、场景深度理解和自主行动高效规划。
团队巧妙利用qwen-max模型解析指令语义，qwen-VL-max模型进行视觉场景理解，qwen3-235a-a22b模型作为“核心大脑”集成规划，构建起从指令到行动的高效推理通路。在测试中，机器狗依指令精准行动，遇障碍或新环境时，通过激光雷达进行避障修正，结合大模型推理调整策略，展现出强大的智能与适应性。
《大模型机械狗推理》项目为智能机器人自主行动与任务执行提供了极具价值的解决方案，展现了大模型推理在智能机器人领域的巨大潜力，为未来技术发展开辟了新道路。
图10.1 分层多模态控制架构
图10.2 视觉感知子系统
图10.3 实时大模型推理案例
“这次合作不是简单的技术输出，而是产学研思维的深度碰撞。”在迈特芯创始人兼课程导师余浩教授的带领下，本次合作中，迈特芯从三大维度助力项目落地：
硬件底层：提供 FPGA 推理卡、机器狗等核心硬件，支持模型轻量化部署；
算法优化：输出 GPTQ 量化、多模态融合等关键算法，提升端侧推理效率；
工程实践：派遣资深工程师驻场指导，从量化推理到系统集成提供全流程技术支持。
从FPGA硬件底层架构到机械臂末端执行，从大模型量化推理到多设备协同通信，十个项目串联起 “硬件加速→交互创新→场景落地→自主决策”的完整技术链。同时，创新与落地并重，不仅验证了大模型本地化部署的方案，实现了编译器、协议层的平台，还能以电脑、机械手、机器狗和机器人等来实现信息智能体和具身智能体。更值得点赞的是，团队成员横跨深度学习、芯片设计、机械工程等专业，用“组队项目” 模式把算法、硬件、软件玩出花，真正实现“1+1＞2”的跨学科突破。这就是迈特芯团队与南科大深港微电子学院的深度合作——使课程不止教授知识，更让学生在“真项目”中摸爬滚打，把创意变成能落地的技术，实现真正技术赋能，让学生在实践中全面掌握从量化推理、通信协议、前端交互、SLAM导航到多模型协同的全流程能力，为后续培养具备“理论＋工程＋应用”复合型人才提供了范例。
从课堂到产业，从创意到落地，这场教育科技人才一体化的创新实验，正在书写端侧大模型芯片与个人智能体的全新篇章。迈特芯将继续以技术赋能为笔，与中国高校携手绘制「芯片+ AI」的未来图景，让更多智能场景从实验室走向现实，为数字中国的建设注入「芯」动能。
扫码关注我们
