在近日結束的「達闥杯」機器人大模型與具身智能挑戰賽中，來自全球各地的頂尖高校紛紛用大模型、具身智能等先進技術，打造出各具特色的機器人咖啡廳。其中，澳大利亞阿德萊德大學、北京航空航天大學、同濟大學、文山學院、西安理工大學、西北工業大學、中山大學七所學府憑藉他們在任務執行上穩健可靠的表現榮獲三等獎。
從阿德萊德大學的多技術集成系統到同濟大學智能咖啡廳服務機器人的自然語言理解互動，從北京航空航天大學咖啡廳機器人的高級多模態感知和交互能力到西安理工大學的環境感知與問答接口的構建，他們運用先進的技術和創新的思維，為機器人技術的發展和應用提供了新的思路和方向。一起來看看他們的作品吧！
阿德萊德大學
團隊成員：李澤瑞、曹景行、周耕澤、喬灧媛
指導老師：吳琦
澳大利亞阿德萊德大學團隊開發了一套多技術集成系統，用於執行複雜任務。該系統結合了深度優先搜索、RGBD物體識別和姿態估計、目標檢測與定位等方法，實現對環境的全面探索並記錄關鍵信息。此外，通過頭部RGBD攝像頭監測圖像變化來輔助傳統物體檢測技術，以識別人員及導航任務中的視覺信號。團隊還整合了大型語言模型進行場景相關的多輪對話，並通過預設好的機器人動作接口來執行基於視覺語言指令的操作任務。
北京航空航天大學
團隊成員：余俊傑、王宇航、唐雋哲、李鑫
指導老師：于黎明
北京航空航天大學開發的機器人集成了最新的大模型技術、深度強化學習和跨模態AI技術，具備高級多模態感知和交互能力。該機器人能夠在環境中主動探索並建立3D點雲地圖以實現位置感知，並使用A*算法進行路徑規劃。它還整合了大型語言模型來理解自然語言，使其能夠與人類有效交流，並執行任務如接單、操作設備和遞送物品。通過強化學習訓練，機器人可以自主導航並適應複雜環境。此外，它還具有自主巡航功能，可以檢測並處理異常情況如桌面污漬或地面垃圾。
同濟大學
團隊成員：齊曉燕、麻開菁、唐藝寧、劉嘉迅
作品名稱：基於大語言模型的咖啡廳服務機器人智能化設計與實現
指導老師：陳啟軍、劉成菊
同濟大學團隊的智能咖啡廳服務機器人基於大語言模型技術，在仿真環境中通過自然語言理解與人類進行有效互動，能夠執行包括安排座位、控制空調和點餐等任務。為了提升機器人的泛化能力，團隊還建立了一個豐富的語料數據庫，並確保其關鍵功能如主動探索、多輪對話、視覺導航和操作等得到涵蓋。
文山學院
團隊成員：潘成權、姜宇、張肖、張周楊
作品名稱：LLM驅動的智能機器人場景化應用
指導老師：曹知
文山學院團隊基於達闥提供的RDK開發，成功實現了場景理解記憶、多輪對話、視覺導航和交互操作。這些功能被應用到現實場景中，進一步優化了大模型和視覺導航效果。團隊將繼續通過視覺語言模型進行項目優化，以提升機器人在現實環境中的表現。
西安理工大學
團隊成員：趙琛、李劭軒、李森垚、劉海鑫、王子豪、王志陽、屈澤宇、高琪浩、劉浩森
指導老師：王一川
西安理工大學團隊的作品基於達闥提供的擬真平臺，實現了環境感知與建模，採用了3D點雲圖構建技術。作品結合了百度智能雲千帆大模型平臺，利用文心一言模型構建了問答接口，實現了與顧客的簡單交流。團隊還集成了YOLOv5模型，及時識別顧客的到來，為後續服務提供起點。此外，作品還採用了jieba分詞組件對顧客需求進行解析，將顧客意圖與服務機器人的行為相對應。
西北工業大學
團隊成員：黎栗譙、詹涵文、劉鵬、王穎琦、付怡祺
作品名稱：基於大模型的具身智能咖啡廳服務機器人
指導老師：趙聞
西北工業大學團隊將星火大模型引入機器人的控制，在達闥提供的仿真環境中，通過引入機器人與大模型的問答機制，成功將大模型賦能咖啡廳機器人，打造了一個智能的咖啡廳服務人形機器人。團隊還開發了一套大模型控制框架，通過自然語言與大模型對話，實現機器人自主控制。在比賽中，團隊基本完成了比賽方要求的四個規定任務，並完成了一部分開放任務，展現了較高的技術水平和創新能力。
中山大學
團隊成員：宋昕帥、江凱萱、羅經周、陳衛興、劉陽、李冠彬、林倞
作品名稱：面向咖啡店場景的多模態具身交互Agent
指導老師：劉陽，李冠彬，林倞
中山大學團隊為機器人咖啡廳設計了豐富的劇本流程，針對各種場景完成指定的任務，豐富而不失隨機性的劇本設計為整個流程增添樂趣。作品實現流程分為三個階段：探索環境、交互與推理。通過視覺模塊、控制模塊與大模型模塊這三個功能模塊實現。團隊藉助達闥提供的模擬場景與機器人，成功實踐了一次大模型+具身智能的應用。在達闥提供的豐富接口的支持下，他們設計出各種各樣的任務和控制接口，實現了豐富的機器人與物、機器人與人交互。
「達闥杯」機器人大模型與具身智能挑戰賽旨在考驗團隊在大模型技術和具身智能領域的創新能力和技術水平。各參賽團隊相互學習、深度探討，展現出了高水平的技術創新和實用性，讓觀眾得以目睹未來機器人技術的發展方向。期待未來有更多的優秀團隊加入到機器人大模型與具身智能的研究中來，共同推動這一領域的發展和進步。
更多大賽精彩回顧及選手幕後故事，將在達闥公眾號陸續更新，敬請關注！
掃描微信公眾號
