西工大新聞網8月3日電（趙斌 王棟 王之港 王丞澤）近日，西北工業大學光電與智能研究院李學龍教授和同事們在大模型異構智能體方面取得重大進展，實現了大模型對無人機集群、機器狗、機械臂三種智能體的真機協同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無人系統的研究提供了無限可能。
在人工智能領域，大模型控制智能體是大勢所趨。團隊提出了一種大模型驅動的異構智能體協同控制算法框架，使異構智能體系統具備高層語義理解能力、自身技能認知能力和復雜任務執行能力。該框架可將一個跨場景、跨智能體的復雜任務，通過語義理解和任務分解拆分成異構智能體協同執行的多個子任務，然后通過無人機集群、機器狗、機械臂的聯合控制，實現異構智能體的高效協作。
懂所思、知所能、行所意，是大模型異構智能體的主要能力。
懂所思：高層語義理解能力
如何充分發揮大模型的語義理解能力，讓無人機、機器狗、機械臂等人造智能體能夠根據輸入的自然語言分工合作，是智能體在現實場景中執行復雜任務的前提條件。
針對該問題，團隊利用國產大模型作為語義理解底座，以無人機集群、機器狗、機械臂三種異構智能體作為協同控制平臺，設計了融合環境信息與自身狀態的語義交互框架，實現了對異構智能體任務理解、硬件控制、協調合作等復雜需求的高層語義交互。
知所能：自身技能認知能力
智能體的行為能力易受周圍環境、自身機械結構等限制因素的影響。如何在多變的外界環境下讓智能體準確地認知當前自身的行為能力，是異構智能體協同的關鍵環節。
為了實現這一目標，團隊提出了異構智能體通用中層技能認知算法，實現了異構智能體間精細的硬件協同控制。在此基礎上，智能體通過自主環境感知、自身狀態建模、協同運動規劃，自適應地調整技能執行。
行所意：復雜任務執行能力
為了完成復雜任務目標，異構智能體協作需要依據子任務間的依賴關系和環境約束，設計安全合理的子任務執行次序和方式。
針對該問題，團隊設計了多智能體閉環反饋的任務執行機制，實現了異構智能體在任務執行層面的自主協同。在任務執行的過程中，智能體向任務分解模塊報告子任務執行狀態，形成任務分配與執行動態閉環，實現任務目標導向的異構智能體高效協同。
該成果是大模型算法和智能體硬件交叉的創新性研究，實現了用更自然、更直觀的方式進行多種智能體的控制，降低了人機交互的門檻。同時，該研究也將促進異構智能體之間協作的自主性和流暢度，對人工智能在災難救援、工業生產等復雜場景下的靈活應用具有重要意義。
西北工業大學光電與智能研究院（iOPEN）在李學龍教授帶領下主要開展臨地安防（Vicinagearth Security）技術體系的人才培養、科研與工程，依托兩個理論：“信容（Information Capacity，信息與數據的比值）”與“正激勵噪聲（Positive-incentive Noise，Pi/π-Noise，有用的噪聲，通過增加噪聲或利用噪聲讓任務做得更好）”，面向低空安防、水下安防、跨域安防，進行多模態認知計算、跨域遙感、穩定探測、涉水光學、群體智能決策、相干光探測的技術創新，服務于高水平人才培養和國家重大戰略需求。
（審核：馬西平）
