CN118504866B 一種自動化集裝箱碼頭agv智能動態調度方法 （哈爾濱工業大學）

一種自動化集裝箱碼頭AGV智能動態調度方法本發明屬于自動化集裝箱碼頭資源調度優化技術領域，具體涉及一種自動化集裝箱碼頭根據自動化集裝箱碼頭的不同功能分模塊進行2所述步驟一中自動化集裝箱碼頭在進行裝卸作業時，參與工作的設所述步驟一中還對自動化集裝箱碼頭的集裝箱裝卸任務進行建模，將不所述步驟二中分析步驟一的自動化集裝箱碼頭仿真模型各個模首先，構建C_DQN多智能體深度強化學習算法框架，C_DQN多在C_DQN多智能體深度強化學習算法模型訓練一定次數后，逐步提高貪心率ε的數值，3iis,最后，每當神經網絡模型需要進行訓練時，便從經驗回放緩2]然后，構建深度強化學習的動作空間，動作空間包括全4其次，將該任務通過AGV動作選擇器輸入到自動化集裝箱碼頭先判斷元組中的數據滿足組成一個樣本的全部條件，將該樣本存或判斷元組中的數據不滿足組成一個樣本的全部條件，執行該智能體的下一個任務，接著，判斷C_DQN多智能體深度強化學習算法的經驗回放緩存區填滿，或判斷C_DQN多智能體深度強化學習算法的經驗回放緩存區未被填滿，則繼續運行自先判斷C_DQN多智能體深度強化學習算法的訓練次數達到設定值，則將預測網絡的模或判斷C_DQN多智能體深度強化學習算法的訓練次數未達到設定值，則繼續運行自動5或判斷無未完成的集裝箱任務，則此輪集裝箱任務最后，判斷C_DQN多智能體深度強化學習算法模型的訓練次數；當達到一定訓練次數2.根據權利要求1所述的一種自動化集裝箱碼頭AGV智能動態調度方法，其特征在于：利用步驟五得到訓練好的C_DQN多智能體深度強化學習算法模型后，將該模型運用在6AGV作為連接碼頭泊位與堆場的集裝箱水平運輸設備，成為了影響自動化集裝箱碼頭裝卸[0004]目前應用較多的是基于傳統的運籌學方法對自動化集裝箱碼頭裝卸設備進行調[0005]本發明的目的是提供一種自動化集裝箱碼頭AGV智能動態調度方法，能夠將碼頭7裝箱任務的裝卸類型，‘Quaycranesnumber'表示與該集裝箱任務相關的岸橋編號，該集裝箱的重量級別。[0025]所述步驟二中分析步驟一的自動化集裝箱碼頭仿真模型各個模塊之間的工作關s/8iwaitingwaitingwaitingwaiting9[0063]并且，折扣因子γ采用經驗公式求得，其中設定L為希望智能體接下來考慮的步[0073]或判斷C_DQN多智能體深度強化學習算法的經驗回放緩存區未被填滿，則繼續運[0075]先判斷C_DQN多智能體深度強化學習算法的訓練次數達到設定值，則將預測網絡[0076]或判斷C_DQN多智能體深度強化學習算法的訓練次數未達到設定值，則繼續運行強化學習算法模型當中，用掩碼處理后得到下一個集裝箱任務，并由AGV動作選擇器交由[0081]利用步驟五得到訓練好的C_DQN多智能體深度強化學習算法模型后，將該模型運[0085]本發明的一種自動化集裝箱碼頭AGV智能動態調度方法，能夠根據自動化集裝箱[0086]本發明的一種自動化集裝箱碼頭AGV智能動態調度方法，根據事件邏輯關系將不使AGV的工作效率提升77.6為自動化集裝箱碼頭AGV智能動態調度打下了堅實的理論基[0094]圖6是本發明實施例一的一種自動化集裝箱碼頭AGV智能動態調度方法的方法流[0096]圖8是本發明實施例一的C_DQN多智能體深度強化學習算法解出的AGV調度甘特00282.84223.610447.21427.20412.31282.84447.210427.200223.61412.310裝箱任務的裝卸類型，‘Quaycranesnumber’表示與該集裝箱任務相關的岸橋編號，該集裝箱的重量級別；[0120]共設置了30個集裝箱任務以供AGV進行調度，集裝箱任務包括裝箱任務與卸箱任′2iwaitingwaitingwaitingwaiting[0163]并且，折扣因子γ采用經驗公式求得，其中設定L為希望智能體接下來考慮的步Qtarget通過均方損失函數求得差距程度Loss并反向傳播梯度，用Adam優化器對預測網絡的[0175]利用步驟五得到訓練好的C_DQN多智能體深度強化學習算法模型后，將該模型運任務選擇策略傾向于選擇與上一任務目的地相近并且不干擾其它AGV工作的集裝箱進行作時間最少的場橋進行。并且除了第一個任務不可避免的等待時間外，AGV的總等待時間為化學習算法的AGV調度方法進行實驗對比。基于傳統DQN深度強化學習算法的AGV調度方法[0188]由結果可以分析得出其中，在基于傳統DQN深度強化學習算