近年來人工智慧在軟硬體技術的突飛猛進與各領域應用的迅速發展，可預期未來運用人工智慧、影像辨識、資通訊(ICT)、車聯網(V2X)與5G等技術，特別有助於紓緩因交通號誌控制不夠智慧，導致民眾行的痛點。本計畫除回顧彙整國內外應用車聯網與人工智慧強化學習在號誌控制之應用與演算法，並發展車聯網與人工智慧強化學習之號誌控制模擬環境，藉由車聯網緊急車輛優先號誌、單一路口多時相號誌控制與幹道連鎖號誌控制模擬之人工智慧號誌控制模式構建、學習與訓練、模擬與績效評估，來為後續人工智慧號誌控制奠下研發基礎。計畫分別以臺北市「中山北路-德行東路」3個路口幹道、臺南市「台86-19甲線」路口、高雄市台88線鳳山出口(過埤路-鳳頂路)路口)等3個縣市政府合作所發展交通模擬環境與人工智慧強化學習號誌控制模型及其訓練。



　　根據不同場域特色，以及強化學習探討的議題項目，總計提出13 種不同的強化學習應用方案，訓練結果顯示13 種強化學習方案皆能不同程度的改善現況交通績效，顯示DDPG強化學習號誌控制的潛力與可行性。計畫同時研提以PPO 為核心演算法的做法，並於臺南市實驗場域進行模擬測試，結果顯示不同的強化學習演算法也同樣可以取得績效改善。車聯網資料應用上，研提採用卷積層網路(CNN)結構萃取資料特徵，進而做為強化學習的資料輸入，實驗結果顯示，以車聯網資料做為強化學習號誌控制資料來源的潛力。