پژوهشنامه حمل و نقل

پژوهشنامه حمل و نقل

زمانبندی چراغ راهنمایی در حالت اشباع با استفاده از یادگیری تقویتی

نوع مقاله : مقاله پژوهشی

نویسندگان
شهریار افندی زاده 1
محمود احمدی نژاد 1
علیرضا موحدی 2
حمید بیگدلی راد 3
1 استاد، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران
2 دانشجوی کارشناسی ارشد، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران
3 دانشجوی دکتری، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران
10.22034/tri.2023.396364.3152
چکیده
اگرچه مدلسازی شبکه­ها به امری پیچیده و دشوار تبدیل شده است و مدل­سازی را برای نزدیک­تر شدن به شرایط محیط با مشکلاتی مواجه می­کند، در این میان چارچوب یادگیری تقویتی به عنوان یک روش مستقل از مدل می­تواند نقش بهتری را در کنترل و شبیه‌سازی ترافیک فراهم کند. در این مطالعه سعی بر آن است که با استفاده از الگوریتم­های مختلف یادگیری تقویتی، همچون الگوریتم­های DQN و DDPG، بتوان به شیوه­ای سریع­تر و منظم­تر شبکه ترافیکی در نظر گرفته شده را شبیه­سازی کرده و بتوان موارد تاثیرگذاری همچون طول صف تشکیل شده در خیابان­ها و چراغ­های راهنمایی را با بکارگیری الگوریتم­ها و برنامه ریزی مناسب، به شیوه‌ای نوین در جهت کاهش میزان ترافیک و روان­سازی آن، بهینه کرد و با توجه به نتایج به دست آمده از دو الگوریتم ذکر شده، الگوریتمی که عملکرد بهتری داشت به عنوان الگوریتم برتر از زیر مجموعه الگوریتم یادگیری تقویتی مطرح شود. در نهایت، شبکه خود را با کاهش طول صف و همچنین کاهش میزان زمان توقف در پشت چراغ راهنمایی در شبکه­های شهری در حالت اشباع، موجب بهبود عبور، مرور و روان­سازی جریان ترافیک می­شود. روش مطرح شده بر روی تقاطعات چراغ دار لندن  در جنوب غربی استان انتاریو27، در کشور کانادا انجام شده است. نتایج پیاده سازی این روش نشان می‏دهد که با استفاده از DDPG معیارهای ترافیکی مانند میانگین زمان ایستادن خودروها و درصد خودروها ساکن در کل شهر کاهش ملموسی پیدا می‏کنند
کلیدواژه‌ها
برنامه‌ریزی شهری
جریان ترافیک
شبکه‌های حمل و نقل
یادگیری تقویتی

موضوعات

عنوان مقاله English

Traffic Signal Timing in Saturated Mode Using Reinforcement Learning

نویسندگان English

Shahriar Afandizadeh 1
Mahmoud Ahmadinejad 1
Alireza Movahedi 2
Hamid Bigdel Rad 3
1 Professor, School of Civil Engineering, Iran University of Science and Technology, Tehran, Iran.
2 M.Sc., Student, School of Civil Engineering, Iran University of Science and Technology, Tehran, Iran
3 Ph.‌D., Candidate, School of Civil Engineering, Iran University of Science and Technology, Tehran, Iran.
چکیده English

Today, with the expansion of urbanization, the need for a dynamic transportation system is felt more than ever. For this reason, to achieve a stable and orderly system, the control of transportation networks is considered essential. Although the modeling of networks today has become a complex and difficult issue and it faces problems in modeling to be closer to the environmental conditions, in the meantime, the framework of reinforcement learning as a model-independent method can play a better role in controlling and provide us with traffic simulation. In this study, we tried to use different reinforcement learning algorithms, such as DQN and DDPG algorithms, to simulate the considered traffic network in a faster and more regular way, and to be able to determine the influencing factors such as queue length. formed in the streets and traffic lights by using algorithms and proper planning, in a new way to reduce the amount of traffic and to optimize it, and according to the results obtained from the two mentioned algorithms, an algorithm that We propose that it had a better performance as the superior algorithm from the subset of reinforcement learning algorithm and finally our network by reducing the queue length and also reducing the amount of time spent behind traffic lights in urban networks in saturated state, which as a result improves passing and Review and smooth the flow of traffic.

کلیدواژه‌ها English

Urban Planning
Traffic Flow
Transportation Networks
Reinforcement Learning
-Abdi, A., Mosadeq, Z., & Bigdeli Rad, H. (2020). Prioritizing Factors Affecting Road Safety Using Fuzzy Hierarchical Analysis. Journal of Transportation Research, 17(3), 33-44.
-Afandizadeh Zargari, S., Bigdeli Rad, H., & Shaker, H. (2019). Using optimization and metaheuristic method to reduce the bus headway (Case study: Qazvin Bus Routes). Quarterly Journal of Transportation Engineering, 10(4), 833-849.
-Afandizadeh, S., & Bigdeli Rad, H. (2021). Developing a model to determine the number of vehicles lane changing on freeways by Brownian motion method. Nonlinear Engineering, 10(1), 450-460.
-Afandizadeh, S., Aziz Jalali, D., & Bigdeli Rad, H. (2023). Optimal routing for shared autonomous vehicles feeder services in urban networks. Journal of Transportation Research.
-Ameri, A., Bigdeli Rad, H., Shaker, H., & Ameri, M. (2021). Cellular Transmission and Optimization Model Development to Determine the Distances between Variable Message Signs. Journal of Transportation Infrastructure Engineering, 7(1),
1-16.
-Baldi, S, Michailidis, I, Ntampasi, V, Kosmatopoulos, E, Papamichail, I, & Papageorgiou, M. (2019). A simulation-based traffic signal control for congested urban traffic networks. Transportation Science, 53(1), 6-20.
-Chu, T, Wang, J, Codecà, L, & Li, Z. (2019). Multi-agent deep reinforcement learning for large-scale traffic signal control. IEEE Transactions on Intelligent Transportation Systems, 21(3), 1086-1095.
-Eom, M., & Kim, B. I. (2020). The traffic signal control problem for intersections: a review. European Transport Research Review, 12, 1-20.
-Farazi, N. P., Zou, B., Ahamed, T., & Barua, L. (2021). Deep reinforcement learning in transportation research: A review. Transportation research interdisciplinary perspectives, 11, 100425.
-Guo, Q., Li, L., & Ban, X. J. (2019). Urban traffic signal control with connected and automated vehicles: A survey. Transportation research part C: emerging technologies, 101, 313-334.
-Hajisoleimani, M. M., Abdi, A., & Bigdeli Rad, H. (2021). Intermodal Non-Motorized Transportation Mode Choice; Case Study: Qazvin City. Space Ontology International Journal, 10(3), 31-46.
-Jafari, S, Shahbazi, Z, & Byun, Y.C. (2021). Improving the performance of single-intersection urban traffic networks based on a model predictive controller. Sustainability, 13(10), 5630.­
-Kaiser, L., Babaeizadeh, M., Milos, P., Osinski, B., Campbell, R. H., Czechowski, K., & Michalewski, H. (2019). Model-based reinforcement learning for atari. arXiv preprint arXiv:1903.00374.
-Kiran, B. R., Sobh, I., Talpaert, V., Mannion, P., Al Sallab, A. A., Yogamani, S., & Pérez, P. (2021). Deep reinforcement learning for autonomous driving: A survey. IEEE Transactions on Intelligent Transportation Systems, 23(6), 4909-4926.
-Kumar, N., Mittal, S., Garg, V., & Kumar, N. (2021). Deep reinforcement learning-based traffic light scheduling framework for sdn-enabled smart transportation system. IEEE Transactions on Intelligent Transportation Systems, 23(3),
2411-2421.
-Laskin, M., Lee, K., Stooke, A., Pinto, L., Abbeel, P., & Srinivas, A. (2020). Reinforcement learning with augmented data. Advances in neural information processing systems, 33, 19884-19895.
-Li, Z, Yu, H, Zhang, G, Dong, S, & Xu, C.Z. (2021). Network-wide traffic signal control optimization using a multi-agent deep reinforcement learning. Transportation Research Part C: Emerging Technologies, 125, 103059.­
-Ma, D, Xiao, J, & Ma, X. (2021). A decentralized model predictive traffic signal control method with fixed phase sequence for urban networks. Journal of Intelligent Transportation Systems, 25(5), 455-468.
-Michalopoulos, PG, & Stephanopoulos, G. (1977). Oversaturated signal systems with queue length constraints—I: Single intersection. Transportation Research, 11(6), 413-421.
-Moerland, T. M., Broekens, J., Plaat, A., & Jonker, C. M. (2023). Model-based reinforcement learning: A survey. Foundations and Trends® in Machine Learning, 16(1), 1-118.
-Qadri, SSSM, Gökçe, MA, & Öner, E. (2020). State-of-art review of traffic signal control methods: challenges and opportunities. European Transport Research Review, 12, 1-23.­
-Tajalli, M., Mehrabipour, M., & Hajbabaie, A. (2020). Network-level coordinated speed optimization and traffic light control for connected and automated vehicles. IEEE Transactions on Intelligent Transportation Systems, 22(11),
6748-6759.
-Touhbi, S, Babram, MA, Nguyen-Huu, T, Marilleau, N, Hbid, ML, Cambier, C, & Stinckwich, S. (2017). Adaptive traffic signal control: Exploring reward definition for reinforcement learning. Procedia Computer Science, 109, 513-520.
-Van Katwijk, RT. (2008). Multi-agent look-ahead traffic-adaptive control.
-https://adabvisa.com
-https://sumo.dlr.de/docs/index.html