زمانبندی چراغ راهنمایی در حالت اشباع با استفاده از یادگیری تقویتی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 استاد- دانشکده مهندسی عمران-دانشگاه علم و صنعت ایران

2 گروه حمل و نقل، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران

3 دانشکده مهندسی عمران-دانشگاه علم و صنعت ایران

10.22034/tri.2023.396364.3152

چکیده

اگرچه مدلسازی شبکه‌ها به امری پیچیده و دشوار تبدیل شده است و مدل‌سازی را برای نزدیک‌تر شدن به شرایط محیط با مشکلاتی مواجه می کند، در این میان چارچوب یادگیری تقویتی به عنوان یک روش مستقل از مدل می تواند نقش بهتری را در کنترل و شبیه سازی ترافیک فراهم کند. در این مطالعه سعی بر آن است که با استفاده از الگوریتم های مختلف یادگیری تقویتی، همچون الگوریتم های DQN و DDPG، بتوان به شیوه ای سریع‌تر و منظم تر شبکه ترافیکی در نظر گرفته شده را شبیه سازی کرده و بتوان موارد تاثیر گذاری همچون طول صف تشکیل شده در خیابان‌ها و چراغ‌های راهنمایی را با بکارگیری الگوریتم ها و برنامه ریزی مناسب، به شیوه ای نوین در جهت کاهش میزان ترافیک و روان‌سازی آن، بهینه کرد و با توجه به نتایج به دست آمده از دو الگوریتم ذکر شده، الگوریتمی که عملکرد بهتری داشت به عنوان الگوریتم برتر از زیر مجموعه الگوریتم یادگیری تقویتی مطرح شود. در نهایت شبکه خود را با کاهش طول صف و همچنین کاهش میزان زمان توقف در پشت چراغ راهنمایی در شبکه های شهری در حالت اشباع، موجب بهبود عبور و مرور و روان‌سازی جریان ترافیک می شود. روش مطرح شده بر روی تقاطعات چراغ دار لندن در جنوب غربی استان انتاریو27، در کشور کانادا انجام شده است. نتایج پیاده سازی این روش نشان می‏دهد که با استفاده از DDPG معیارهای ترافیکی مانند میانگین زمان ایستادن خودروها و درصد خودروها ساکن در کل شهر کاهش ملموسی پیدا می‏کنند.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Traffic signal timing in saturated mode using reinforcement learning

نویسندگان [English]

  • Shahriar Afandizadeh 1
  • Mahmoud Ahmadinejad 2
  • alireza movahedi 3
  • Hamid Bigdel Rad 3
1 Professor-School of Civil Engineering-Iran University of Science and Technology
2 Department Transportation, Faculty of Civil Engineering, Iran University of Science and Technology, Tehran, Iran
3 Iran University of Science and Technology
چکیده [English]

Today, with the expansion of urbanization, the need for a dynamic transportation system is felt more than ever. For this reason, to achieve a stable and orderly system, the control of transportation networks is considered essential. Although the modeling of networks today has become a complex and difficult issue and it faces problems in modeling to be closer to the environmental conditions, in the meantime, the framework of reinforcement learning as a model-independent method can play a better role in controlling and provide us with traffic simulation. In this study, we tried to use different reinforcement learning algorithms, such as DQN and DDPG algorithms, to simulate the considered traffic network in a faster and more regular way, and to be able to determine the influencing factors such as queue length. formed in the streets and traffic lights by using algorithms and proper planning, in a new way to reduce the amount of traffic and to optimize it, and according to the results obtained from the two mentioned algorithms, an algorithm that We propose that it had a better performance as the superior algorithm from the subset of reinforcement learning algorithm and finally our network by reducing the queue length and also reducing the amount of time spent behind traffic lights in urban networks in saturated state, which as a result improves passing and Review and smooth the flow of traffic.

کلیدواژه‌ها [English]

  • "
  • Urban planning"
  • Traffic flow"
  • Transportation networks"
  • , "
  • Reinforcement learning"