مرکز تحقیقات راه ، مسکن و شهرسازی پژوهشنامه حمل و نقل 1735-3459 22 2 2025 06 22 Traffic Signal Timing in Saturated Mode Using Reinforcement Learning زمانبندی چراغ راهنمایی در حالت اشباع با استفاده از یادگیری تقویتی 27 44 176577 10.22034/tri.2023.396364.3152 FA شهریار افندی زاده استاد، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران 0000-0001-5137-3673 محمود احمدی نژاد استاد، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران علیرضا موحدی دانشجوی کارشناسی ارشد، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران حمید بیگدلی راد دانشجوی دکتری، دانشکده مهندسی عمران، دانشگاه علم و صنعت ایران، تهران، ایران Journal Article 2023 05 08 Today, with the expansion of urbanization, the need for a dynamic transportation system is felt more than ever. For this reason, to achieve a stable and orderly system, the control of transportation networks is considered essential. Although the modeling of networks today has become a complex and difficult issue and it faces problems in modeling to be closer to the environmental conditions, in the meantime, the framework of reinforcement learning as a model-independent method can play a better role in controlling and provide us with traffic simulation. In this study, we tried to use different reinforcement learning algorithms, such as DQN and DDPG algorithms, to simulate the considered traffic network in a faster and more regular way, and to be able to determine the influencing factors such as queue length. formed in the streets and traffic lights by using algorithms and proper planning, in a new way to reduce the amount of traffic and to optimize it, and according to the results obtained from the two mentioned algorithms, an algorithm that We propose that it had a better performance as the superior algorithm from the subset of reinforcement learning algorithm and finally our network by reducing the queue length and also reducing the amount of time spent behind traffic lights in urban networks in saturated state, which as a result improves passing and Review and smooth the flow of traffic. <em>اگرچه مدلسازی شبکه­ها به امری پیچیده و دشوار تبدیل شده است و مدل­سازی را برای نزدیک­تر شدن به شرایط محیط با مشکلاتی مواجه می­کند، در این میان چارچوب یادگیری تقویتی به عنوان یک روش مستقل از مدل می­تواند نقش بهتری را در کنترل و شبیه‌سازی ترافیک فراهم کند. در این مطالعه سعی بر آن است که با استفاده از الگوریتم­های مختلف یادگیری تقویتی، همچون الگوریتم­های DQN و DDPG، بتوان به شیوه­ای سریع­تر و منظم­تر شبکه ترافیکی در نظر گرفته شده را شبیه­سازی کرده و بتوان موارد تاثیرگذاری همچون طول صف تشکیل شده در خیابان­ها و چراغ­های راهنمایی را با بکارگیری الگوریتم­ها و برنامه ریزی مناسب، به شیوه‌ای نوین در جهت کاهش میزان ترافیک و روان­سازی آن، بهینه کرد و با توجه به نتایج به دست آمده از دو الگوریتم ذکر شده، الگوریتمی که عملکرد بهتری داشت به عنوان الگوریتم برتر از زیر مجموعه الگوریتم یادگیری تقویتی مطرح شود. در نهایت، شبکه خود را با کاهش طول صف و همچنین کاهش میزان زمان توقف در پشت چراغ راهنمایی در شبکه­های شهری در حالت اشباع، موجب بهبود عبور، مرور و روان­سازی جریان ترافیک می­شود. روش مطرح شده بر روی تقاطعات چراغ دار لندن  در جنوب غربی استان </em><em>انتاریو</em><em>27، در کشور </em><em>کانادا</em><em> انجام شده است. نتایج پیاده سازی این روش نشان می‏دهد که با استفاده از DDPG معیارهای ترافیکی مانند میانگین زمان ایستادن خودروها و درصد خودروها ساکن در کل شهر کاهش ملموسی پیدا می‏کنند</em> https://www.trijournal.ir/article_176577_dfd12d0413525737ee2644877068520f.pdf