ارائه یک روش کنترل بهینه برای بهینه‌سازی مصرف انرژی در سیستم‌های سیگنالینگ راه‌آهن با استفاده از یادگیری تقویتی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشکده مهندسی راه آهن دانشگاه علم وصنعت ایران

2 دانشکده مهندسی راه‌آهن، دانشگاه علم و صنعت ایران، تهران، ایران

3 دانشکده مهندسی کامپیوتر، دانشگاه علم و صنعت ایران، تهران، ایران

4 دانشکده راه‌آهن، دانشگاه علم و صنعت ایران، تهران، ایران

10.22034/tri.2024.406433.3174

چکیده

امروزه بهینه‌سازی مصرف انرژی در سیستم‌های حمل و نقل عمومی یک موضوع بسیار مهم تلقی می‌شود. از آنجایی که بخش بزرگی از انرژی در سیستم‌های حمل و نقل توسط مترو مصرف می‌شود، رویکرد جدیدی برای کنترل بهینه قطار برای کاهش مصرف انرژی پیشنهاد شده است. مدل پیشنهادی مبتنی بر الگوریتم یادگیری تقویتی است. فرض بر این است که یک قطار بین دو ایستگاه در امتداد خطی با شیب، منحنی و محدودیت سرعت غیر ثابت حرکت می‌کند. علاوه بر این، قطار باید سفر خود را در یک بازه زمانی معین کامل کند. یادگیری تقویتی متغیرهای حالت و پاداش‌ها بر اساس اقدامات انتخاب شده است. در روش پیشنهادی، متغیرهای حالت قطار، سرعت و موقعیت قطار هستند و عمل، شتاب یا حرکت خلاص است. برخلاف تکنیک‌های قبلی، اکثر مراحل بهینه‌سازی در این روش به صورت آفلاین بوده و برای هر مسیری فقط یک بار اجرا می‌شود. پس از تشکیل ماتریس پاداش، می‌توانیم از این روش به صورت آنلاین استفاده کنیم و سپس مشخصات سرعت را در حداقل زمان تولید کنیم. شبیه‌سازی‌های روش پیشنهادی در متلب پیاده‌سازی شده و در نهایت با الگوریتم ژنتیک مقایسه شده است.

کلیدواژه‌ها


عنوان مقاله [English]

Proposing an Optimal Control Method for Energy Consumption Optimization in Railway Signalling Systems Using Reinforcement Learning

نویسندگان [English]

  • Mohammad Ali Sandidzadeh 1
  • Majid Azinfar 2
  • Mohammad Darabi 2
  • Naser Mozayani 3
  • Farzaad Soleymaani 4
1 School of Railway Engineering, Iran University of Science & Technology (IUST)
2 Faculty of Railway Engineering, Iran University of Science and Technology, Tehran, Iran
3 Faculty of Computer Engineering, Iran University of Science and Technology, Tehran, Iran
4 Faculty of Railway Engineering, Iran University of Science and Technology, Tehran, Iran
چکیده [English]

Nowadays, the optimization of energy consumption in public transportation systems is a serious issue. Since a large part of energy in transportation systems is consumed by subways, a new approach has been proposed for optimal control of a train to reduce energy consumption. The proposed model is based on the Reinforcement Learning algorithm. It is assumed that a train moves between two stations along a line with non-constant gradient, curve, and speed limits. Moreover, the train should complete its journey within a given time interval. The Reinforcement Learning of States, Actions, and Rewards are based on the selected Actions. In the proposed method, the train States are the velocity and position of the train, and the Action is acceleration or coasting motion. Unlike the former techniques, most stages of optimization in this method are offline and implemented only once for any route. Following the formation of the reward matrix, we could use this method in an online form and then the speed profile could be produced at a minimum time. The simulations of the proposed method are implemented in MATLAB and finally compared with those of the Genetic Algorithm.

کلیدواژه‌ها [English]

  • Train Speed Profile
  • Optimal Control
  • Energy Consumption Optimization
  • Reinforcement Learning Method
  • Railway Transportation System