BEGIN:VCALENDAR VERSION:2.0 PRODID:-//TUC//Events//EN CALSCALE:GREGORIAN BEGIN:VTIMEZONE TZID:Europe/Athens TZNAME:EEST DTSTART:19700329T030000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3 BEGIN:STANDARD TZOFFSETFROM:+0200 TZOFFSETTO:+0300 TZNAME:EET DTSTART:19701025T040000 RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10 END:STANDARD END:VTIMEZONE BEGIN:VEVENT CREATED:20241211T105544Z LAST-MODIFIED:20241211T105544Z DTSTAMP:20261011T030405Z UID:1791677045@tuc.gr SUMMARY:Παρουσίαση διπλωματικής εργασιας κ. ΑΚΡΙΒΟΠΟΥΛΟΥ ΓΡΗΓΟΡΙΟΥ, Σχολή ΜΠΔ LOCATION: DESCRIPTION:https://www.pem.tuc.gr/el/chrisima/i merologio-ekdiloseon?tx_tucevents2_t uceventsdisplay%5Baction%5D=show&tx_ tucevents2_tuceventsdisplay%5Bcontro ller%5D=Event&tx_tucevents2_tucevent sdisplay%5Bevent%5D=7431&cHash=61af0 e65a527bcda89a908eb22ecb511\nΠΟΛΥΤΕΧ ΝΕΙΟ ΚΡΗΤΗΣ\n Σχολή Μηχανικών Παραγω γής και Διοίκησης\n Πρόγραμμα Προπτυ χιακών Σπουδών\n ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤ ΙΚΗΣ ΕΡΓΑΣΙΑΣ\n Δευτέρα, 16 Δεκεμβρί ου 2024, 12:00\n https://tuc-gr.zoom .us/j/96312443400?pwd=k4yApq7PYnhn89 IifLxUKhihgtUAYh.1\n Ονοματεπώνυμο:  ΑΚΡΙΒΟΠΟΥΛΟΣ ΓΡΗΓΟΡΙΟΣ\n Θέμα: Συστη ματική αξιολόγηση του αλγόριθμου PPO για βαθιά ενισχυτική μάθηση σε αυτό νομη οδήγηση χωρίς λωρίδες κυκλοφορί ας\n Title: A systematic evaluation of the PPO algorithm for deep reinfo rcement learning in lane-free autono mous driving\n Εξεταστική Επιτροπή\n \n \nΠΑΠΑΜΙΧΑΗΛ ΙΩΑΝΝΗΣ, Καθηγητής (επιβλέπων)\n \nΔΟΪΤΣΙΔΗΣ ΕΛΕΥΘEΡΙΟΣ , Επίκουρος Καθηγητής\n \nΧΑΛΚΙΑΔΑΚΗ Σ ΓΕΩΡΓΙΟΣ, Καθηγητής\n \n Περίληψη\ n Η κυκλοφορία χωρίς λωρίδες (lane-f ree traffic) είναι ένα νέο ερευνητικ ό πεδίο που εξετάζει περιβάλλοντα πο υ αποτελούνται πλήρως από Συνδεδεμέν α και Αυτοματοποιημένα Οχήματα (Conn ected and Automated Vehicles, CAV), όπου τα CAV δεν είναι περιορισμένα σ τις καθιερωμένες λωρίδες κυκλοφορίας αλλά μπορούν να μετακινηθούν σε οπο ιαδήποτε πλευρική θέση εντός των ορί ων του δρόμου. Αυτό έχει αποτελέσει βάση για αρκετές ερευνητικές εργασίε ς και καινοτόμες εφαρμογές. Ταυτόχρο να, ο τομέας της Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning , DRL) εξελίσσεται με ταχείς ρυθμούς τα τελευταία χρόνια, αλλά και με αρ κετά ενεργή έρευνα σε εφαρμογές πάνω στην αυτόνομη οδήγηση. Πιο συγκεκρι μένα, ο Proximal Policy Optimization (PPO) είναι ένας on-policy αλγόριθμ ος που προτάθηκε πρόσφατα για DRL κα ι θεωρείται ένας από τους πιο δημοφι λείς σε σύγχρονες εφαρμογές. Μέχρι σ τιγμής, οι υφιστάμενες προσεγγίσεις για DRL σε κυκλοφορία χωρίς λωρίδες έχουν εξετάσει άλλους αλγόριθμους πο υ δεν σχετίζονται με τον PPO ή γενικ ότερα με αλγόριθμους on-policy. Για το σκοπό αυτό, βασιστήκαμε σε υπάρχο υσα εργασία για DRL σε περιβάλλοντα χωρίς λωρίδες ενός πράκτορα (agent), όπου ένα CAV με τη μορφή ενός agent έχει ως στόχο να μάθει μια στρατηγι κή κίνησης οχημάτων χωρίς λωρίδες εν ώ πλοηγείται σε έναν δρόμο αποτελούμ ενο από άλλα αυτόνομα CAV. Για να εφ αρμόσουμε αποτελεσματικά τον PPO σε αυτό το περιβάλλον, επεκτείνουμε κατ άλληλα με διαφορετικά νέα στοιχεία τ ην υπάρχουσα μοντελοποίηση του προβλ ήματος ως μία Μαρκοβιανή Διαδικασία Λήψης Αποφάσεων (Markov Decision Pro cess, MDP), και αξιολογούμε συστηματ ικά την επιρροή τους ως προς την επί δοση του μάθησης του πράκτορα. Αρχικ ά, προτείνουμε μια νέα αναπαράσταση της κατάστασης εισόδου με μορφή εικό νας της γειτονικής κυκλοφορίας που α ποτυπώνει κατάλληλα τη δισδιάστατη κ ίνηση των CAV, και τη συγκρίνουμε με την υπάρχουσα κατάσταση εισόδου που έχει μορφή διανύσματος. Στη συνέχει α, σχηματίζουμε και εξετάζουμε διαφο ρετικούς όρους συνάρτησης ανταμοιβής που ταιριάζουν καλύτερα στον αλγόρι θμο PPO. Επιπλέον, αναπτύσσουμε μια παραλλαγή του περιβάλλοντος όπου οι ενέργειες του πράκτορα φιλτράρονται κάτω από ορισμένες κρίσιμες συνθήκες . Εκεί, σε αντίθεση με το πλήρως ελε ύθερο περιβάλλον μάθησης, βλέπουμε τ ην επίδραση ενός πρακτικού περιορισμ ού που καθοδηγεί καλύτερα τη διαδικα σία μάθησης μακριά από τα τοπικά μέγ ιστα που συνήθως αντιμετωπίζαμε στην πράξη. Η πειραματική μας αξιολόγηση δείχνει τη βελτίωση που παρέχει καθ εμία από τις προαναφερθείσες βελτιώσ εις για τον αλγόριθμο PPO στο περιβά λλον χωρίς λωρίδες ενός πράκτορα. Τα αποτελέσματα υποδεικνύουν την ικανό τητα του πράκτορα να μαθαίνει πολιτι κές που ξεπερνούν προηγούμενες λύσει ς που παρατηρήθηκαν στην υφιστάμενη προσέγγιση που στόχευε σε άλλες μεθό δους. Δεδομένων των πειραματικών απο τελεσμάτων, θεωρούμε ότι οι προτεινό μενες βελτιώσεις μπορούν να χρησιμεύ σουν ως βάση σε μελλοντικές εργασίες για τον PPO αλλά και σε άλλους αλγό ριθμους για DRL σε κυκλοφορία χωρίς λωρίδες.\n Abstract\n Lane-free traf fic is a novel paradigm that targets environments fully comprised of Con nected and Automated Vehicles (CAVs) , where CAVs do not adhere to traffi c lanes but can occupy any lateral p osition within the road boundaries. This gives rise to many research opp ortunities and innovative applicatio ns. At the same time, the field of D eep Reinforcement Learning (DRL) has gained momentum and continues to ra pidly advance, with active lines of research for applications in autonom ous driving. Specifically, Proximal Policy Optimization (PPO) is a recen tly introduced on-policy algorithm f or DRL and is considered as one of t he most prominent for modern DRL app lications. As of now, research avenu es for DRL in lane-free traffic have examined other algorithms not relat ed to PPO or on-policy algorithms in general. To this end, we build upon existing work for DRL in single-age nt lane-free environments, where a C AV with the form of an agent has the task to learn a lane-free vehicle m ovement strategy while navigating a road populated with other CAVs. To e ffectively apply PPO in this setting , we extend an existing Markov Decis ion Process formulation of the probl em with different new components, an d systematically evaluate their infl uence on the agent’s learning perfor mance. Firstly, we put forward an im age state representation of surround ing traffic that captures the 2-dime nsional movement of CAVs and compare it with the existing vector-based s tate input. Then, we formulate and e xamine different reward function ter ms that are better fitted for PPO. M oreover, we develop a blocking envir onment setting where the agent’s act ions are filtered under some critica l conditions. There, instead of the fully unconstrained learning environ ment, we observe the impact of a pra ctical constraint that better guides the learning process away from the local maxima that we commonly experi enced in practice. Our experimental evaluation shows the improvement tha t each of the above-mentioned enhanc ements for PPO provides under the si ngle-agent lane-free environment. Th e results indicate the agent’s capac ity to learn strategies that overcom e solutions of inferior quality that were initially observed under the o riginal formulation targeting other methods. Motivated by the results, w e believe that the proposed enhancem ents can serve as groundwork in futu re endeavours for PPO and other meth ods for DRL in lane-free traffic.\n STATUS:CONFIRMED ORGANIZER;RSVP=FALSE;CN=TUC;CUTYPE=TUC:mailto:webmaster@tuc.gr DTSTART:20241216T120000 DTEND:20241216T130000 TRANSP:OPAQUE CLASS:DEFAULT END:VEVENT END:VCALENDAR