THIẾT KẾ HÀM PHẦN THƯỞNG ĐA MỤC TIÊU CHO HỌC TĂNG CƯỜNG TRONG ĐIỆN TOÁN BIÊN HỖ TRỢ ỨNG DỤNG THỰC TẾ ẢO VÀ TĂNG CƯỜNG

Abstract

Quản lý động tài nguyên trong hệ thống điện toán biên đa truy cập (Multi- Access Edge Computing - MEC) phục vụ ứng dụng thực tế ảo và thực tế tăng cường (AR/ VR) đặt ra nhiều thách thức lớn do yêu cầu khắt khe về độ trễ thấp và hiệu quả năng lượng. Học tăng cường sâu (Deep Reinforcement Learning - DRL) đã trở thành cách tiếp cận phổ biến cho bài toán này; tuy nhiên, hiệu năng của DRL phụ thuộc nhiều vào thiết kế hàm phần thưởng. Mục tiêu của bài báo là phân tích và so sánh ba thiết kế hàm phần thưởng đa mục tiêu cho thuật toán Proximal Policy Optimization (PPO) trong môi trường MEC AR/VR, bao gồm: tổng có trọng số tuyến tính (LWS), hàm logarit (LOG) và phương án phân tầng thích ứng (Adaptive Hierarchical - AH) được nhóm tác giả đề xuất. Phương pháp nghiên cứu là xây dựng môi trường mô phỏng MEC AR/VR tùy chỉnh trên Python với 10 thiết bị người dùng và một trạm gốc tích hợp một máy chủ biên duy nhất, sau đó huấn luyện và đánh giá ba phương án trên bốn chỉ số: độ trễ trung bình, năng lượng tiêu thụ, tỷ lệ vi phạm hạn và tốc độ hội tụ; mỗi cấu hình được lặp lại 5 lần với 5 hạt giống ngẫu nhiên khác nhau. Bài báo cũng bổ sung so sánh với ba baseline đơn giản (Random, Greedy battery-aware, AllLocal) và phân tích độ nhạy của tham số trọng số động κ. Kết quả cho thấy hàm phần thưởng AH đề xuất giảm 19% độ trễ trung bình, 27% năng lượng tiêu thụ và 27% tỷ lệ vi phạm hạn so với LWS, đồng thời cho thấy độ ổn định cao trong dải κ rộng.