光華講壇——社會名流與企業家論壇第6718期

主 題：Recent advances in Distributional Reinforcement Learning分布式強化學習的最新進展

主講人：上海財經大學 周帆副教授

主持人：統計學院 林華珍教授

時間：1月22日 15:00-16:00

舉辦地點：柳林校區弘遠樓408會議室

主辦單位：統計研究中心和統計學院 科研處

主講人簡介：

周帆，上海財經大學統計與管理學院副教授，博士畢業于美國北卡羅萊納大學教堂山分校。主要研究方向包括強化學習，深度學習，因果推斷。在Journal of American Statistical Association，Journal of Machine Learning Research, Biometrics等統計學機器學習期刊以及NeurIPS, ICML, KDD等國際人工智能頂會接收發表一作通訊文章數十篇，曾獲得國際泛華統計協會新研究者獎，北卡教堂山分校Barry H. Margolin Award，并入選上海市人才計劃（青年）。

內容簡介：

Although distributional reinforcement learning (DRL) has been widely examined in the past few years, very few studies investigate the validity of the obtained Q-function estimator in the distributional setting. We discuss some of our works in ensuring the monotonicity of the obtained quantile estimates and the theoretical necessity. Moreover, we undertake a comprehensive analysis of how the approximation errors within the Q-function impact the overall training process in DRL. We both theoretically analyze and empirically demonstrate techniques to reduce both bias and variance in these error terms, ultimately resulting in improved performance in practical applications.

分布式強化學習（DRL）在過去幾年里得到了廣泛的研究，但很少有研究調查在分布式環境中獲得的 Q 函數估計器的有效性。主講人將介紹為確保所獲得的分位數估計的單調性方面所做的一些工作并探討理論上的必要性。此外，主講人對Q函數中的近似誤差如何影響DRL的整體訓練過程進行了全面分析。主講人將對減少這些誤差項中的偏差和方差的技術進行理論分析和實證演示，并展示這一技術最終在實際應用中實現了性能的提高。