STEP: Adaptive Spatio-Temporal Expert Prefetching for Low-Latency and Memory-Efficient MoE Inference
Fangxin Liu · Ning Yang · Zongwu Wang · Chenyang Guan · Haomin Li · Yu Feng · Liqiang Lu · Xiang Li · Siran Yang · Jiamang Wang · Lin Qu · Li Jiang · Haibing Guan