[ICNP'21] Is Machine Learning Ready for Traffic Engineering Optimization? 阅读笔记

该方案中采用的GNN是MPNN，link将自己的初始权重和链路利用率作为自己的初始hidden state，然后将自己的hidden state和邻居link交换。再将收集到的所有hidden state经过一个全连接层，再来一次逐元素相加，一个全连接层得到一个新的hidden state。重复这个步骤得到一个link最终的hidden state。

DRL #

该方案的DRL采用PPO算法，主要是将GNN输出的hidden state计算得到一个最终的概率。并以这个概率进行采样，根据采样结果来决定是将权重增加1还是减少1。可以看到DRL的结果并直接就是link的权重。

思考 #

感觉这个算法优点浪费计算资源，每次经过那么多的迭代就得到一个对一条link权重的增减，感觉其实可以根据提取到的特征来做更多的事情
原文中有将DRL计算得到的概率在agent之间共享，并且每个agent都共享相同的随机种子。按照原文的说法，这样的话每个agent都可以去采样得到相同的结果。但是我感觉这样并不是很有意义，因为采样是一个很简单的工作，结果还需要去增加共享开销
经过那么多的计算量，最终做的事情知识将权重增加或者减少一点点。这样会不会导致对于网络状况的反应不够迅速？例如对于突然产生的拥塞调整的太慢

论文笔记 - This article is part of a series.

Part : [TON'21] FlexDATE: Flexible and Disturbance-Aware Traffic Engineering With Reinforcement Learning in Software-Defined Networks思路记录

Part : [IWQoS'21]DarkTE: Towards Dark Traffic Engineering in Data Center Networks with Ensemble Learning

Part : [arxiv'21] Gemini: Practical Reconfigurable Datacenter Networks with Topology and Traffic Engineering

Part : This Article

Part : [ICNP'21]Federated Traffic Engineering with Supervised Learning in Multi-region Networks 阅读笔记

Part : [NSDI'21]Cost-Effective Cloud Edge Traffic Engineering with CASCARA 阅读笔记

Part : [SOSR'21]Helix: Traffic Engineering for Multi-Controller SDN 阅读笔记

Part : [EuroSys'14]WCMP: Weighted Cost Multipathing for Improved Fairness in Data Centers 阅读笔记

Part : [Computer Network'21]ScaleDRL: A Scalable Deep Reinforcement Learning Approach for Traffic Engineering in SDN with Pinning Control 阅读笔记

Part : [INFOCOM'21]Primus: Fast and Robust Centralized Routing for Large-scale Data Center Networks 阅读笔记

Part : [TON'20] Elmo: Source Routed Multicast for Public Clouds 阅读笔记