上传者: 42134143
|
上传时间: 2021-12-19 13:52:48
|
文件大小: 10KB
|
文件类型: -
互信息神经估计
该存储库包含使用相互信息神经估计(MINE)的信息瓶颈(IB)的pytorch实现。
已使用标准基线MLP(如Deep VIB论文中所述进行了比较)。
设置
git clone https://github.com/mohith-sakthivel/mutual_information_neural_estimation.git mine
cd mine
conda create -n mine -f environment.yml
conda activate mine
跑
使用默认参数运行基线模型
python3 -m mine.mine --deter
基线模型是具有3个隐藏层和ReLU非线性的标准MLP。 在训练过程中,将保持参数的指数加权平均值,并在测试时使用这些平均参数。
运行MINE + IB模型
python3 -m mine.mine --mine