GAN

• Discriminator采用Adversarial的方式去计算gradient palnety 而非随机采方向。好处可能会是收敛更快。
• 如何正确量化评估GAN生成质量
• 把GAN蒸馏到一些可解释的生成模型上。
• GAN + Domain Adaptation。如何把一个训练好的高分辨率GAN，Adapat 到一个样本少的空间。

GAN Prior

• Image Classification with GAN! 一个 Conditional GAN + GAN Prior = GAN classification。
• Image Segmentation with GAN! 一个 Layer-wise GAN + GAN Prior = GAN Segmentation。
• Video Prediction with GAN! 一个 Layer-wise Video GAN + GAN Prior = Video Understanding + Prediction。

Robustness

• gradient palnety 做 robust。(已有人做啦)
• 尝试证明NN在满足一定平滑性条件后，会在别的地方更加不平滑。然后以此作为一个网络结构鲁棒性潜能的度量。
• 通过训练集确定一个kernel到底接受哪些组何的激活，然后在测试的时候只接受这些组何的激活，而非卷积后加起来。也就是分析每层weight*input的结果矩阵，做下SVD，看看基和秩，对比测试集上的表现。
• 是否可以通过把输入图片normal到 U[0.5, 1.5] 而非 N(0,1) 来避免第一个conv的条件数过大，而后面部分ReLU 从 0.5 起步，避免其他conv 条件数过大。

Interpretability

• 是什么导致了non-robust feature的出现？数据集里同一只猫？
• 为什么神经网络会倾向于学习更偏纹理或者non-robust feature的特征？是否是因为初始值在1附近导致学习ID mapping更容易？
• Nerual Network Debugging Sampling for Deep Learning Model Diagnosis
• 寻找一个好的 benchmark for interpretability。
• 把神经网络的 interests 和 similarity 结合起来做。
• 结合可解释性与domain adaptation。
• 使用多个不同初始化的网络来改进出一个准确度更高网络。
• MINE-Mutual Information Neural Estimation, 那么 representation similarity measurment 解决了, 是不是意味着 KD 也解决了。
• 把一张图片迭代到某个简化形式，并且不改变整个网络activation的激活状态。
• 把一个分类模型 data free 逆向得到一个生成模型。

Domain Adapation

• 目前Domain translation的方法，在classifier 是robust的情况下，是不是都没用？
• 对于robust feature，如何正确找到域之间的mapping?以及如何训练？
• 是否对应的non-robust feature在$L_{\infty}$下是接近的？
• Use CycleGAN loss to estimate DA upper bound.
• Use feature distance measurement to show how network behave on different domains.

Knowledge Distillation

• 尝试用GAN提取多个网络的中间层 common knowledge， 然后用于蒸馏学习。
• 蒸馏到一个高冗余度的网络，然后剪枝得到新的架构，然后不同随机种子重新训练，再蒸馏到一个网络，reapte 提高模型准确度。
• 用一阶导作为feature蒸馏的加权方式
• 普通蒸馏是蒸馏一阶矩，基于关系的蒸馏是二阶矩，那么引入三阶四阶...矩
• 对于一个多分枝的网络，先得到一个更宽的等效NN，然后使用蒸馏把这个NN瘦下去。

Training Methodology

• Adaptive Gradient Clipping 需要解决的问题是——原权重向量太小，加上梯度后方向变化太大。 原权重向量太小可能来自于 Weight Decay。是否可以从根源上增加某种loss解决这个问题？

Super Resolution

• 把 SR 视为多个风格变换任务。

多模态

• 输入一张图片，输入一句话，根据这句话操作这张图片的修改。

可以继续挖的

• 第一个网络拟合目标函数， 第二个网络拟合余量, etc
• 神经网络之间feature怎么连接才能蒸馏好 (答案：N^2 全连最好)

创业相关

• 满足用户绘图需求的平台，通过GAN等技术实现低价容易的绘图（参见创业管理课）。
• 有AI P图，为什么没有AI 调音？
• DeepFake for 直播。real time 鹿鸣
• 通过 StyleGANv2 的隐空间插值实现完美P图，一张真人图片，一张期望的风格目标画。
• 穿搭和发型推荐，通过用户手机摄像头对用户进行3D建模，GAN用于头发衣服等渲染。通过一个颜值判别器，最大化生成结果的颜值。