# GAN

* Discriminator采用Adversarial的方式去计算gradient palnety 而非随机采方向。好处可能会是收敛更快。
* 如何正确量化评估GAN生成质量
* 把GAN蒸馏到一些可解释的生成模型上。
* GAN + Domain Adaptation。如何把一个训练好的高分辨率GAN，Adapat 到一个样本少的空间。

# GAN Prior

* Image Classification with GAN! 一个 Conditional GAN + GAN Prior = GAN classification。
* Image Segmentation with GAN! 一个 Layer-wise GAN + GAN Prior = GAN Segmentation。
* Video Prediction with GAN! 一个 Layer-wise Video GAN + GAN Prior = Video Understanding + Prediction。

# Robustness

* gradient palnety 做 robust。(已有人做啦)
* 尝试证明NN在满足一定平滑性条件后，会在别的地方更加不平滑。然后以此作为一个网络结构鲁棒性潜能的度量。
* 通过训练集确定一个kernel到底接受哪些组何的激活，然后在测试的时候只接受这些组何的激活，而非卷积后加起来。也就是分析每层weight*input的结果矩阵，做下SVD，看看基和秩，对比测试集上的表现。
* 是否可以通过把输入图片normal到 U[0.5, 1.5] 而非 N(0,1) 来避免第一个conv的条件数过大，而后面部分ReLU 从 0.5 起步，避免其他conv 条件数过大。

----------


# Interpretability

* 是什么导致了non-robust feature的出现？数据集里同一只猫？
* 为什么神经网络会倾向于学习更偏纹理或者non-robust feature的特征？是否是因为初始值在1附近导致学习ID mapping更容易？
* Nerual Network Debugging
 [Sampling for Deep Learning Model Diagnosis](https://arxiv.org/abs/2002.09754)
* 寻找一个好的 benchmark for  interpretability。
* 把神经网络的 interests 和 similarity 结合起来做。
* 结合可解释性与domain adaptation。
* 使用多个不同初始化的网络来改进出一个准确度更高网络。
* [MINE-Mutual Information Neural Estimation](https://zhuanlan.zhihu.com/p/129055376), 那么 representation similarity measurment 解决了, 是不是意味着 KD 也解决了。
* 把一张图片迭代到某个简化形式，并且不改变整个网络activation的激活状态。
* 把一个分类模型 data free 逆向得到一个生成模型。

# Domain Adapation

* 目前Domain translation的方法，在classifier 是robust的情况下，是不是都没用？
* 对于robust feature，如何正确找到域之间的mapping?以及如何训练？
* 是否对应的non-robust feature在$L_{\infty}$下是接近的？
* Use CycleGAN loss to estimate DA upper bound.
* Use feature distance measurement to show how network behave on different domains.

# Knowledge Distillation

* 尝试用GAN提取多个网络的中间层 common knowledge， 然后用于蒸馏学习。
* 蒸馏到一个高冗余度的网络，然后剪枝得到新的架构，然后不同随机种子重新训练，再蒸馏到一个网络，reapte 提高模型准确度。
* 用一阶导作为feature蒸馏的加权方式
* 普通蒸馏是蒸馏一阶矩，基于关系的蒸馏是二阶矩，那么引入三阶四阶...矩
* 对于一个多分枝的网络，先得到一个更宽的等效NN，然后使用蒸馏把这个NN瘦下去。

# Training Methodology

* Adaptive Gradient Clipping 需要解决的问题是——原权重向量太小，加上梯度后方向变化太大。 原权重向量太小可能来自于 Weight Decay。是否可以从根源上增加某种loss解决这个问题？

# Super Resolution

* 把 SR 视为多个风格变换任务。

# 多模态

* 输入一张图片，输入一句话，根据这句话操作这张图片的修改。

# 可以继续挖的

* 第一个网络拟合目标函数， 第二个网络拟合余量, etc
* 神经网络之间feature怎么连接才能蒸馏好 (答案：N^2 全连最好)

# 创业相关

* 满足用户绘图需求的平台，通过GAN等技术实现低价容易的绘图（参见创业管理课）。
* 有AI P图，为什么没有AI 调音？
* DeepFake for 直播。real time 鹿鸣
* 通过 StyleGANv2 的隐空间插值实现完美P图，一张真人图片，一张期望的风格目标画。
* 穿搭和发型推荐，通过用户手机摄像头对用户进行3D建模，GAN用于头发衣服等渲染。通过一个颜值判别器，最大化生成结果的颜值。

【迁移】Ideas(2019)

* 记录一下今年（25年）奇绩路演的有意思的项目。




1. 低成本电机
2. 电推进
3. AI工业设计工作流 （建筑设计、幕墙设计）
4. 拍照录音->第二大脑
5. 工厂模仿学习
6. 在线教育答疑(画笔+文字)
7. 智能激光焊接
8. 3D生成+玩具定制
9. AI游戏（既是广告又是游戏 【视频交互游戏】）
10. AI药物研发
11. Agent 平台，出售Agent劳动 (目前还是人类劳务外包平台)
12. 空间推理(打台球)
13. 边缘计算芯片
14. 具身智能
15. AI网络安全
16. “一人公司”协作网络
17. 机器人生态
18. 科学论文写作的cursor
19. 具身智能训练平台
20. AI+材料生产方案
21. AI+ 半导体 CAE 仿真
22. 无人设备 MCP
23. 个性化音频 Agent（AI采访满足个人认同需求）
24. 智能体地图(map 具身智能领域)
25. AI语音模型
26. AI笔记本（notebook）
27. AI + 健康
28. GPU效率 infra
29. SNN传感器
30. 仿生肌肉
31. AI网文
32. 卫星观测组网（地上天文台）
33. AI绘画工具
34. AI工具调用数据
35. 血糖眼压测量隐形眼镜
36. 自动驾驶仿真
37. C端海上钓鱼机器人
38. 中型电动无人机 出海项目
39. 连续体机械臂(线控)
40. 游戏+智能(游戏玩家做DNN)
41. Agent员工
42. AI原生智能产线（产线设计的智能化）
43. AI定制化cosplay头壳 (小单快反)
44. 动漫视频生成
45. 科研工具 Agent
46. 空间视频生产和分享（双目摄像头）
47. AI交互式玩具
48. 无磁直驱电机
49. 工业图纸解析AI
50. AI应用上下文存储记忆
51. AI解读非结构化数据API
52. AI+游戏 提升制作效率
53. AI园丁(稻田画)
54. 国产算力万卡系统

奇绩参观

搬家啦！

从原来的 [http://blog.leanote.com/wuvin](http://blog.leanote.com/wuvin) 搬过来了

要不是 leanote 越来越慢，越来越卡，五年不更新，感觉药丸💊，也不会自己搞一个。

之所以不用 github.io 有个原因，总该有些私密文章的嘛 🤭



测试下图片插入(分析一个之前高铁上拍的)

![497a101afca86dcf52fdcba6fec3df6.jpg](http://47.99.33.11/static/img/fa4cc694d146373c99235876453cc17a.497a101afca86dcf52fdcba6fec3df6.webp)