作者:重剑无锋(UPenn机器学习PhD)
关于一篇顶会论文是如何产生的这件事——且看作者为你娓娓道来,如何从一形成Routine的日常科研生活中挖掘到巧妙的产出。
最近完成了一篇很满意的论文,不仅整个过程愉快,回味无穷,而且真正做到了“学术有影响 工业有产出”,可以肯定这篇文章会改变差分隐私(differential privacy;DP)深度学习的范式。
因为这次经历实在太过“巧”了 (过程充满巧合 结论极其巧妙)在此和同学们分享一下自己从观察-->构思-->实证-->理论-->大规模实验的完整流程,尽量保持lightweight不涉及过多技术细节,代码放在底部。
Automatic Clipping: Differentially Private Deep Learning Made Easier and Strongerarxiv.org/abs/2206.07136
https://arxiv.org/abs/2206.07136
尤其与paper展现的顺序不同,paper有时会刻意将结论放在开头吸引读者,或者先介绍简化后的定理而将完整的定理放附录,而我想将我的经历按时间顺序写下(也就是流水账) 比如把走过的弯路和研究中突发的状况写出来,以供刚踏上科研之路的同学参考。
评论
沙发等你来抢