河南大学数学与统计学院

河南省应用数学中心(河南大学)

报告题目:Occam's Razor in neural network

主讲人:许志钦

单位:上海交通大学

时    间:6月29日10:00

腾  讯ID: 626-173-892

摘要:Iwould demonstrate that a neuralnetwork (NN) learns training data as simple as it can,resembling an implicit Occam's Razor，from thefollowing two viewpoints. First，the NN output oftenfollows a frequency principle，i.e.，learning data fromlow tohighfrequency.The frequency principlequalitatively explains various phenomena of NNsinapplication. Second,the NN weights condenseonisolated directions when initialized small，which meanstheeffective NN size is much smaller than its actual size,i.e., a simple representation of the training data.

简介:许志钦，上海交通大学自然科学研究院/数学科学学院长聘教轨副教授。2012年本科毕业于上海交通大学致远学院。2016年博士毕业于上海交通大学，获应用数学博士学位。2016年至2019年，在纽约大学阿布分校和柯朗研究所做博士后。主要研究方向是机器学习和计算神经科学。多篇论文发表于Journal of Machine Learning Research,AAAI,NeurIPS,Communications in Computational Physics，EuropeanJournal of Neuroscience和Communications inMathematical Sciences等学术期刊和会议。

邀请人:庞志峰