English
邮箱
联系我们
网站地图
邮箱
旧版回顾



利来国际老:功夫搭档,可以抗疲劳的白酒

文章来源:利来国际老    发布时间:2018年07月23日 18:20  【字号:      】

利来国际老(记者 王子遥整理)

由黄百鸣监制,林德禄执导,古天乐、张智霖、郑嘉颖、邓丽欣领衔主演的《反贪风暴3》近日公布了定档海报,宣布定档8月24日。

早报| 《反贪风暴3》定档8月24日;Netflix市值一度超越迪士尼;《爱国者》定档6月9日

王家卫获哈佛大学荣誉博士学位

特等奖

迪拜双人游(1份/天)

一等奖

ICML 2018|再生神经网络:利用知识蒸馏收敛到更优的模型

知识蒸馏将知识从一个复杂的机器学习模型迁移到另一个紧凑的机器学习模型,而一般紧凑的模型在性能上会有一些降低。本文探讨了同等复杂度模型之间的知识迁移,并发现知识蒸馏中的学生模型在性能上要比教师模型更强大。

在一篇关于算法建模的著名论文(Breiman 等,2001)中,Leo Breiman 指出,不同的随机算法过程(Hansen & Salamon,1990;Liaw 等,2002 年;Chen & Guestrinn,2016)可以产生具有相似验证性能的不同模型。此外,他还指出,我们可以将这些模型组成一个集成算法,从而获得优于单个模型的预测能力。有趣的是,给定这样一个强大的算法集成,人们往往可以找到一个更简单的模型(至少不比集成模型更复杂)来仿效此集成并实现其性能。

在《再生树(Born Again Trees)》(Breiman & Shang,1996)一书中,Breiman 率先提出了这一想法,学习单棵决策树能达到多棵树预测的性能。这些再生树近似集成方法的决策,且提供了决策树的可解释性。随后一系列论文重新讨论了再生模型的概念。在神经网络社区,类似的想法也出现在压缩模型(Bucilua 等,2006)和知识蒸馏(Hinton 等,2015)概念中。在这两种情况下,这种想法通常是把能力强大、表现出色的教师模型的知识迁移给更紧凑的学生模型(Ba & Caruana,2014;Urban 等,2016;Rusu 等,2015)。虽然在以监督方式直接训练学生模型(student)时,其能力不能与教师模型(teacher)相匹配,但经过知识蒸馏,学生模型的预测能力会更接近教师模型的预测能力。

可以看到,国产品牌在芯片设计,芯片制造,操作系统,技术标准等很多方面,都落后与美国,甚至落后于韩国,利润,专利,更多不是我们企业的,我们的企业似乎关注获奖多了些,结果还不是真获奖。

为什么我们有新四大发明,还是会被欧美高科技卡住喉咙?

这种差异,通过研发投入也可以看出,缺少研发支出的话,很难产生足够多的科技成果。我们可以看到,在2017年全球企业研发投入中,前30名中国只有一家入围。

很容易发现,在研发投入前30名中,美国有15家公司,德国有6家,都远远领先于我国。

所以可以很清晰的得出结论,中国很多发明和创新,借助了国内互联网人口众多的优势,得以快速发展,但在技术含量上并不充足,而不充足的核心原因是研发不足。

显然,不进行研发,就无法获得更高技术突破。但进行研发,未必会在短期取得成果,这也是很多中国公司选择在应用层面进行突破的原因,可以快速推向市场,获得先机,比如把GPS模块、蓝牙模块安装到自行车上,实现共享使用等等。




(责任编辑:奥尼翁)

附件:

专题推荐

相关新闻


© 1996 - 2017 中国科学院 版权所有 京ICP备05002857号  京公网安备110402500047号 

网站地图    地址:北京市三里河路52号 邮编:100864