0%

本文的提出,主要借鉴于Network slimming以及rethinking the value of pruning network这两篇文章,文章的观点在于,我是不是有必要在预训练模型上面剪枝,是否可以在随机初始化的模型上面直接剪枝,本文经过证明,得出的结论是可以的,并且剪枝后的模型效果并不比在预训练模型上面剪枝的效果差。

阅读全文 »

由于深度学习模型大小以及计算资源的限制,导致将深度学习模型部署到如移动端的时候会受到一定的限制,为了解决这个问题,就形成了一个新的领域:模型压缩,即减少模型的参数以及计算量,并且依然保证模型的精度。常见的方法比如:量化、剪枝、蒸馏等,本文便是“剪枝”当中一篇非常经典的文章,也是比较有效果的一篇文章。本文方法其实比较简单:首先,使用L1 regularization对BN层的scaling factor进行稀疏化训练,然后将scaling factor较小的参数相连接的filter减掉,达到减少模型size的目标。最后再重新finetune剪枝后的网络,以达到更好的效果。

阅读全文 »

这篇文章读下来,感觉就是一个tricks的集大成,作者实验做的可是真的很详细,好多trick我都没有听过,我看网上有人评论说,可以当做目标检测的入门手册了,哈哈,确实,能做如此多的实验,足见作者的功底。总体来说,文章的创新点不是特别多,大多是在试各种tricks,然后找到效果最好的,文章值得好好的读一读。

阅读全文 »

本篇论文是亚马逊MXNet团队的又一力作,目前预训练模型已经在MXNet官网上面公布,从效果上看,网络的精确度提升还是很明显的,实现了较好的speed与accuracy的trade-off。精度提升的点主要在于两方面,一方面resnest使用了前面MXNet团队总结的训练模型的tricks,另一方面设计了split-attention block结构,在并没有改变resnet原始结构的情况下,提高了网络的识别能力。并且ResNeSt可以轻易的移植到其他的使用resnet作为backbone的任务中,比如目标检测、分割、姿态估计等,非常方便。

阅读全文 »

本篇论文是发表于CVPR2020的一篇轻量级网络的论文,作者是华为诺亚方舟实验室,文章的总体思路比较清晰,为了减少网络计算量,作者将传统的卷积分成两步进行,首先利用较少的计算量通过传统的卷积生成channel较小的特征图,然后在此特征图的基础上,通过cheap operation(depthwise conv)再进一步利用较少的计算量,生成新的特征图,最后将两组特征图拼接到一起,得到最终的output,最终实验效果还不错,相同计算量的情况下比MobileNet- V3的效果还要更好一些。

阅读全文 »

这篇文章是ECCV2017一篇比较经典的人脸检测的文章,是一篇很实用的针对小脸优化的文章。读下来,文章并没有提出特别牛逼的理论或者网络,而是在SSD的基础上,进行了针对小脸的一系列优化,最终实现了对小脸检测效果的提升,相比于提出高大上理论的论文,本篇论文中提出的方法更容易实用到实际项目中,产生收益,特别是针对小目标,文章中的方法值得借鉴,我喜欢这种文章。

阅读全文 »

Resnet是2015年ImageNet比赛的冠军,不仅在分类上标线优秀,在目标检测中同样取得好成绩,Resnet将网络层数进一步加深,甚至达到1000+层。ResNet的表现以至于后面的网络都是在其基础上进行修改得到的,可以说ResNet是一个划时代的网络,被广泛应用于工业界。

下面简单介绍一下这个网络。

阅读全文 »

本篇文章是CVPR2019的一篇Anchor-Free的文章,是一篇很好的Anchor Free的目标检测的文章,目前基于anchor的目标检测方法,大多采用不同的level预测不同尺度的instance,而分配规则往往是人为设计的,这导致anchor的匹配策略可能不是最优的。那有没有更优的匹配方法?文章从level选取的点进行切入,利用FASF实现不同的instance在不同level的动态分配,实现了level的动态选择,并且anchor free方法取得了较好的mAP,另外作者设计了anchor free跟anchor-based相结合的方法,进一步提升模型效果,取得了可观的结果。

阅读全文 »

很多时候,外界同学管深度学习算法工程师叫做调参工程师,简单直接的概括了深度学习工程师的工作,搞深度学习的同学自己也经常自嘲,称自己的工作是炼丹,的确,深度学习模型有时候确实很奇妙,而调参在一个模型的优化中起着至关重要的作用,正因为如此,也有越来越多的研究放在了调参这件事上,比如:学习率的优化算法,模型初始化算法等等。
其实,拿一个别人已经训练好的模型(比如ImageNet上预训练的ResNet),直接在自己的数据集上进行finetune,不需要怎么调参,一般都会得到不错的效果,这就是站在巨人的肩膀上,但是如果想继续提高模型的精度,该怎么做?继续调参?还是有一些其他的方法可以采用?本篇文章就介绍了Amazon工程师总结的分类模型的调参技巧。

阅读全文 »