ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression

[ryoherisson]

一言でいうと

次の層の特徴マップの誤差を最小になるように行われるフィルタレベルの剪定手法．

論文リンク

https://openaccess.thecvf.com/content_ICCV_2017/papers/Luo_ThiNet_A_Filter_ICCV_2017_paper.pdf

著者/所属機関

Jian-Hao Luo, Jianxin Wu, and Weiyao Lin
(National Key Laboratory for Novel Software Technology, Shanghai Jiao Tong University)

投稿日付(yyyy/MM/dd)

2017/07/20

概要

現在の層ではなく，次の層の統計情報に基づいて行われるフィルタレベルの剪定手法．
次の特徴マップの誤差が最小になるようにフィルタをgreedyに剪定．
精度損失を抑えながら，モデルを圧縮．

新規性・差分

• 既存手法に比べて大幅にCNNモデルの高速化と圧縮を行う．
• 現在の層ではなく次の層から計算された統計情報を用いたフィルタレベルの剪定手法を提案．

手法

• 層(i+1)の特徴マップの弱いチャネルに対応する層(i)のフィルタが剪定される．
• 1層ごとに剪定を行い，剪定が行われるごとに1~2エポックチューニングを行う．
• 全ての層で剪定を行ったあとFineTuning．

次の特徴マップの誤差が最小になるようにフィルタをgreedyに剪定．
最小化問題（|T|は削除するパラメータ数）

結果

ImageNet分類タスクで，以下の結果

• VGG−16：3.31倍のFLOP数削減，16.63倍のモデル圧縮，0.52%の精度低下
• ResNet-50：2.26倍のFLOP数削減，2.06倍のモデル圧縮，1%の精度低下
  

コメント