畳み込みニューラルネットの初期化

深層畳み込みニューラルネットワーク（CNN）は、画像処理タスクで一貫して優れたパフォーマンスを発揮しています。CNNのアーキテクチャには、畳み込み層と最大プーリング層など、さまざまな種類の層が含まれています。CNNの実践者の間では、学習の安定性は各層のモデルパラメータの初期化に依存すると広く理解されています。現在の初期化のデファクトスタンダードスキームは、Heらによって開発されたKaiming初期化です。Kaimingスキームは、現在使用されているCNN構造よりも単純なモデルから派生しています。これは畳み込み層と完全に接続された層だけで構成されており、最大プーリングやグローバル平均プーリング層は含まれていません。この研究では、Kaimingモデルではなく、畳み込みと完全に接続された層だけでなく、最大プーリングとグローバル平均プーリングも含む現代のCNNアーキテクチャから初期化スキームを導き出します。さらに、新しいモデルは既存のモデルでは考慮されていないパディングを表現します。我々は新しい初期化方法のパフォーマンスを、今日広く使用されているデファクトスタンダードの方法と比較して実証的に調査します。