符号制約学習

ドメイン知識は、学習機械の汎化性能を向上させるのに役立ちます。符号制約は、学習機械とドメイン知識を組み合わせる便利な表現手法です。この論文では、線形サポートベクトルマシンを学習する際に重み係数の符号を制約することを考え、符号制約のもとで経験リスクを最小化するための2つの最適化アルゴリズムを開発しました。そのうちの1つは、投影勾配法に基づいており、投影勾配法の各反復はO(nd)の計算コストを取り、目的関数の誤差が亜線形的に収束することが保証されています。2番目のアルゴリズムはFrank-Wolfe法に基づいており、これも亜線形的に収束し、明確な終了基準を持っています。Frank-Wolfeの各反復もO(nd)のコストがかかります。さらに、目的関数の曲率を分析して、ϵ-正確な解を確保するための最小反復数の明示的な式を導出しています。最後に、実験的に示されたように、符号制約はトレーニング例に類似する場合に有望な手法であることを示しています。