卷積核歸一化
關鍵詞：卷積核歸一化 批量歸一化 內(nèi)部協(xié)方差位移 卷積神經(jīng)網(wǎng)絡 深度學習
摘要：批量歸一化已被證明是深度學習模型中不可或缺的一層,可以有效處理深度神經(jīng)網(wǎng)絡訓練過程中的內(nèi)部協(xié)方差位移問題。但批量歸一化算法的效果依賴于批的大小,當批較小時,批量歸一化的效果較差。此外,批量歸一化也帶來了額外的計算量,需要更多的存儲空間。為了解決這些問題,文中提出一種新的歸一化算法——卷積核歸一化,對權重的輸出通道進行歸一化,同樣可以有效解決內(nèi)部協(xié)方差位移問題。卷積核歸一化不依賴于批的大小,并且不需要計算輸入的均值和方差,相比批量歸一化減少了75%至81%的計算量。實驗證明,在批較小的時候,卷積核歸一化訓練收斂速度較快且準確率較高,比批量歸一化高0.9%至12%;在批較大的時候,卷積核歸一化與批量歸一化最高準確率誤差不超過1%。
計算機技術與發(fā)展雜志要求:
{1}參考文獻著錄格式請參照國家標準《文后參考文獻著錄規(guī)則》(GB7714-87)。
{2}鼓勵首發(fā)，反對抄襲、剽竊等侵犯他人著作權的行為。由此給本刊造成不良后果的，本刊將追究責任。
{3}本刊稿件從發(fā)表之日起，如無電子版、網(wǎng)絡版、有聲版等方面特殊說明，即視作投稿者同意授權本刊電子版、網(wǎng)絡版、有聲版等的復制權、匯編權、發(fā)行權、翻譯權、信息網(wǎng)絡傳播權及其轉授權等專著權。
{4}中文題名一般不超過20個漢字，一般不使用副題名，中英文題名含義一致。
{5}投稿請?zhí)顚懻鎸嵱行У脑敿毜刂?、郵政編碼、聯(lián)系電話及E-mail，以便聯(lián)系。
注：因版權方要求，不能公開全文，如需全文，請咨詢雜志社
