深度神經(jīng)網(wǎng)絡(luò)模型壓縮綜述
關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò) 模型壓縮 深度學(xué)習(xí) 網(wǎng)絡(luò)剪枝 網(wǎng)絡(luò)蒸餾
摘要：深度神經(jīng)網(wǎng)絡(luò)近年在計(jì)算機(jī)視覺以及自然語言處理等任務(wù)上不斷刷新已有最好性能,已經(jīng)成為最受關(guān)注的研究方向.深度網(wǎng)絡(luò)模型雖然性能顯著,但由于參數(shù)量巨大、存儲(chǔ)成本與計(jì)算成本過高,仍然難以部署到硬件受限的嵌入式或移動(dòng)設(shè)備上.相關(guān)研究發(fā)現(xiàn),基于卷積神經(jīng)網(wǎng)絡(luò)的深度模型本身存在參數(shù)冗余,模型中存在對(duì)最終結(jié)果無用的參數(shù),這為深度網(wǎng)絡(luò)模型壓縮提供了理論支持.因此,如何在保證模型精度條件下降低模型大小已經(jīng)成為熱點(diǎn)問題.本文對(duì)國內(nèi)外學(xué)者近幾年在模型壓縮方面所取得的成果與進(jìn)展進(jìn)行了分類歸納并對(duì)其優(yōu)缺點(diǎn)進(jìn)行評(píng)價(jià),并探討了模型壓縮目前存在的問題以及未來的發(fā)展方向.
工程科學(xué)學(xué)報(bào)雜志要求:
{1}投稿須基金項(xiàng)目論文，請(qǐng)給出項(xiàng)目的編號(hào)或批準(zhǔn)文號(hào)，本刊將優(yōu)先采用。
{2}凡向本刊投稿，稿件錄用后即視為授權(quán)本刊，并包括本刊關(guān)聯(lián)的出版物、網(wǎng)站及其他合作出版物和網(wǎng)站。
{3}本刊歡迎有觀點(diǎn)、有論證、有研究深度的文稿。
{4}文章題目力求簡(jiǎn)明、醒目，中文文題一般以20個(gè)漢字以內(nèi)為宜，可帶副題。
{5}來稿應(yīng)附3～8個(gè)關(guān)鍵詞。附200字左右的結(jié)構(gòu)式摘要（理論研究不要寫成結(jié)構(gòu)式摘要），內(nèi)容包括目的、方法、結(jié)果、結(jié)論。
注：因版權(quán)方要求，不能公開全文，如需全文，請(qǐng)咨詢雜志社
