昆明新聞網-《昆明日報》社主辦,中國昆明新聞門戶

借助機器學習,對垃圾信息說“不”

2018-08-15 22:31:01     來源:人民網     作者:劉欣

  七夕將至,你是否收到過電商店鋪推送的打折促銷短信?平時是否經常收到理財、貸款、購房等信息?如果你是蘋果用戶,那你是否有過半夜收到iMessage推送賭場、假貨、股票以及色情信息的經歷?

  商家給安卓用戶推送廣告信息需要通過移動、聯通等運營商,運營商會攔截掉一些非法信息,而針對蘋果用戶,商家甚至不法分子則可利用iMessage渠道通過互聯網直接向用戶推送垃圾信息,目前蘋果公司尚未采取有效的篩選、攔截等手段。

  近日,蘋果官方終于發聲,表示正在探索更先進的機器學習模型識別,過濾垃圾信息。機器學習模型如何過濾垃圾信息?又面臨哪些技術難點呢?科技日報記者采訪了相關專家。  

  作為人工智能的核心技術,機器學習是計算機模擬人類思考方式的一種學習行為,它讓計算機變得“聰明伶俐”。“基于機器學習的垃圾信息過濾技術實際上是一個二元分類過程,機器學習模型需回答‘是’或‘不是’,以便將垃圾文本從大量信息中分離出來。”北京語言大學大數據與語言教育研究所所長荀恩東教授在接受科技日報記者采訪時說,“首先應準備人工標注的數據,進而構建機器學習參數化模型,最后對其訓練、測試,直至模型應用,解決實際問題。”

  “目前市場上識別垃圾郵件、短信的機器學習模型絕大部分采用的是針對文本顯式特征的分析和提取。”荀恩東解釋,所謂“顯式”特征,是指垃圾信息的關鍵詞、表達形式、特殊符號、異體字、敏感詞語表達方式等“外在”特征。將這些多元、離散的特征元素匯總,便可構成顯式特征列表,進而構建模型對垃圾信息進行甄別。

  “這種分類方式效率較高、成本較低、所依賴數據較少,但也存在適應性差,識別精度不高等不足之處。”荀恩東指出,如果垃圾信息發送方掌握了用戶攔截系統的顯式特征列表,便可對垃圾信息的敏感詞匯作出相應調整,變換表達形式,從而有效規避攔截系統。因此分類器需要實時動態更新顯式特征列表,即便如此,該列表元素數量也十分有限,導致分類器過濾效果不佳,精確度不高。

  基于顯式特征的分類方式“先天不足”,蘋果公司有可能將目光投向隱式特征分類,即深度學習模型。荀恩東表示,深度學習模型可對海量數據的信息進行深度挖掘,從信息的語義和內容上對垃圾信息進行甄別。也就是說,同樣一條推銷短信,深度學習模型基于龐大的數據庫,可分析出它的多種表達方式,從而做出更加準確的判斷,僅靠改變文字形式無法逃脫深度學習模型的“火眼金睛”。深度學習模型省去了前期建立大量顯示特征列表的工作,只需標注垃圾、非垃圾信息即可,不僅效率提高,識別精度也得到很大提升。

  基于深度學習的垃圾信息過濾技術目前也面臨諸多技術難點。復旦大學計算機科學技術學院張軍平教授表示,雖然有大數據支撐,深度學習模型在很多方面還是無法像人一樣有效分析和理解信息中的內容。例如,個別漢字的順序顛倒不一定能影響閱讀,然而深度學習模型并沒有人腦這樣“聰明”。另外,組合爆炸問題也是難點之一。垃圾信息涉及領域廣泛,形式變化多端,大數據深度學習模型可能對已有的垃圾信息有效分類,但面對新出現的垃圾信息可能就會“蒙圈”。

  “這需要借助類似長短時記憶網絡或更新的一些技術,對深度學習模型進行定期更新。” 張軍平認為,還可以考慮自然語言處理中的一些句與句的關系,進一步完善深度學習算法,從而改善其預測、分類能力。

(注:來源如注明昆明新聞網和《昆明日報》即為原創內容,其他網絡媒體禁止轉載,責任編輯:劉欣)

河北20选5技巧