Finding Cyber Threats with Big Data Analytics
June 26, 2018
By Jesse Price
情報單位大量篩選網路數據
光傳輸網路上的流量呈指數級增長，讓負責監控這些網路的網路情報機構承擔了一項艱鉅的任務，即試圖篩選過濾不斷增加的數據量以找出網路威脅。然而，能夠過濾大量即時流量的新技術正在加入支援大數據和分析功能的新型網路監控應用方案中。
由於新興的光傳輸技術，變革浪潮正席捲長途傳輸網路。創新的同調光源光通信技術（optical coherent signaling）將單個光波長容量從每秒10G擴展到100G+，為電信業者部署每秒400G的光傳輸設備打開了大門。當然，這種模式也為未來提供了可擴展性，因為它可以直接部署到現有的光纖網路基礎建設上，以避免鋪設新光纜的高昂成本。
由於龐大的網路流量和橫跨全球網路數據通信的光傳輸技術快速發展，負責搜索潛在網路攻擊的通信情報機關被迫居於守勢。僅在一兩年前部署用於監控流量的技術解決方案，可能已經過時，或被這種新興的光通訊技術演進而淹沒。隨著光傳輸速率的倍增和流量呈指數級增長，現今網路資安工具通常無法跟上流量成長的步伐，並且無法在所有光傳輸網路的數據專線中，得到即時性的可視化。那麼，網路情報人員該如何在傳輸速率和流量高速成長的情況下，規劃並且成功部署資安監控架構呢？
事實證明，不斷演進發展的光通信信令協議與不斷增加的流量相結合，為新的解決方案帶來了發展潛力，新的方案專注於結合大數據分析和網路自動化排程。這些應用具有提供自動化網路接取的潛力，同時為情報官員提供有關網路攻擊發生地點和時間等更多資訊。這些資訊可能會產出足以扭轉網路恐怖分子掌控局面所需的關鍵情資。
網際網路協議（Internet Protocol）早已成為連接全球的主流通訊應用，其中IP 封包流資訊導出（IPFIX）和 NetFlow生成是針對這些龐大的網路流量（大數據）帶來的挑戰所發展出的新型技術解決方案。這項功能匯總了每條單獨的封包流IP Flow的基本資訊，有助於在光通訊網路的大量訊務中，高效的搜索目標流量，同時也顯著減少深度封包檢測（Deep Packet Inspection）等工具系統的的負載。更有效率的流量篩選可以節省後端更多的平行運算處理能力，意味著能收集更多的情報。這種監控效率的提升使負責網路安全的人員能夠專注於更具攻擊性的網路戰術。
電信或網路服務供應商正部署具備 IPFIX 和 NetFlow 的網路情資解決方案，流量紀錄的生成植基於 IP封包流並加以分析，也同時推動即時、以數據為導向的決策模式。憑藉這些網路監控設備的先進功能，電信與網路服務業者正藉由此種方法提升他們主動反應的能力，在全球網路服務故障中斷的潛在風險發生之前，推出可獲利的商用網路服務，並做出更明智的容量規劃決策。使用基於 IPFIX 和 NetFlow 流量紀錄的分析，是一種可行動型資安資訊 (Actionable Intelligence)，有助於對進階式威脅做出快速反應，這些威脅通常善於規避傳統基於特徵碼或基於政策規則的資安防護方案。
除了基於IP封包流的分析之外，負責監控大規模光網路的光通信情報解決方案，還把目光著眼於光傳輸協議層，這在上一代的資安監控應用系統中經常被忽視。這些光網路信令協議攜帶著識別實體傳輸層的光通訊服務供應商的數據線路資訊，可以經由確認被監控流量的實體層光訊號的來源或目的地，得知詳細地理資訊。網路情報人員發現把傳統的IPFIX或NetFlow流量紀錄，與源自光傳輸實體層所取得的光通信情報相結合時，有助於追蹤執行網路攻擊的犯罪分子以取得戰術上的優勢，這大幅的強化對於網路威脅來源的偵蒐能力。
過去，僅專注於IP層流量分析的網路安全工具，通常會遺漏了來自實體光傳輸層網路的珍貴的通信情報。將光通信傳輸層提取的資訊與標準IP封包流分析相關聯，可描繪出由實體層光傳輸網路到IP網路應用層，橫跨每一層的完整網路全貌。通過分析整個受監控網路或特定網段所收集的訊息，網路情報人員可以自動編排跨多個光網路信令探測器所收集的大量光通信傳輸層的資訊，達成真正的網路可視化。這個不斷變化的光通信情報資料庫可用於呈現光通信網路和其乘載的數據專線屬性，並可隨持續追蹤，以收集數天、數週、數月或數年的歷史趨勢。
透過取得當前和過去的網路情資，網路監控的系統可訂出預期中網路正常運作的基線，並取得在所監控或受保護的網路中，流量應如何穿越這些網路，實現真正的網路可視化。更重要的是，它提供了檢測異常網路行為的能力，提供網路攻擊預警的機會。這些重要的資訊，可進行分析，並據以制定強化偵蒐網路威脅任務的戰略。
簡而言之，隨著通訊業者建置新的光通訊傳輸設備、網路流量的快速成長和光傳輸速率的不斷變化，在長途光通訊骨幹網路上偵蒐尋找網路威脅變得越來越困難。幸運的是，現代化的網路情報解決方案已開始使用新興的大數據分析，應用於快速篩選過濾爆炸性成長的網路流量，以收集、分析並產出有價值的網路威脅情資。隨著網路攻擊的增加，大數據功能和通訊信令分析的結合是備受肯定的發展，它使網路情報人員從原先網路監控的被動式防禦策略，轉為主動進攻。
作者Jesse Price是NetQuest 公司的 CEO
本文原文刊載於國際國防通信電子協會AFCEA (Armed Forces Communications and Electronics Association) 所屬的“SIGNAL”雜誌，2018年6月
Source: https://www.afcea.org/content/finding-cyber-threats-big-data-analytics