對于大規模系統日志的日志模式提煉算法的優化
大小：0.66 MB 人氣： 2017-11-21 需要積分：0
標簽：日志(10558)
LARGE框架是部署在中國科學院超級計算環境中的日志分析系統，通過日志收集、集中分析、結果反饋等步驟對環境中的各種日志文件進行監控和分析。在對環境中系統日志的監控過程中，系統維護人員需要通過日志模式提煉算法將大量的過往系統日志記錄縮減為少量的日志模式集合。然而隨著日志規模的增長以及messages日志文件的特殊性，原有的日志模式提煉算法已經難以滿足對大規模日志快速處理的需要。介紹了一種對于日志模式提煉算法的優化方法，通過引入MapReduce機制實現在存在多個日志輸入文件的情況下對日志處理和模式提煉的流程進行加速。實驗表明，當輸入文件較多時，該優化方法能夠顯著提高詞匯一致率算法的運行速度，大幅減少運行時間。此外，還對使用詞匯轉換函數時的算法運行時間和提煉效果進行了驗證。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
對于大規模系統日志的日志模式提煉算法的優化下載
相關電子資料下載
- 鴻蒙開發系統基礎能力：ohos.hilog 日志打印 166
- 鴻蒙開發系統基礎能力：ohos.faultLogger 故障日志獲取 146
- 奇怪！應用的日志呢？？ 173
- 微軟將Xbox Wire更新日志遷移至Xbox Support網站 233
- 【嵌入式SD NAND】基于FATFS/Littlefs文件系統的日志框架實現 847
- 【嵌入式SD NAND】基于FATFS/Littlefs文件系統的日志框架實現 794
- 基于Clickhouse構建新一代日志存儲系統 454
- Windows事件日志查看器存在零日漏洞 287
- 潤和軟件HopeStage與日志易系統完成產品兼容性互認證 233
- 請問Spring Boot是如何快速過濾出一次請求所有日志的？ 245