亚洲爆乳中文字幕无码专区网站-黄页网站视频-暖暖 免费 高清 日本 在线-97亚洲熟妇自偷自拍另类图片-国产av久久久久精东av

本發明涉及一種基于MapReduce的數據篩選抽取方法及系統。其中，該方法包括：輸入篩選抽取信息，判斷篩選抽取信息是否合法，在MapReduce框架下，初始化并解析篩選抽取信息，讀取待篩選數據中每一行數據記錄并進入map處理階段，根據輸入分隔符分隔數據記錄，并判斷待篩選數據是否包含篩選條件信息，若包含則進行數據篩選并獲得對應的數據字段，若不包含則不篩選；判斷待篩選數據是否包含抽取字段信息，若包含則對對應數據字段進行抽取并輸出至輸出路徑。本發明通過統一的輸入格式接口，高效的實現了用戶數據篩選需求，針對各種復雜多樣的數據篩選需求，避免開發人員頻繁的編寫不同的篩選抽取程序，提高數據處理任務效率，節省開發成本。

一種基于MapReduce的數據篩選抽取方法，其特征在于，包括以下步驟：篩選抽取信息輸入步驟，輸入篩選抽取信息，所述篩選抽取信息包括：數據的輸入路徑、篩選需求信息、數據的輸出路徑，所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符；合法性判斷步驟，判斷所述篩選需求信息是否為空，若不為空，則判斷所述篩選需求信息是否為json格式，若為json格式，則判斷所述篩選需求信息是否符合預設規范，若符合，則繼續判斷所述輸入路徑是否存在，若存在，則判斷所述輸出路徑是否不存在，若不存在則說明所述篩選抽取信息是合法的；數據篩選步驟，在MapReduce框架下，初始化并解析所述篩選抽取信息，讀取待篩選數據中每一行數據記錄并進入map處理階段，根據所述輸入分隔符分隔所述數據記錄，并判斷所述待篩選數據是否包含所述篩選條件信息，若包含則進行數據篩選并獲得對應的數據字段，若不包含則不篩選；數據抽取步驟，判斷所述待篩選數據是否包含所述抽取字段信息，若包含則對對應所述數據字段進行抽取并輸出至所述輸出路徑。

申請號：CN202110563545.3
申請（專利權）人：北京明略軟件系統有限公司
公開日期（公開）：2021.08.03
公開日期（授權）：2024.01.12