亚洲爆乳中文字幕无码专区网站-黄页网站视频-暖暖 免费 高清 日本 在线-97亚洲熟妇自偷自拍另类图片-国产av久久久久精东av

EN

基于MapReduce的數據篩選抽取方法及系統

2024-01-12

基于MapReduce的數據篩選抽取方法及系統

本發明涉及一種基于MapReduce的數據篩選抽取方法及系統。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數據中每一行數據記錄并進入map處理階段,根據輸入分隔符分隔數據記錄,并判斷待篩選數據是否包含篩選條件信息,若包含則進行數據篩選并獲得對應的數據字段,若不包含則不篩選;判斷待篩選數據是否包含抽取字段信息,若包含則對對應數據字段進行抽取并輸出至輸出路徑。本發明通過統一的輸入格式接口,高效的實現了用戶數據篩選需求,針對各種復雜多樣的數據篩選需求,避免開發人員頻繁的編寫不同的篩選抽取程序,提高數據處理任務效率,節省開發成本。

一種基于MapReduce的數據篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數據的輸入路徑、篩選需求信息、數據的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預設規范,若符合,則繼續判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說明所述篩選抽取信息是合法的;數據篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數據中每一行數據記錄并進入map處理階段,根據所述輸入分隔符分隔所述數據記錄,并判斷所述待篩選數據是否包含所述篩選條件信息,若包含則進行數據篩選并獲得對應的數據字段,若不包含則不篩選;數據抽取步驟,判斷所述待篩選數據是否包含所述抽取字段信息,若包含則對對應所述數據字段進行抽取并輸出至所述輸出路徑。

基于MapReduce的數據篩選抽取方法及系統

申請號:CN202110563545.3
申請(專利權)人:北京明略軟件系統有限公司
公開日期(公開):2021.08.03
公開日期(授權):2024.01.12

信息填寫

*手機號碼:

請選協議

主站蜘蛛池模板: 国产欧美精品一区二区色综合| 国产日产欧产精品精乱子| 久热国产vs视频在线观看| 大陆熟妇丰满多毛xxxⅹ| 少妇精品无码一区二区三区| 亚洲国产人成在线观看69网站| 人妻熟女一区二区aⅴ水野朝阳 | 久久人人97超碰国产公开 | 国产精品无套内射迪丽热巴| 国产精彩亚洲中文在线| 久久久久成人精品免费播放动漫| 国产精品免费麻豆入口| 欧美熟妇色ⅹxxx欧美妇| 99精品视频在线观看免费| 亚洲人午夜射精精品日韩| 久久久国产打桩机| 国产精品18禁污污网站| 欧美性大战久久久久久久| 国产综合色在线视频区| 十八禁无码精品a∨在线观看| 国产精品无码无在线观看| 国产乱子伦高清露脸对白| 激烈的性高湖波多野结衣| 亚洲国产av精品一区二区蜜芽 | 最新色国产精品精品视频| 午夜家庭影院| 极品尤物一区二区三区| 狠狠色噜噜狠狠狠888米奇视频| 麻豆国产精品久久人妻| 国产在线精品无码二区二区| 中文字幕精品一区二区2021年| 无码精品人妻一区二区三区涩爱 | 超薄肉色丝袜一区二区| 亚洲国产成人精品无码区99| 精品亚洲一区二区三区四区五区| 国产农村妇女精品一二区| 国产成人精品一区二区在线小狼| 99久久精品国产免费| 亚洲精品国产成人| 久久亚洲欧美国产精品| 亚洲无码精品视频|