日本久久网I久久精品五月天I91wumaI国产又粗又猛又爽I98福利在线I久操人妻I午夜激情AVI中文字幕在线日亚洲9I色综合久久夜色精品国产天堂I午夜爱爱网站I黄色小说免费观看I精品天堂I亚洲欧美性爱I成人av在线影院I丝袜网站黄I91色国产I毛片基地,无码I姝姝窝人体色www聚色窝

EN

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

2024-01-12

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

本發(fā)明涉及一種基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進(jìn)入map處理階段,根據(jù)輸入分隔符分隔數(shù)據(jù)記錄,并判斷待篩選數(shù)據(jù)是否包含篩選條件信息,若包含則進(jìn)行數(shù)據(jù)篩選并獲得對(duì)應(yīng)的數(shù)據(jù)字段,若不包含則不篩選;判斷待篩選數(shù)據(jù)是否包含抽取字段信息,若包含則對(duì)對(duì)應(yīng)數(shù)據(jù)字段進(jìn)行抽取并輸出至輸出路徑。本發(fā)明通過統(tǒng)一的輸入格式接口,高效的實(shí)現(xiàn)了用戶數(shù)據(jù)篩選需求,針對(duì)各種復(fù)雜多樣的數(shù)據(jù)篩選需求,避免開發(fā)人員頻繁的編寫不同的篩選抽取程序,提高數(shù)據(jù)處理任務(wù)效率,節(jié)省開發(fā)成本。

一種基于MapReduce的數(shù)據(jù)篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數(shù)據(jù)的輸入路徑、篩選需求信息、數(shù)據(jù)的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預(yù)設(shè)規(guī)范,若符合,則繼續(xù)判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說(shuō)明所述篩選抽取信息是合法的;數(shù)據(jù)篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進(jìn)入map處理階段,根據(jù)所述輸入分隔符分隔所述數(shù)據(jù)記錄,并判斷所述待篩選數(shù)據(jù)是否包含所述篩選條件信息,若包含則進(jìn)行數(shù)據(jù)篩選并獲得對(duì)應(yīng)的數(shù)據(jù)字段,若不包含則不篩選;數(shù)據(jù)抽取步驟,判斷所述待篩選數(shù)據(jù)是否包含所述抽取字段信息,若包含則對(duì)對(duì)應(yīng)所述數(shù)據(jù)字段進(jìn)行抽取并輸出至所述輸出路徑。

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

申請(qǐng)?zhí)枺篊N202110563545.3
申請(qǐng)(專利權(quán))人:北京明略軟件系統(tǒng)有限公司
公開日期(公開):2021.08.03
公開日期(授權(quán)):2024.01.12

信息填寫

*手機(jī)號(hào)碼:

請(qǐng)選協(xié)議

主站蜘蛛池模板: 国产欧美精品aaaaaa片| 国产精品无码v在线观看| 美女网站免费福利视频| 亚洲欧美日韩国产成人一区| 日韩欧洲在线高清一区| 久久久精品久久久久久96| 色欲蜜桃av无码中文字幕| 国产精品午夜性视频| 亚洲欧美v国产蜜芽tv| 亚洲精品夜夜夜| 亚洲国产精品日韩专区av| 亚洲免费在线| 被灌满精子的少妇视频| 亚洲日韩日本中文在线| 国产午夜成人久久无码一区二区| 亚洲国产天堂久久综合226114| 中文无码乱人伦中文视频播放| 国产精品毛片| 强制高潮18xxxxhd日韩| 国产精品亚洲一区二区无码 | 人妻av中文字幕一区二区三区| 亚洲欧洲专线一区| 日韩精品无码一区二区三区| 综合亚洲伊人午夜网| 日本丰满人妻xxxxxhd| 无码永久成人免费视频| 人妻暴雨中被强制侵犯在线| 亚洲中文欧美在线视频| 毛片免费视频肛交颜射免费视频| 亚洲天天影院色香欲综合| 巨胸喷奶水www视频网站| 亚洲综合色自拍一区| 亚洲va久久久噜噜噜久久天堂| 成人av片在线观看免费| 亚洲ⅴ欧洲第一的日产av| 天天做天天爱天天综合网2021| 又大又硬又爽免费视频| 国产色诱视频在线观看| 国产艳妇av在线观看果冻传媒| 亚洲综合色无码| 97夜夜澡人人爽人人|