日本久久网I久久精品五月天I91wumaI国产又粗又猛又爽I98福利在线I久操人妻I午夜激情AVI中文字幕在线日亚洲9I色综合久久夜色精品国产天堂I午夜爱爱网站I黄色小说免费观看I精品天堂I亚洲欧美性爱I成人av在线影院I丝袜网站黄I91色国产I毛片基地,无码I姝姝窝人体色www聚色窝

EN

基于MapReduce的數據篩選抽取方法及系統

2024-01-12

基于MapReduce的數據篩選抽取方法及系統

本發明涉及一種基于MapReduce的數據篩選抽取方法及系統。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數據中每一行數據記錄并進入map處理階段,根據輸入分隔符分隔數據記錄,并判斷待篩選數據是否包含篩選條件信息,若包含則進行數據篩選并獲得對應的數據字段,若不包含則不篩選;判斷待篩選數據是否包含抽取字段信息,若包含則對對應數據字段進行抽取并輸出至輸出路徑。本發明通過統一的輸入格式接口,高效的實現了用戶數據篩選需求,針對各種復雜多樣的數據篩選需求,避免開發人員頻繁的編寫不同的篩選抽取程序,提高數據處理任務效率,節省開發成本。

一種基于MapReduce的數據篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數據的輸入路徑、篩選需求信息、數據的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預設規范,若符合,則繼續判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說明所述篩選抽取信息是合法的;數據篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數據中每一行數據記錄并進入map處理階段,根據所述輸入分隔符分隔所述數據記錄,并判斷所述待篩選數據是否包含所述篩選條件信息,若包含則進行數據篩選并獲得對應的數據字段,若不包含則不篩選;數據抽取步驟,判斷所述待篩選數據是否包含所述抽取字段信息,若包含則對對應所述數據字段進行抽取并輸出至所述輸出路徑。

基于MapReduce的數據篩選抽取方法及系統

申請號:CN202110563545.3
申請(專利權)人:北京明略軟件系統有限公司
公開日期(公開):2021.08.03
公開日期(授權):2024.01.12

信息填寫

*手機號碼:

請選協議

主站蜘蛛池模板: 欧美拍拍视频免费大全| 精品乱码久久久久久久| 特级精品毛片免费观看| 国产精品成熟老妇女| 亚洲首页一区任你躁xxxxx| 国产亚洲一区二区手机在线观看 | 久久人人爽爽人人爽人人片av| 男人扒开女人腿做爽爽视频| 天天狠天天透天干天天怕| 国产精品无码综合区| 国产精品无码专区在线播放| 国产午夜成人av在线播放| 中文字幕久久精品一二三区| 国产亚洲精品久久久久久无挡照片| 欧美精品久久96人妻无码| 人妻少妇精品视频无码专区| 亚洲中文无码成人手机版| 亚洲日韩欧美国产另类综合| 亚洲全国最大的人成网站| 国产偷国产偷亚洲高清日韩| 国产日韩av无码免费一区二区| 欧美交换配乱吟粗大| 国产精品免费观看久久| 婷婷综合缴情亚洲狠狠| 人妻精品无码一区二区三区| 狠狠色成人综合网| 黑人大战日本人妻嗷嗷叫| 国产av无码专区亚洲精品| 少妇人妻中文字幕污| 亚洲一区二区三区av无码| 久久婷婷激情综合色综合俺也去 | 国产suv精品一区二区四| 日本三级韩国三级欧美三级 | 丰满人妻无奈张开双腿av| 亚洲日韩精品看片无码| 免费看裸体???网站| 国产免费又黄又爽又色毛| 亚洲乱码国产乱码精品精姦 | 国内精品久久久久精免费| 国产午夜福利精品久久不卡| 一 级 黄 色 片免费网站|