一種基于flink的流計(jì)算性能優(yōu)化系統(tǒng)及方法
2024-02-23

本發(fā)明公開(kāi)了一種基于flink的流計(jì)算性能優(yōu)化系統(tǒng)及方法,屬于流計(jì)算技術(shù)領(lǐng)域。本系統(tǒng)監(jiān)控模塊,用于實(shí)時(shí)監(jiān)控并獲取flink運(yùn)行過(guò)程中不同階段的運(yùn)行參數(shù);數(shù)據(jù)收集模塊,用于將從所述監(jiān)控模塊獲取的運(yùn)行參數(shù)輸出至一數(shù)據(jù)庫(kù)中;策略調(diào)整模塊,根據(jù)所述數(shù)據(jù)庫(kù)中的運(yùn)行參數(shù),結(jié)合預(yù)設(shè)的啟動(dòng)參數(shù),通過(guò)策略調(diào)整算法,輸出下一步的運(yùn)行方案;運(yùn)行管理模塊,根據(jù)所述策略調(diào)整模塊輸出的運(yùn)行方案調(diào)整運(yùn)行參數(shù),并應(yīng)用到flink運(yùn)行中。本發(fā)明用于flink流計(jì)算場(chǎng)景資源分配自動(dòng)適配,可以提高流計(jì)算服務(wù)的實(shí)際吞吐量,充分發(fā)揮硬件性能;節(jié)省開(kāi)發(fā)和調(diào)試成本,由程序自行運(yùn)行判斷,降低人力成本。
一種基于flink的流計(jì)算性能優(yōu)化系統(tǒng),其特征在于,包括:監(jiān)控模塊,用于實(shí)時(shí)監(jiān)控并獲取flink運(yùn)行過(guò)程中不同階段的運(yùn)行參數(shù);數(shù)據(jù)收集模塊,用于將從所述監(jiān)控模塊獲取的運(yùn)行參數(shù)輸出至一數(shù)據(jù)庫(kù)中;策略調(diào)整模塊,根據(jù)所述數(shù)據(jù)庫(kù)中的運(yùn)行參數(shù),結(jié)合預(yù)設(shè)的啟動(dòng)參數(shù),通過(guò)策略調(diào)整算法,輸出下一步的運(yùn)行方案;運(yùn)行管理模塊,根據(jù)所述策略調(diào)整模塊輸出的運(yùn)行方案調(diào)整運(yùn)行參數(shù),并應(yīng)用到flink運(yùn)行中。

申請(qǐng)?zhí)枺篊N202010732081.X
申請(qǐng)(專利權(quán))人:北京明略軟件系統(tǒng)有限公司
公開(kāi)日期(公開(kāi)):2020.12.15
公開(kāi)日期(授權(quán)):2024.02.23
信息填寫(xiě)
請(qǐng)選協(xié)議