微信掃描二維碼 立即在線咨詢
明略科技Blockformer語音識別模型在AISHELL-1測試集上取得SOTA結果
2022-09-13
明略科技即將開源Blockformer語音識別模型，提升銷售過程中的會話智能，助力各行業數智化轉型。
深度學習已成功應用于語音識別，各種神經網絡被大家廣泛研究和探索，例如，深度神經網絡（Deep Neural Network，DNN）、卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Network，RNN）和端到端的神經網絡模型。
目前，主要有三種端到端的模型框架：神經網絡傳感器（Neural Transducer，NT），基于注意力的編碼器-解碼器（Attention-based Encoder Decoder，AED）和連接時序分類（Connectionist Temporal Classification，CTC）。
NT是CTC的增強版本，引入了預測網絡模塊，可類比傳統語音識別框架中的語言模型，解碼器需要把先前預測的歷史作為上下文輸入。NT訓練不穩定，需要更多內存，這可能會限制訓練速度。
AED由編碼器，解碼器和注意力機制模塊組成，前者對聲學特征進行編碼，解碼器生成句子，注意力機制用來對齊編碼器輸入特征和解碼狀態。業內不少ASR系統架構基于AED。然而，AED模型逐個單元輸出，其中每個單元既取決于先前生成的結果，又依賴后續的上下文，這會導致識別延遲。
另外，在實際的語音識別任務中，AED的注意力機制的對齊效果，有時也會被噪聲破壞。
CTC的解碼速度比AED快，但是由于輸出單元之間的條件獨立性和缺乏語言模型的約束，其識別率有提升空間。
目前有一些關于融合AED和CTC兩種框架的研究，基于編碼器共享的多任務學習，使用CTC和AED目標同時訓練。在模型結構上，Transformer已經在機器翻譯，語音識別，和計算機視覺領域顯示了極大的優勢。
明略科技集團高級總監、語音技術負責人朱會峰介紹，明略團隊重點研究了在CTC和AED融合訓練框架下，如何使用Transformer模型來提高識別效果。
明略團隊通過可視化分析了不同BLOCK和HEAD之間的注意力信息，這些信息的多樣性是非常有幫助的，編碼器和解碼器中每個BLOCK的輸出信息并不完全包含，也可能是互補的。（https://doi.org/10.48550/arXiv.2207.11697）
基于這種洞察，明略團隊提出了一種模型結構，Block-augmented Transformer （BlockFormer），研究了如何以參數化的方式互補融合每個塊的基本信息，實現了Weighted Sum of the Blocks Output（Base-WSBO）和Squeeze-and-Excitation module to WSBO（SE-WSBO）兩種block集成方法。
實驗證明，Blockformer模型在中文普通話測試集（AISHELL-1）上，不使用語言模型的情況下實現了4.35%的CER，使用語言模型時達到了4.10%的CER。
AISHELL-1是希爾貝殼2017年開源的中文普通話語音數據庫，錄音時長178小時，由400名中國不同地域說話人進行錄制。該數據庫涉及智能家居、無人駕駛、工業生產等11個領域，被高頻應用在語音技術開發及實驗中，是當今中文語音識別評測的權威數據庫之一。
AI Wiki網站Papers With Code顯示，Blockformer在AISHELL-1上取得SOTA的識別效果，字錯率降低到4.10%（使用語言模型時）。
（https://paperswithcode.com/sota/speech-recognition-on-aishell-1）
明略科技集團CTO郝杰表示，明略的會話智能產品針對基于線上企微會話和線下門店會話的銷售場景，語音識別團隊聚焦美妝、汽車、教育等行業的場景優化和定制訓練，但是也不放松對通用語音識別新框架、新模型的探索，Blockformer模型的這個SOTA效果為語音識別的定制優化提供了一個高起點，明略即將開源Blockformer。
推薦閱讀
全球雙榜SOTA！明略科技專有大模型 Mano開啟GUI智能操作新時代
2025-09-28
明略科技推出的GUI大模型Mano在Mind2Web和OSWorld兩大基準測試中取得了創紀錄的SOTA成績，成功率達到40.1%。通過在線強化學習和自動數據采集，Mano為GUI智能體領域提供了可擴展的新范式，顯著提升了復雜任務的執行能力。該技術的突破不僅推動了自動化邊界的擴展，也為企業智能化轉型提供了強有力的支持
了解更多
官宣！明略科技推出專有大模型產品線DeepMiner，可信商業數據分析智能體終于能用了！
2025-09-22
明略科技推出專有大模型產品線DeepMiner，以“可信智能體+可信數據”雙輪驅動，解決企業智能體落地中幻覺率高、過程不透明等痛點。該產品通過多智能體協同架構、企業級數據整合及全流程透明化設計，降低幻覺率并支持知識沉淀，其自研Mano和Cito模型分別實現精準執行與深度推理，助力企業構建可信生產力。
了解更多
明略科技 Mano Technical Report
2025-09-18
Graphical user interfaces (GUIs) are the primary medium for human-computer interaction, yet automating GUI interactions remains challenging due to the complexity of visual elements, dynamic environments, and the need for multi-step reasoning. Existing methods based on vision-language models (VLMs) often suffer from limited resolution, domain mismatch, and insufficient sequential decisionmaking capability. To address these issues, we propose Mano, a robust GUI agent built upon a multi-modal foundation model pre-trained on extensive web and computer system data. Our approach integrates a novel simulated environment for high-fidelity data generation, a three-stage training pipeline (supervised fine-tuning, offline reinforcement learning, and online reinforcement learning), and a verification module for error recovery. Mano demonstrates state-of-the-art performance on multiple GUI benchmarks, including Mind2Web and OSWorld, achieving significant improvements in success rate and operational accuracy. Our work provides new insights into the effective integration of reinforcement learning with VLMs for practical GUI agent deployment, highlighting the importance of domain-specific data, iterative training, and holistic reward design.
了解更多聯系我們
關注明略
在線咨詢
銷售熱線
400-893-8989
投資者關系
ir@mininglamp.com
Copyright@2025 北京明略軟件系統有限公司 京ICP備15016868號 京公網安備11010802024262
信息填寫
