最准125期码报

首頁 > 新聞 > 智能硬件
[導讀]2019年4月26日,由意法半導體主辦的2019年STM32中國峰會在深圳舉行,出門問問工程VP李勤受邀出席大會AIoT沙龍,并在人工智能與計算分會場發表了演講,分享了出門問問在嵌入式系統上的智能語音交互方案和經驗。

2019年4月26日,由意法半導體主辦的2019年STM32中國峰會在深圳舉行,出門問問工程VP李勤受邀出席大會AIoT沙龍,并在人工智能與計算分會場發表了演講,分享了出門問問在嵌入式系統上的智能語音交互方案和經驗。

 

深耕萬億級的AIoT市場

在上午主會場的AIoT沙龍環節,李勤與微軟首席技術顧問管震、移遠通信高級副總裁張棟、意法半導體大中華暨南亞區AMS市場及應用高級總監吳衛東共同探討了對于人工智能物聯網的看法。

李勤表示,中國的AIoT市場是一個萬億級的市場。而其中,AI可穿戴將是重要的增長極,將在未來5年保持高速的增長態勢。按照公開數據,預計在未來5年內,全球Wearable IoT的市場規模會達到424億美元,達到平均每年30%的復合增長率。

芯片、算法和傳感器的深度集成是AIoT核心的技術之一。未來,算法和芯片的深度融合是一大挑戰,即算法去為芯片優化,芯片為算法優化。這也是出門問問的優勢所在,可以發揮全棧式的AI語音交互算法能力,以及芯片、算法、產品端的深度整合和系統集成能力,賦能給其他合作伙伴。

 

將芯片、傳感器和AI算法深度集成

在下午的人工智能與計算分會場上,李勤深入地分析了出門問問作為一家AI技術公司是如何做嵌入式系統上的智能語音交互方案的。

李勤指出,AI可穿戴技術的核心是人機交互的過程,而人機交互涉及到多種傳感器融合技術以及語音交互技術。多種傳感器融合技術包括拾音麥克風、運動傳感器(例如加速度器,陀螺儀)、骨傳導麥克風、心率傳感器、觸摸及反饋等,只有把多種傳感器融合在一起,才能給用戶提供更好的體驗。

而語音交互是所有人機交互方式中最重要的一個,在合適的場景下極為高效。它有著不可替代的優勢,例如解放雙手和雙眼;指向明確,語義直達目標,縮短整個的使用路徑;自然語言交互,簡單人性化,學習成本低,不用記固定命令詞;對設備的大小沒有特別要求。但當然,語音交互也面臨一些挑戰,例如受環境影響比較大,前端信號處理的挑戰大,受硬件和結構的限制,返回結果的展示形式單一等。

未來3年,AI可穿戴市場將迎來高速發展,整體規模預計達到10億設備量級,保持30%的高年均增長速度。相應的,未來市場對芯片和傳感器的需求都會大量增加。

在高速增長的過程中,AI可穿戴同樣面臨許多迭代技術挑戰,包括設備的小型化設計、低功耗優化等等,在算法上需要大量針對性的優化支持。例如,在地鐵嘈雜環境下使用耳機通話,要利用算法實現環境降噪處理;為實現設備更低功耗,需要提高代碼效率并對芯片進行優化;協調運動、心率等大量傳感器為用戶提供有用的信息,也需要算法優化來攻克。

發言中,李勤還指出AIoT的產品一定是設備端到云端的整體系統。而出門問問采用將芯片、傳感器和AI算法結合的整體戰略,發揮端到端的完整技術棧,將端上和云上的計算融合,以及產品和系統集成經驗的競爭優勢。另外,出門問問還在開展與芯片廠商的深度合作,實現算法根據使用場景做優化,算法針對芯片的代碼優化,結合系統集成和產品驗證,提供整套技術方案。這意味著產品廠商不用在算法開發和系統集成工作上消耗企業資源,可以集中精力定義和開發產品。

智能手表AI運動算法TicMotion

在TicWatch智能手表上,出門問問研發了AI運動算法TicMotion,自動識別和記錄用戶健走、跑步、騎行、游泳時的各項運動數據。該算法基于深度學習的算法架構,支持手勢姿態識別、睡眠健康等功能,可運行在MCU、DSP或AP芯片上。在意法半導體的STM32F412芯片上,實現16MHz時鐘頻率下的0.13 MIPS執行效率。

 

智能手表語音交互算法

針對智能手表的語音交互,出門問問研發了基于深度神經網絡的AI語音算法,旗下的出門問問語音助手是谷歌Wear OS官方合作的中文語音助手。

 

出門問問在智能手表上,擁有單麥和雙麥的音頻降噪算法,語音信號壓縮和BLE語音傳輸,支持語音喚醒詞,支持直接命令詞的識別。這些算法也是基于深度學習,但卻是超低功耗的,只需要超低的內存需求和計算力便可以運行。例如,喚醒詞和命令詞模型只有20KB,只需占用50KB左右的內存,在意法半導體的STM32F469芯片上實現了36MIPS的執行效率。

智能耳機交互算法TicHear

針對智能耳機的交互,出門問問自主研發了TicHear語音交互算法,能夠有效地屏蔽和抑制環境噪音和干擾,實現小型可穿戴設備語音喚醒及直接命令詞控制。

 

而之所以開發TicHear,是因為出門問問發現在TWS智能耳機上還有很多技術難點沒有解決。

一是耳機面向的是復雜的需求和使用場景。在需求上,人們需要用耳機聽音樂、打電話、做語音交互。在使用場景上,耳機的使用環境非常復雜多變,基本是走到哪兒戴到哪兒,即使是在地鐵、馬路邊、商場等嘈雜環境,耳機也要能夠穩定可靠的工作。這些都對算法地性能提出了極高的要求。

二是耳機的快捷智能控制。對于智能耳機來說,需要有一些常用的直接語音控制命令,尤其在雙手都不方便的時候,能夠快捷地用語音來實現接聽電話、控制音量、切換下一首歌等功能。

三是如何對耳機“說”清楚。過去兩年,主動降噪耳機在市場上熱銷,但它解決的只是“聽”清楚的問題,在你聽音樂的時候/做飛機的時候,有效實現周圍環境噪音的屏蔽效果。但在實際的使用中,如何讓你打電話、做語音交互的時候,實現更清晰的聲音傳遞,還是一個有待解決地問題。

另外,智能耳機也面臨諸多的技術挑戰,例如佩戴舒適性、體積大小,與電池容量、待機時間之間不可調和的矛盾,對芯片和算法低功耗的要求高;系統集成、算法開發的高復雜度;內存空間和算力的資源限制等。

面對用戶痛點和技術挑戰,出門問問選擇創造性的解決問題,采取將硬件結構設計和算法設計相結合;與芯片、系統供應商深度合作;把核心算法的代碼用匯編重寫以提高運行效率等措施,給客戶提供一套完整的解決方案。

具體來說,在音頻信號處理上,TicHear算法進行了雙麥的波束成形,做定向拾音和降噪的深度優化,可以抑制最高20dB的環境噪音,僅占用20KB的內存,并在高通QCC5100系列芯片上實現15MIPS的執行效率。

在語音交互算法上,TicHear支持語音喚醒詞,支持10個左右直接命令詞的識別,并且基于深度學習的算法,實現了超低功耗和超低內存占用。將喚醒詞和命令詞做到大約20KB的模型大小和50KB總的內存占用,在高通QCC5100系列芯片上實現10MIPS的執行效率。同時,TicHear可和手機軟件配合開發,支持二次喚醒驗證、內容和服務的查詢、喚醒詞和語音查詢一起說出等功能,提供更好的用戶體驗。

 

李勤向現場觀眾展示了出門問問雙麥信號處理算法,該算法能夠有效地屏蔽環境噪音和干擾,清晰采集語音信號。如圖所示,上方的聲音波形圖是在馬路邊場景所采集的原始聲音信號,下方的聲音波形圖是經過出門問問雙麥信號處理算法處理后的聲音信號,可以清晰的看到已將環境噪音降低20db左右,幾乎可以忽略不計,經過算法處理后的聲音信號,極大地提高了語音識別的準確率和喚醒率。

換一批

延伸閱讀

[消費類電子新聞] AI技術養牛?京東數科進軍智能養牛領域

AI技術養牛?京東數科進軍智能養牛領域

11月8日,京東數科與黑毛牛集團、首農畜牧、蒙犇集團三家農牧養殖企業簽署了智能養殖合作協議,以應用在牛只身上的智能項圈為例,該設備具有身份識別、運動情況分析、牛只定位、反向尋找等眾多功能,通過智能項圈可以實時了解這頭牛的運動軌跡、疫病特?.....

關鍵字:京東 AI 養牛

[大數據] 亞馬遜:品牌+AI+大數據多重賦能讓跨境交易更容易

亞馬遜:品牌+AI+大數據多重賦能讓跨境交易更容易

第二屆中國國際進口博覽會11月5日至10日在上海舉行,此次進博會采購商注冊人數已超過50萬,簽約參展的世界500強和行業龍頭企業已經超過250家。此次進博會之后,國內社會消費品進口也將有望實現進一步增長。作為中國積極參與推動經濟全球化的契......

關鍵字:大數據 AI 品牌

[大數據] 北大青鳥:大數據這門科學在這里學習!

北大青鳥:大數據這門科學在這里學習!

未來,數據科學將成為一門專門的學科,被越來越多的人所認知。各大高校將設立專門的數據科學類專業,也會催生一批與之相關的新的就業崗位。與此同時,基于數據這個基礎平臺,也將建立起跨領域的數據共享平臺,之后,數據共享將擴展到企業層面,并且成為未來......

關鍵字:數據科學 大數據 AI

[傳感器] 隨著傳感器的快速發展,隱私問題怎么辦?

隨著傳感器的快速發展,隱私問題怎么辦?

隨著AI的飛速發展,機器學習賦予了數據不可思議的力量,而人類也正在從微觀世界步入納米世界。設備大小與成本的急劇下降,以及性能的大幅度提高,使得物聯網快速興起,傳感器得到迅速發展。而關于隱私問題,也將重新定義。......

關鍵字:傳感器 AI 物聯網

[傳感器] 光珀3D圖像傳感器及芯片生產線項目正式簽約

光珀3D圖像傳感器及芯片生產線項目正式簽約

2019年10月20日,麗水經濟開發區攜手杭州光珀智能科技有限公司和中核產業基金(北京)管理有限公司正式舉行了光珀3D圖像傳感器及芯片生產線項目三方框架協議簽約儀式,并進行了簽約。......

關鍵字:3D 傳感器 芯片

[傳感器] 史上最小的圖像傳感器

史上最小的圖像傳感器

2019年10月26日,據記者獲悉,近日,OmniVision正式向公眾發布了一款史上最小的圖像傳感器。該傳感器尺寸為0.575 x 0.575 x 0.232mm,創下了吉尼斯紀錄。......

關鍵字:傳感器 芯片 攝像頭

[傳感器] Melexis 推出獨特的壓力傳感器 IC

Melexis 推出獨特的壓力傳感器 IC

2019 年11 月 1 日,專為測量汽車應用中極低壓力的相對壓力傳感器 IC MLX90821被比利時泰森德洛 - 全球微電子工程公司 Melexis 正式推出。該傳感器適用于專為內燃機或混合動力汽車設計的 EVAP 系統。......

關鍵字:傳感器 電子 芯片

[嵌入式] 芯片設計基礎篇,芯片設計之反向設計最全解析

芯片設計基礎篇,芯片設計之反向設計最全解析

與芯片設計強國相比,中國的芯片設計能力無疑相對弱小。但近年來,我國的芯片設計正處于上升階段。為增進大家對芯片設計流程的了解,本文特地帶來芯片設計之反向設計過程的介紹,正式內容如下。......

關鍵字:芯片設計 反向設計 設計流程

[嵌入式] 芯片設計實戰篇,射頻識別芯片設計的實現與優化

芯片設計實戰篇,射頻識別芯片設計的實現與優化

芯片設計是每個國家的發展重點之一,而壯大中國芯片設計行業將有利于降低我國對國外芯片的依賴程度。再往期文章中,小編曾對芯片設計的正反向流程、芯片設計前景等內容進行過相關介紹。本文中,小編將為大家介紹帶來芯片設計實戰篇——射頻識別芯片設計中的時......

關鍵字:芯片設計 射頻識別芯片 優化

[嵌入式] 芯片設計的保障者,芯片設計之可測試設計技術詳解

芯片設計的保障者,芯片設計之可測試設計技術詳解

芯片設計是全球比較重視的行業之一,可以說芯片設計一定程度上決定了國家的生產制造水平。芯片設計通常包含多個階段,每個芯片設計階段的重點均有所不同。為保證芯片設計過程中的可靠性,可測試設計技術顯得尤為重要。因此,本文將對芯片設計中的這項技術加以......

關鍵字:芯片設計 可測試設計技術 芯片

[消費類電子新聞] vivo“聯姻”三星芯片 5G雙模手機爭奪白熱化

 vivo“聯姻”三星芯片 5G雙模手機爭奪白熱化

11月7日下午,vivo副總裁周圍在一場芯片溝通會上正式宣布年內將推出搭載有三星Exynos 980的旗艦手機X30,和以往不同,這款手機也是vivo首次深度介入芯片的前端研發階段。從目前智能手機的市場份額來看,五大頭部廠商已經占據了超過九......

關鍵字: 5G 芯片

[技術專訪] 傳感器帶來的詩與遠方,旭化成6款新產品在AIoT時代重新定義了生活

傳感器帶來的詩與遠方,旭化成6款新產品在AIoT時代重新定義了生活

旭化成放出6款傳感產品,原來傳感器還可以這樣重新定義生活?......

關鍵字:傳感器 旭化成 AIoT

[技術專訪] 為什么ST也要做MPU?為什么入場這么晚但我們仍絕對看好?

為什么ST也要做MPU?為什么入場這么晚但我們仍絕對看好?

STM23MP1是否可以延續ST在微控制器領域的傳奇?......

關鍵字:MPU MCU STM32 MP1

[半導體] 研華攜手兆芯 深化中國“芯”產業生態合作

研華攜手兆芯 深化中國“芯”產業生態合作

中國“芯”助力實現安全可靠國產化高峰論壇圓滿落幕......

關鍵字:中國芯片 系統集成 研華

[智慧安防] 智能安防技術尚待完善,未來市場很大

智能安防技術尚待完善,未來市場很大

在智能安防或者AI項目落地的前面,企業所面臨的困境其實并沒有差異。在今日,算力層基礎設施日臻完善,除了少數自研芯片的大玩家,其他企業算力無法成為壁壘;算法層上,主流玩家的算法越來越同質化,無法成為企業的護城池。而安企唯一剩下可以擁有一戰之......

關鍵字:智能安防 AI 數據

我 要 評 論

網友評論

技術子站

更多

項目外包

更多

推薦博客

最准125期码报 澳洲幸运5规则 吃喝玩哪个更赚钱 865棋牌手机版app下载 qq麻将怎么打 福建快三带和值走势图 如何玩新11选5 内蒙古时时彩中奖钱数 重庆快乐10分任五遗漏 广西快乐双彩开奖话果 彩票合买群取个什么名字好