特許 7174030 超音波レーダアレイ、障害物検出方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-17

(54)【発明の名称】超音波レーダアレイ、障害物検出方法及びシステム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20221109BHJP

   G10K 11/34 20060101ALI20221109BHJP

   G06T 7/00 20170101ALI20221109BHJP

   G06T 7/70 20170101ALI20221109BHJP

   G06F 3/01 20060101ALI20221109BHJP

【ＦＩ】

H04R3/00 320

G10K11/34

G06T7/00 660Z

G06T7/70 A

G06F3/01 510

【請求項の数】 11

(21)【出願番号】P 2020211915

(22)【出願日】2020-12-22

(65)【公開番号】P2021190986

(43)【公開日】2021-12-13

【審査請求日】2020-12-22

(31)【優先権主張番号】202010479034.9

(32)【優先日】2020-05-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】スー，ガン

(72)【発明者】

【氏名】ソン，チェンビン

(72)【発明者】

【氏名】ヤン，ダンキン

【審査官】辻 勇貴

(56)【参考文献】

【文献】中国特許出願公開第１０７８２０１６３（ＣＮ，Ａ）

【文献】国際公開第２０１３／１５３５８３（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０６６５３０４１（ＣＮ，Ａ）

【文献】特開２０１６－２２５８８４（ＪＰ，Ａ）

【文献】特開２０１６－２０３９１０（ＪＰ，Ａ）

【文献】特開２０１０－０１０７４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １／００－１／０４

１／０８－１／１２

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｒ ３／００－３／１４

(57)【特許請求の範囲】

【請求項1】

スマートバックミラによるピックアップの方法であって、
車内の画像を取得し、
前記車内の画像により車内の乗員の位置を確定し、
前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整することを含み、
前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整することは、
車内の乗員の音声信号を受信し、前記音声信号に対応する音源定位情報を取得し、
前記車内の乗員の位置に合わせて前記音源定位情報のうち不当の音源定位情報を除外し、除外後の音源定位情報に基づいてマイクアレイのビームフォーミング方向を調整することを含む、
方法。

【請求項2】

前記の前記車内の画像により車内の乗員の位置を確定することは、
前記車内の画像により、車両における所定の位置に乗員がいるか否かを検出し、
前記所定の位置における乗員の検出結果に基づいて、前記車内の乗員の位置を取得することを含む、請求項１に記載の方法。

【請求項3】

前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整することは、
マイクアレイのうち前記車内の乗員の位置に対応するマイクを確定し、
確定されたマイクによりマイクアレイのビームフォーミング方向を調整し、マイクアレイのうち残りのマイクをクローズすることを含む、請求項１に記載の方法。

【請求項4】

前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整することの後に、
車両の走行状態に対応するタイミングの間隔を取得し、
前回に車内の画像を取得したタイミングから現在のタイミングまでの間隔が前記タイミングの間隔に達した場合に、車内の画像を取得するステップに移行して、繰り返して実行することをさらに含む、請求項１に記載の方法。

【請求項5】

スマートバックミラによるピックアップの装置であって、
車内の画像を取得する取得部と、
前記車内の画像により車内の乗員の位置を確定する確定部と、
前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する調整部と、
を備え、
前記調整部は、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する場合に、具体的に、
車内の乗員の音声信号を受信し、前記音声信号に対応する音源定位情報を取得し、
前記車内の乗員の位置に合わせて前記音源定位情報のうち不当の音源定位情報を除外し、除外後の音源定位情報に基づいてマイクアレイのビームフォーミング方向を調整することを実行する、
装置。

【請求項6】

前記確定部は、前記車内の画像により車内の乗員の位置を確定する場合に、具体的に、
前記車内の画像により、車両における所定の位置に乗員がいるか否かを検出し、
前記所定の位置における乗員の検出結果に基づいて、前記車内の乗員の位置を取得することを実行する、請求項５に記載の装置。

【請求項7】

前記調整部は、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する場合に、具体的に、
マイクアレイのうち前記車内の乗員の位置に対応するマイクを確定し、
確定されたマイクによりマイクアレイのビームフォーミング方向を調整し、マイクアレイのうち残りのマイクをクローズすることを実行する、請求項５に記載の装置。

【請求項8】

前記調整部は、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整した後に、
車両の走行状態に対応するタイミングの間隔を取得し、
前回に車内の画像を取得したタイミングから現在のタイミングまでの間隔が前記タイミングの間隔に達した場合に、前記取得部により車内の画像を取得するステップに移行して、繰り返して実行することをさらに実行する、請求項５に記載の装置。

【請求項9】

少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されるメモリと、を備え、
前記メモリに前記少なくとも一つのプロセッサに実行可能なコマンドが記憶され、前記コマンドが前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサが請求項１～４の何れか一項に記載の方法を実行可能である電子デバイス。

【請求項10】

コンピュータコマンドを記憶する非一時的コンピュータ可読記憶媒体であって、
前記コンピュータコマンドが前記コンピュータに請求項１～４の何れか一項に記載の方法を実行させる記憶媒体。

【請求項11】

コンピュータに請求項１～４の何れか一項に記載の方法を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、自動車技術分野に関し、特に、車載デバイス技術分野におけるスマートバックミラによるピックアップの方法、装置、電子デバイス、プログラム及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

科学技術の発展に従い、車両に大量のスマートデバイスが装着される場合がある。スマートバックミラはその一つである。従来のスマートバックミラは、例えば音声インタラクション、電子ナビゲーション、ＧＰＳ定位、マルチメディアなどのような多様な機能を具備している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

車両の安全的な走行を確保し、スマートバックミラの手動操作による事故の発生を回避するために、車内のユーザは一般的に音声でスマートバックミラとのインタラクションを行う。従って、スマートバックミラによりユーザの音声信号をピックアップする正確度は、スマートバックミラとユーザとの間の音声インタラクションの効果に直接に影響することができる。ユーザの音声信号を正確にピックアップできないと、スマートバックミラがユーザとの間の音声インタラクションをスムーズに完成できず、さらに車両の安全的な走行に影響可能である。

【課題を解決するための手段】

【0004】

本願は、技術課題を解決するために、車内の画像を取得し、前記車内の画像により車内の乗員の位置を確定し、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整することを含む、スマートバックミラによるピックアップの方法を提供する技術案を採用する。

【0005】

本願は、技術課題を解決するために、車内の画像を取得する取得部と、前記車内の画像により車内の乗員の位置を確定する確定部と、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する調整部とを備える、スマートバックミラによるピックアップの装置を提供する技術案を採用する。

【0006】

前記の本願における一つの実施例は以下の利点又は有益な効果を有する。即ち、本願は、スマートバックミラによるピックアップの正確度を向上することができる。スマートバックミラが車内の画像により車内の乗員の位置を確定した後に、車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する技術手段を採用したため、従来技術においてスマートバックミラにおけるマイクアレイが車内の状況によらずに統一な設定に従ってピックアップすることによりピックアップが不正確になる技術課題を克服し、スマートバックミラのピックアップの正確度を向上する技術効果を実現した。

【0007】

前記の選択的な手段が有する他の効果は、以下に具体的な実施例と合わせて説明する。

【図面の簡単な説明】

【0008】

図面は、本技術案をより良く理解するためのものであり、本願に制限されない。図面において、

【図1】本願の第１の実施例による模式図である。

【図2】本願の第２の実施例による模式図である。

【図3】本願の第３の実施例による模式図である。

【図4】本願の第４の実施例による模式図である。

【図5】本願の実施例においてスマートバックミラによるピックアップの方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

【0010】

図１は本願の第１の実施例による模式図である。図１に示されたように、本実施例における、スマートバックミラによるピックアップの方法は、具体的に以下のステップを含むことができる。

【0011】

Ｓ１０１において、車内の画像を取得する。

【0012】

Ｓ１０２において、前記車内の画像により車内の乗員の位置を確定する。

【0013】

Ｓ１０３において、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する。

【0014】

本実施例において、ピックアップを行う実行主体はスマートバックミラである。当該スマートバックミラは、車内の画像により車内の乗員の位置を確定した後に、確定された車内の乗員の位置に応じてそのマイクアレイのビームフォーミング方向を調整することにより，マイクアレイが車内の乗員の方向に指向するビームを形成してピックアップを行うように制御し、マイクアレイのビームフォーミング方向が車内の乗員の位置に対応させて形成されたビームにおける音声信号のみをピックアップする。

【0015】

なお、本実施例におけるマイクアレイが形成したビームはコーンナロービームである。当該ビームは、話す人の音源方向に指向して音声信号をピックアップすることにより、マイクアレイが話す人の音声を受信すると共に環境におけるノイズを抑制することができる。従って、本実施例において、マイクアレイのビームフォーミング方向に対する調整は、マイクアレイにより形成されるビームを、現在の車内にいない乗員の方向ではなく、現在の車内にいる乗員の方向のみに指向させるため、マイクアレイが複数の方向の音声信号に反応できることにより乗員のいない方向におけるノイズを受信することを回避し、さらにピックアップの正確度を向上し、ノイズに対する抑制を増加した。

【0016】

本実施例のスマートバックミラは、車両に搭載され、独立なオペレーティングシステム及び走行空間を具備し、ユーザによりソーシャル、ゲーム、ナビゲーション、マルチメディアなどのアプリケーションがインストールされることが可能であり、ＷＩＦＩ又はモバイルネットワークを介してネット接続を実現して音声インタラクション、ナビゲーション、スピードオーバーリマインダ、走行記録及びリアルタイムな映像などの、車両運転における安全及びエンタテイメント機能を提供可能である。

【0017】

本実施例におけるマイクアレイは、所定の数の音響センサ（一般的にマイクである）からなり、音場の空間特性をサンプリングして処理するためのシステムである。当該マイクアレイは、スマートバックミラに位置し、スマートバックミラが車内の乗員との間の音声インタラクションを完成するように、車内の乗員からの音声信号をピックアップする。

【0018】

本実施例におけるスマートバックミラは、Ｓ１０１において車内の画像を取得することを実行する場合に、スマートバックミラが自身のカメルで撮影して取得しても良く、車内の乗員が自身の端末デバイスで車内の画像を撮影してから、撮影された車内の画像をスマートバックミラに送信しても良い。本願は、スマートバックミラが車内の画像を取得する手段に限定しない。

【0019】

理解すべきなのは、本実施例におけるスマートバックミラは、車両が起動する場合、或いは車内の乗員が取得コマンドを発した場合に、車内の画像を取得する操作を実行すれば良い。

【0020】

本実施例におけるスマートバックミラは、車内の画像により車内の乗員の位置を確定する場合に、確定された車内の乗員の位置に車内の乗員が運転席、助手席又は後部座席に位置することが含まれる。なお、本実施例におけるスマートバックミラは、車内の画像により車内の乗員の位置を確定する場合に、車内の乗員の位置を確定するようにスマートバックミラが自身の処理能力により車内の画像を解析しても良く、スマートバックミラが車内の画像をサーバに送信してから、サーバから返信される車内の乗員の位置を取得しても良い。

【0021】

具体的に、本実施例におけるスマートバックミラは、車内の乗員の位置を確定するＳ１０２を実行する場合に、車内の画像により車両における所定の位置に乗員がいるか否かを検出し、所定の位置における乗員の検出結果に基づいて車内の乗員の位置を取得する方式を採用すれば良い。なお、所定の位置には、車両における運転席、助手席及び後部座席のうち少なくとも一つが含まれる。本実施例において、車両における所定の位置に乗員がいるか否かの検出結果に基づいて車内の乗員の位置を確定する場合に、車内の画像における無関係の位置に不要な検出を行うことを回避することにより、車内の乗員の位置に対する検出の正確度及び検出速度を向上することができる。

【0022】

本実施例において、スマートバックミラは、車内の乗員の位置を確定した後に、マイクアレイに形成されるビームの方向が確定された車内の乗員の位置に対応するようにマイクアレイのビームフォーミング方向を調整することにより、車内の乗員の方向に指向するビーム内の音声信号をピックアップして音源の抽出とノイズの抑制を両立させる目的を達成する。

【0023】

例えば、確定された車内の乗員の位置について、車内の乗員が運転席に位置すると、マイクアレイに形成されるビームの方向を運転席に指向するように調整することにより、運転席から発した音声信号をピックアップする。確定された車内の乗員の位置について、車内の乗員が運転席及び後部座席に位置すると、マイクアレイに形成されるビームの方向を運転席及び後部座席にそれぞれ指向するように調整することにより、運転席及び後部座席から発した音声信号をピックアップする。

【0024】

具体的に、本実施例におけるスマートバックミラは、確定された車内の乗員の位置に基づいてマイクアレイのビームフォーミング方向を調整するＳ１０３を実行する場合に、確定された車内の乗員の位置に対応する調整案を取得し、取得された調整案でマイクアレイのビームフォーミング方向を調整する方式を採用すれば良い。なお、スマートバックミラは、確定された車内の乗員の位置に対応する調整案を取得する場合に、予めローカルに記憶されている調整案を取得しても良く、スマートバックミラが確定された車内の乗員の位置をサーバに送信してから、サーバから返信された調整案を受信しても良い。

【0025】

また、本実施例におけるスマートバックミラは、確定された車内の乗員の位置に基づいてマイクアレイのビームフォーミング方向を調整する場合に、さらに、マイクアレイのうち確定された車内の乗員の位置に対応するマイクを確定し、確定されたマイクによりマイクアレイのビームフォーミング方向を調整し、マイクアレイのうち残りのマイクをクローズする、ことを含んでも良い。

【0026】

つまり、本実施例において、調整案によりマイクアレイのビームフォーミング方向を調整する場合に、マイクアレイのそれぞれのマイクに対する柔軟な配置を実現することにより、マイクアレイのうち一部のマイクだけを使用することで、マイクの全てのオーピンによりスマートバックミラのＣＰＵリソースの占用が過大になる問題を回避し、ＣＰＵリソースの利用効率を効率的に向上することができる。

【0027】

例えば、確定された車内の乗員の位置について、車内の乗員が運転席に位置し、即ち車内の乗員がスマートバックミラの右側に位置すると、本実施例は取得された調整案によりマイクアレイのビームフォーミング方向を調整する場合に、マイクアレイの右側に位置するマイクだけでマイクアレイのビームフォーミング方向を調整することにより、形成されたビームを運転席に指向させる一方、マイクアレイの左側に位置するマイクをクローズすることができる。

【0028】

図２は、本願の第２の実施例による模式図である。図２に示されたように、本実施例のスマートバックミラによるピックアップの方法は、具体的に以下のステップを含むことができる。

【0029】

Ｓ２０１において、車内の画像を取得する。

【0030】

Ｓ２０２において、前記車内の画像により車内の乗員の位置を確定する。

【0031】

Ｓ２０３において、車内の乗員の音声信号を受信し、前記音声信号に対応する音源定位情報を取得する。

【0032】

本実施例において、スマートバックミラは、まずそのマイクアレイにより車内のユーザからの音声信号を受信し、その後にマイクアレイに予め設定された音源定位アルゴリズムにより、受信された音声信号に対応する音源定位情報を取得する。

【0033】

Ｓ２０４において、前記車内の乗員の位置に合わせて前記音源定位情報のうち不当な音源定位情報を除外し、除外後の音源定位情報に基づいてマイクアレイのビームフォーミング方向を調整する。

【0034】

マイクアレイが音声信号により音源定位を行う場合に、ノイズの影響を受け易くて音源定位に不具合が生じるため、マイクアレイの正確的なピックアップに影響する。従って、本実施例において、音源定位情報を取得した後に、まず確定された車内の乗員の位置により音源定位情報のうち不当な音源定位情報を除外し、音源定位情報のうち車内の乗員の位置に対応する音源定位情報だけを保留し、その後に除外後の音源定位情報によりマイクアレイのビーム形成方向を調整する。

【0035】

つまり、本願の第２の実施例は、車内の乗員の音声信号及び車内の乗員の位置の両方により、マイクアレイのビームフォーミング方向の調整を実現する。調整に多次元の情報を使用するため、音源定位情報だけの使用によるマイクアレイの音源定位の不具合を回避し、マイクアレイのピックアップの正確性をより向上した。

【0036】

例えば、車内の乗員の音声信号により取得された音源定位情報が運転席と助手席で、車内の画像により確定された車内の乗員の位置は車内の乗員が運転席だけに位置することではれば、本実施例は助手席に対応する音源定位情報を除外し、運転席の音源定位情報に基づいてマイクアレイのビームフォーミング方向を調整する。

【0037】

図３は本願の第３の実施例による模式図である。図３に示されたように、本実施例のスマートバックミラによるピックアップの方法は、具体的に以下のステップを含むことができる。

【0038】

Ｓ３０１において、車内の画像を取得する。

【0039】

Ｓ３０２において、前記車内の画像により車内の乗員の位置を確定する。

【0040】

Ｓ３０３において、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する。

【0041】

Ｓ３０４において、車両の走行状態に対応するタイミングの間隔を取得し、前回の車内の画像の取得タイミングから現在のタイミングまでの間隔が前記タイミングの間隔に達した場合に、車内の画像を取得するステップに移行し、これにより繰り返して実行する。

【0042】

車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整した後に、車内の乗員の位置が変化した場合であっても、マイクアレイが依然として正確的なピックアップを行えることを確保できるため、本実施例は、まず車両の走行状態に対応するタイミングの間隔を取得し、その後に前回の車内の画像の取得タイミングから現在のタイミングまでの間隔が当該タイミングの間隔に達した場合に車内の画像を再取得するようにステップＳ３０１に移行して実行し、再取得された車内の画像によりマイクアレイのビーム形成方向を調整することで繰り返す。

【0043】

理解すべきなのは、本実施例における車両の走行状態に対応するタイミングの間隔は、車両の異なる走行状態に設置される同じタイミングの間隔であっても良く、例えば車両の起動と車両の停止という二つの走行状態に対して３０分のタイミングの間隔を同じく設置すれば良い。一方、車両が起動された後に、車内の乗員の分布が一般的に変化しないため、本実施例は車両の起動の走行状態にタイミングの間隔を長く設置すれば良い。車両が停止中の場合に、車内の乗員が変化し易いため、本実施例は車両の停止の走行状態にタイミングの間隔を短く設置すれば良い。

【0044】

例えば、車両が起動の状態にある場合に、車両の起動に対応するタイミングの間隔が３０分で、前回の車内の画像の取得タイミングから現在のタイミングまでの間隔が３０分に達すると、車内の画像を再取得し、車内の画像により今回の車内の乗員の位置を確定し、今回の車内の乗員の位置が前回的車内の乗員の位置と同じである場合にマイクアレイの調整が不要であり、さもなければ、今回の車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する。

【0045】

図４は本願の第４の実施例による模式図である。図４に示されたように、本実施例のスマートバックミラによるピックアップの装置は、スマートバックミラに取り付けられ、車内の画像を取得する取得部４０１と、前記車内の画像により車内の乗員の位置を確定する確定部４０２と、前記車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する調整部４０３と、を備える。

【0046】

本実施例における取得部４０１は、車内の画像を取得する時に、スマートバックミラが自身のカメラで撮影して取得しても良く、車内の乗員が自身の端末デバイスで車内の画像を撮影してから、撮影された車内の画像をスマートバックミラに送信しても良い。本願は、スマートバックミラが車内の画像を取得する方式に限定されない。

【0047】

理解すべきなのは、本実施例における取得部４０１は、車両が起動した時に、或いは車内の乗員から取得の指令を発した時に、車内の画像を取得する操作を実行すれば良い。

【0048】

本実施例における確定部４０２は、車内の画像により車内の乗員の位置を確定する場合に、確定された車内の乗員の位置は、車内の乗員が運転席に位置すること、助手席に位置すること、後部座席に位置することを含む。なお、本実施例における確定部４０２は、車内の画像により車内の乗員の位置を確定する場合に、スマートバックミラが自身の処理能力により車内の画像を解析して車内の乗員の位置を確定しても良く、スマートバックミラが車内の画像をサーバに送信してから、サーバから返信される車内の乗員の位置を取得しても良い。

【0049】

具体的に、本実施例における確定部４０２は、車内の乗員の位置を確定する場合に、車内の画像により車両における、車両における運転席、助手席及び後部座席のうちの少なくとも一つを含む所定の位置に乗員がいるか否かを検出し、所定の位置における乗員の検出結果に基づいて車内の乗員の位置を取得する方式を採用することができる。本実施例における確定部４０２は、車両における所定の位置に乗員がいるか否かの検出結果により車内の乗員の位置を確定する場合に、車内の画像における無関係の位置に対する不要な検出を回避し、車内の乗員の位置に対する検出の正確性及び検出速度を向上することができる。

【0050】

本実施例において、確定部４０２により車内の乗員の位置が確定された後に、調整部４０３は、確定された車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整することにより、マイクアレイに形成されたビーム的方向が確定された車内の乗員の位置に対応し、各ビームにおける音声信号だけをピックアップし、音源を抽出すると共にノイズを抑制する目的を達成した。

【0051】

選択的に、本実施例における調整部４０３は、確定された車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する場合に、確定された車内の乗員の位置に対応する調整案を取得し、取得された調整案によりマイクアレイのビームフォーミング方向を調整する方式を採用しても良い。なお、調整部４０３は、確定された車内の乗員の位置に対応する調整案を取得する場合に、予めローカルに記憶された調整案を取得しても良く、調整部４０３が確定された車内の乗員の位置をサーバに送信してから、サーバから返信された調整案を受信しても良い。

【0052】

選択的に、本実施例における調整部４０３は、確定された車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する場合に、マイクアレイのうち確定された車内の乗員の位置に対応するマイクを確定し、確定されたマイクによりマイクアレイのビームフォーミング方向を調整し、マイクアレイのうち残りのマイクをクローズする方式を採用しても良い。

【0053】

つまり、調整部４０３は、調整案によりマイクアレイのビームフォーミング方向を調整する場合に、マイクアレイのうちの各マイクに対する柔軟な配置を実現可能であるため、マイクアレイのうちの一部のマイクだけを使用することにより、マイクの全てがオープンする場合にスマートバックミラのＣＰＵリソースに対する占用が過大になる問題を回避し、ＣＰＵリソースの利用効率を効率的に向上した。

【0054】

選択的に、調整部４０３は、確定された車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整する場合に、車内の乗員の音声信号を受信し、音声信号に対応する音源定位情報を取得し、車内の乗員の位置に合わせて音源定位情報のうち不当な音源定位情報を除外し、除外後の音源定位情報に基づいてマイクアレイのビームフォーミング方向を調整する方式を採用しても良い。

【0055】

なお、調整部４０３は、まずそのマイクアレイにより車内のユーザから発した音声信号を受信し、その後にマイクアレイに予め設定された音源定位アルゴリズムにより、受信された音声信号に対応する音源定位情報を取得する。

【0056】

マイクアレイが音声信号により音源定位を行う場合に、ノイズの影響を受け易くて音源定位に不具合が発生するため、マイクアレイの正確的なピックアップに影響が生じる。従って、調整部４０３は、音源定位情報を取得した後に、まず確定された車内の乗員の位置により音源定位情報のうち不当な音源定位情報を除外し、音源定位情報のうち車内の乗員の位置に対応する音源定位情報だけを保留し、その後に除外後の音源定位情報によりマイクアレイのビームフォーミング方向を調整する。

【0057】

つまり、調整部４０３は、車内の乗員の音声信号及び車内の乗員の位置の両方により、マイクアレイのビームフォーミング方向の調整を実現する。調整に多次元の情報を使用するため、音源定位情報だけの使用によるマイクアレイの音源定位の不具合を回避し、マイクアレイのピックアップの正確性をより向上した。

【0058】

選択的に、調整部４０３は、車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整した後に、車両的走行状態に対応するタイミングの間隔を取得し、前回の車内の画像の取得タイミングから現在のタイミングまでの間隔が前記タイミングの間隔に達した場合に、取得部４０１が車内の画像を取得するステップに移行して実行することで繰り返す、ことをさらに含んでも良い。

【0059】

理解すべきなのは、調整部４０３における車両的走行状態に対応するタイミングの間隔は、車両の異なる走行状態に同じタイミングの間隔を設置することができる。車両が起動した後に、車内の乗員の分布が一般的に変化しないため、調整部４０３は車両の起動の走行状態にタイミングの間隔を長く設置すれば良い。一方、車両が停止中の場合に、車内の乗員が変化し易いため、調整部４０３は、車両の停止の走行状態にタイミングの間隔を短く設置すれば良い。

【0060】

本願の実施例によれば、さらに電子デバイス及びコンピュータ可読記憶媒体を提供した。

【0061】

図５は、本願の実施例のスマートバックミラによるピックアップの方法による電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、ＰＤＡ、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。明細書で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本出願の実現を限定することが意図されない。

【0062】

図５に示すように、この電子デバイスは、一つ又は複数のプロセッサ５０１、メモリ５０２、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図５において、一つのプロセッサ５０１を例とする。

【0063】

メモリ５０２は、本出願で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本願に提供されたスマートバックミラによるピックアップの方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本出願の非一時的コンピュータ可読記憶媒体は、本願に提供されたスマートバックミラによるピックアップの方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

【0064】

メモリ５０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本出願の実施例におけるスマートバックミラによるピックアップの方法に対応するプログラムコマンド/モジュール（例如，図４に示された取得部４０１、確定部４０２及び調整部４０３）を記憶するために用いられる。プロセッサ５０１は、メモリ５０２に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例におけるスマートバックミラによるピックアップの方法を実現する。

【0065】

メモリ５０２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は本出願の実施例で提供されるスマートバックミラによるピックアップの方法を実現する電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ５０２は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ５０２は、プロセッサ５０１に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して本出願の実施例で提供されるスマートバックミラによるピックアップの方法を実現する電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

【0066】

スマートバックミラによるピックアップの方法の電子デバイスは、さらに、入力装置５０３と出力装置５０４とを備えても良い。プロセッサ５０１、メモリ５０２、入力装置５０３及び出力装置５０４は、バス又は他の手段により接続されても良く、図５においてバスによる接続を例とする。

【0067】

入力装置５０３は、入力された数字又はキャラクタ情報を受信し、スマートバックミラによるピックアップの方法を実現する電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチスクリーンであってもよい。

【0068】

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラム可能なシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

【0069】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械コマンドを含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械コマンドを受け取る機械可読媒体を含むプログラマブルプロセッサに機械コマンド及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械コマンド及び／又はデータを提供するために用いられる任意の信号を指す。

【0070】

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

【0071】

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。ステムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

【0072】

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。

【0073】

本願の実施例の技術案によれば、スマートバックミラが車内の画像により車内の乗員の位置を確定した後に、車内の乗員の位置に応じてマイクアレイのビームフォーミング方向を調整するため、従来技術においてスマートバックミラにおけるマイクアレイが車内の状況によらずに同じ設定に従ってピックアップを行うことにより、ピックアップが不正確になる技術課題を克服し、スマートバックミラによるピックアップの正確性を向上した。

【0074】

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

【0075】

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】