ホーム > 特許ランキング > 中国汽車技術研究中心有限公司
知財求人 - 知財ポータルサイト「IP Force」
▶ 中国汽車技術研究中心有限公司の特許一覧 ▶ 中汽数据（天津）有限公司の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022093229
(43)【公開日】2022-06-23
(54)【発明の名称】音声ノイズ除去方法及びシステム
(51)【国際特許分類】
G10L 21/0208 20130101AFI20220616BHJP
【ＦＩ】
G10L21/0208 100Z
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021069324
(22)【出願日】2021-04-15
(31)【優先権主張番号】202011449222.3
(32)【優先日】2020-12-11
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】519320446
【氏名又は名称】中国汽車技術研究中心有限公司
(71)【出願人】
【識別番号】521145152
【氏名又は名称】中汽数据（天津）有限公司
(74)【代理人】
【識別番号】110000523
【氏名又は名称】アクシス国際特許業務法人
(72)【発明者】
【氏名】趙瑞文
(72)【発明者】
【氏名】趙帥
(72)【発明者】
【氏名】劉詩曼
(72)【発明者】
【氏名】王贇芝
(72)【発明者】
【氏名】▲タク▼洋
(72)【発明者】
【氏名】陳超
(72)【発明者】
【氏名】周博林
(72)【発明者】
【氏名】孫航
(57)【要約】 （修正有）
【課題】ノイズ解消の効果を向上させる音声ノイズ除去方法及びシステムを提供する。
【解決手段】方法は、自車の走行中のノイズを採集してノイズの特徴情報を抽出することと、自車のオフラインモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することと、目標ノイズカットアルゴリズムを受信した場合、目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、目標ノイズカットアルゴリズムをオフラインモデルライブラリに追加することと、を含む。
【選択図】図１
【解決手段】方法は、自車の走行中のノイズを採集してノイズの特徴情報を抽出することと、自車のオフラインモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することと、目標ノイズカットアルゴリズムを受信した場合、目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、目標ノイズカットアルゴリズムをオフラインモデルライブラリに追加することと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
車載端末に適用される音声ノイズ除去方法であって、
自車の走行中のノイズを採集し、前記ノイズの特徴情報を抽出することと、
自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のオフラインモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去方法。
自車の走行中のノイズを採集し、前記ノイズの特徴情報を抽出することと、
自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のオフラインモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去方法。
【請求項2】
前記の前記目標車両からノイズカットアルゴリズムを要求した後、
前記目標車両のオフラインモデルライブラリに前記目標ノイズカットアルゴリズムが存在しない場合、前記目標ノイズカットアルゴリズムをクラウドに要求することと、
前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドを介して前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のオフラインモデルライブラリに追加することとをさらに含み、
前記目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドにより前記ノイズの特徴情報をノイズ解消して得られる、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
前記目標車両のオフラインモデルライブラリに前記目標ノイズカットアルゴリズムが存在しない場合、前記目標ノイズカットアルゴリズムをクラウドに要求することと、
前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドを介して前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のオフラインモデルライブラリに追加することとをさらに含み、
前記目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドにより前記ノイズの特徴情報をノイズ解消して得られる、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
【請求項3】
前記自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することは、
センサの採集情報及び道路状況情報によって、自車の走行環境を特定することと、
前記車両の走行環境及び車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンすることとを含む、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
センサの採集情報及び道路状況情報によって、自車の走行環境を特定することと、
前記車両の走行環境及び車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンすることとを含む、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
【請求項4】
前記の自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することは、
前記自車とは設定距離範囲内にある少なくとも１台の候補車両を探索し、各前記候補車両と通信接続を確立することと、
前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から車内環境が自車とマッチングする目標車両を特定することと、
前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することとを含む、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
前記自車とは設定距離範囲内にある少なくとも１台の候補車両を探索し、各前記候補車両と通信接続を確立することと、
前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から車内環境が自車とマッチングする目標車両を特定することと、
前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することとを含む、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
【請求項5】
前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、
ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記ユーザーの評価情報により、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、
前記ノイズカット効果が要求を満たす場合、前記目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、
前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記ユーザーの評価情報により、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、
前記ノイズカット効果が要求を満たす場合、前記目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、
前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。
【請求項6】
周期的に前記クラウドにオフラインモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、
前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、
前記アップグレードパッケージを実行し、前記オフラインモデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む、
請求項１～５のいずれか１項に記載の音声ノイズ除去方法。
前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、
前記アップグレードパッケージを実行し、前記オフラインモデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む、
請求項１～５のいずれか１項に記載の音声ノイズ除去方法。
【請求項7】
自車、目標車両及びクラウドを含み、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報により自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去システム。
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報により自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去システム。
【請求項8】
前記クラウドは前記ノイズの特徴情報に対してノイズ解消を行って目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のオフラインモデルライブラリにリターンするために用いられる、
ことを特徴とする請求項７に記載の音声ノイズ除去システム。
ことを特徴とする請求項７に記載の音声ノイズ除去システム。
【請求項9】
前記クラウドは、自車から送信されたオフラインモデルライブラリのバージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、最新バージョンのダウンロードパスを前記自車にリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる、
ことを特徴とする請求項７又は８に記載の音声ノイズ除去システム。
ことを特徴とする請求項７又は８に記載の音声ノイズ除去システム。
【請求項10】
自車と、前記自車とは設定距離範囲内にある少なくとも１台の候補車両とを含み、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得し、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去システム。
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得し、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去システム。
【発明の詳細な説明】
【技術分野】
【0001】
本願の実施例は車のインターネット及び音声処理技術に関し、特に音声ノイズ除去方法及びシステムに関する。
【背景技術】
【0002】
自動運転車技術の発展に伴い、運転者は運転任務から徐々に解放され始めている。マンマシンインタラクション方式はこれまでに大きく変化し、音声インタラクションはその特有の利便性により、広く応用されている。
【0003】
自動運転車両の走行シーンは複雑で、環境ノイズが走行シーンによって大きく異なるため、現在の音声インタラクションには認識率が低く、ハードウェアコストが高く、自動運転車両の環境ノイズ除去効果が悪いなどの一連の問題があり、車両が乗客の音声指令を正確に理解できない恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、車内と車外のシーンによって、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消の効果を高める音声ノイズ除去方法及びシステムを提供する。
【0005】
第１の態様において、本願の実施例は、車載端末に適用される音声ノイズ除去方法であって、
自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出することと、
自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のオフラインモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去方法を提供する。
自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出することと、
自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のオフラインモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去方法を提供する。
【0006】
第２の態様において、本願の実施例は、自車、目標車両及びクラウドを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去システムをさらに提供する。
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去システムをさらに提供する。
【0007】
第３の態様において、本願の実施例は、自車と、前記自車とは設定距離範囲内にある少なくとも１台の候補車両とを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得し、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去システムをさらに提供する。
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得し、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去システムをさらに提供する。
【発明の効果】
【0008】
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をオフラインモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって、既存のアルゴリズムを直接に呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際、ノイズも類似するという特徴に基づいて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。
【図面の簡単な説明】
【0009】
【図1】本願の実施例に係る第１種の音声ノイズ除去方法のフローチャートである。
【図2】本願の実施例に係る音声ノイズ除去システムの構造模式図である。
【図3】本願の実施例に係る他の音声ノイズ除去システムの構造模式図である。
【発明を実施するための形態】
【0010】
以下、図面と実施例を参照しながら本願を詳細に説明する。理解されるように、ここで説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本発明に対する限定ではない。なお、説明の便宜上、図面においては、本発明に関連する一部のみを示しており、全ての構造を示すものではない。
【0011】
本願の実施例は、第１種の音声ノイズ除去方法を提供し、そのフローチャートは図１に示すように、車両走行中に車内のユーザの音声をノイズ除去する場合に適用できる。当該方法は音声ノイズ除去デバイスによって実行されてもよく、当該装置はソフトウェア及び／又はハードウェアで構成されてもよく、かつ一般的に車載端末に集積される。
【0012】
図１に示すように、本実施例に係る方法は具体的に以下のステップを含む。
Ｓ１１０、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出する。
具体的には、シーンノイズ集音設備により車両の走行中のノイズを採集する。ノイズは走行環境によってもたらされる可能性があり、車内環境によってもたらされる可能性もある。
Ｓ１１０、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出する。
具体的には、シーンノイズ集音設備により車両の走行中のノイズを採集する。ノイズは走行環境によってもたらされる可能性があり、車内環境によってもたらされる可能性もある。
【0013】
その後、採集されたノイズに対してデータ処理を行い、当該ノイズの特徴情報、例えばスペクトル特徴を抽出する。
【0014】
好ましくは、シーンノイズ集音設備によって、車載ネットワーク又はブルートゥース（登録商標）モジュールを介してノイズを特徴抽出モジュールに伝送することで、特徴抽出モジュールによって、前記ノイズの特徴情報を抽出する。
【0015】
Ｓ１２０、自車のオフラインモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断し、存在する場合、Ｓ１３０に移行し、存在しない場合、Ｓ１４０に移行する。
【0016】
ここで、自車も目標車両もオフラインモデルライブラリを有し、オフラインモデルライブラリには特徴情報とノイズカットアルゴリズムとの対応関係が記憶されている。以下、オフラインモデルライブラリにおける構築プロセスを詳細に説明する。
【0017】
ステップ１：シーンノイズ集音設備により異なる走行環境と車内環境でのノイズを採集する。
シーンノイズ集音設備は具体的には車載ノイズ採集モジュールであり、採集したノイズをシーンノイズ採集記憶モジュールに記憶して、シーンノイズデータ管理システムの原始シーン記憶モジュールにアップロードする。
シーンノイズ集音設備は具体的には車載ノイズ採集モジュールであり、採集したノイズをシーンノイズ採集記憶モジュールに記憶して、シーンノイズデータ管理システムの原始シーン記憶モジュールにアップロードする。
【0018】
ステップ２：採集された各ノイズに対してデータ処理を行って特徴情報を抽出する。好ましくは、ウェーブレット変換を連続に行うことにより、当該ノイズの特徴情報を得る。
【0019】
ステップ３：抽出したノイズの特徴情報を分類してオフラインシーンノイズライブラリを構築し、各種類の特徴情報に対応するノイズカットアルゴリズムをオフラインノイズカットアルゴリズムライブラリに記憶する。すなわち、オフラインシーンノイズライブラリとオフラインノイズカットアルゴリズムライブラリは共同でオフラインモデルライブラリを構成する。
【0020】
好ましくは、自車のオフラインモデルライブラリに特徴情報とマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断することは、特徴情報をオフラインシーンノイズライブラリにおいて比較することを含む。オフラインシーンノイズライブラリにマッチングする特徴情報がある場合、対応するオフラインノイズカットアルゴリズムにより自車ユーザの音声に対してノイズ除去処理を行う。その後、ノイズ除去処理後の音声に応答することにより、ユーザ指令を実行する。
【0021】
Ｓ１３０、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行う。今回の操作を終了する。
【0022】
Ｓ１４０、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。Ｓ１５０を実行し続ける。
【0023】
具体的に、走行環境は、位置する情報ポイント（Ｐｏｉｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ，ＰＯＩ）、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。
【0024】
ここで、自車は駐車場、病院、学校、公園などの異なるＰＯＩにある場合にノイズが異なり、渋滞、ピッチング、順調などの道路状況でノイズが異なり、高速、農村小路、国道などの異なる道路セクションでノイズが異なり、車速が異なる場合にノイズも異なる。一方、自車のエンジン型番、コールドスタート状態、ウィンドウの開閉、音声映像が再生するかどうか及び音量等の違いでノイズも顕著に異なる。しかしながら、同じ走行環境と車内環境にある車両のノイズは類似し、そこで、走行環境と車内環境に応じて適切な目標車両を選択することができる。目標車両では、目標ノイズカットモデルを用いてノイズカットを行われている確率が高い、又はノイズカットを行わなくても、そのオフラインモデルライブラリに目標ノイズカットアルゴリズムを含む可能性が高い。
【0025】
前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する具体的な実施形態を下述の実施例で説明する。
【0026】
Ｓ１５０、前記目標車両のオフラインモデルライブラリにおける目標ノイズカットアルゴリズムを受信したかどうかを判断する。ＹＥＳであれば、Ｓ１６０に移行し、ＮＯであれば、Ｓ１７０に移行する。
【0027】
Ｓ１６０、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加する。今回の操作を終了する。
【0028】
目標車両のオフラインモデルライブラリに目標ノイズカットアルゴリズムが存在する場合、自車は目標車両から送信された目標ノイズカットアルゴリズムを受信する。さらに、ノイズ除去処理と同時にオフラインモデルライブラリを更新する。
【0029】
Ｓ１７０、クラウドに前記目標ノイズカットアルゴリズムを要求する。ここで、目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドを介して前記ノイズの特徴情報をノイズ解消して得る。
【0030】
目標車両のオフラインモデルライブラリに目標ノイズカットアルゴリズムが存在しない場合、目標車両のオフラインモデルライブラリにおける目標ノイズカットアルゴリズムを受信しない。そこで、ノイズカット処理が円滑に進行されることを保証するために、自車はクラウドのアップロードモジュールを介して、採集したノイズの特徴情報と定位情報をクラウドにアップロードする。さらに、自車は目標車両の定位情報を要求して、目標車両の定位情報をクラウドに一括でアップロードする。
【0031】
クラウドは採集されたノイズの特徴情報をクラウドシーンノイズライブラリで比較し、ここで、クラウドシーンノイズライブラリに複数の種類のノイズの特徴情報が記憶される。マッチングする特徴情報が存在する場合、自車と目標車両の定位情報によって、対応する目標ノイズカットアルゴリズムを自車と目標車両のオフラインモデルライブラリにリターンする。マッチングする特徴情報が存在しない場合、クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、自車と目標車両の定位情報によって、前記目標ノイズカットアルゴリズムを前記自車と目標車両のオフラインモデルライブラリにリターンする。
【0032】
Ｓ１８０、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドによって前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のオフラインモデルライブラリに追加する。
【0033】
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をオフラインモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって既存のアルゴリズムを直接呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際に、ノイズも類似するという特徴に応じて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。
【0034】
上述の実施例及び下述の実施例では、自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することには、以下の２種類の選択可能な実施形態を含む。
【0035】
第１種の選択可能な実施形態（クラウドを介して特定する）は以下のとおりである。センサの採集情報及び道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンする。
【0036】
ここで、センサはカメラ、車載レーダ及び慣性航法システムを含むが、それらに限定されない。渋滞、ピッチング、順調などの道路状況情報は車載の高精細な地図を介して得られる。採集情報及び道路状況情報を統合して自車の走行環境を得る。車内環境はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バスから対応する信号を読み込んで得られる。
【0037】
クラウドは全ての車両の走行環境及び車内環境をリアルタイムに取得し、自車の走行環境と車内環境にマッチングする目標車両を特定し、且つ前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンする。
【0038】
第２種の選択可能な実施形態（ポイントツーポイント特定）は以下のとおりである。前記自車とは設定距離範囲内にある少なくとも１台の候補車両を探索し、各前記候補車両と通信接続を確立し、前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。
【0039】
設定距離範囲は通信接続の距離範囲によって特定することができ、通信接続はＷＩＦＩとブルートゥースに限定されず、設定距離範囲は例えば１０メートル又は２０メートルである。説明と区分の便宜上、自車の設定距離範囲内にある車両を候補車両と呼ぶ。距離が近いので、候補車両の走行環境は自車と類似する。これにより、走行環境のマッチングが必要ない。
【0040】
各候補車両と通信接続を確立した後、前記通信接続に基づいて各候補車両に車内環境の要求情報を送信する。各候補車両は、要求情報に応答し、ＣＡＮ信号から車内環境を得て、通信接続に基づいて自車にリターンする。さらに、自車は各候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。
【0041】
上述の実施例と下述の実施例では、前記の前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記ユーザの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、前記ノイズカット効果が要求を満たす場合、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる。
【0042】
図１を参照すると、ここでの目標ノイズカットアルゴリズムは、自車のオフラインモデルライブラリ、目標車両のオフラインモデルライブラリにある、又はクラウドに由来するものである。これに基づいて、Ｓ１３０、Ｓ１６０及びＳ１８０の後、ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記ユーザーの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定する。
【0043】
具体的には、ノイズ除去後の音声のＳＮ比を算出し、例示的に、ＳＮ比が設定閾値を超える場合、目標ノイズカットアルゴリズムのノイズカット効果が優れていると判断し、ＳＮ比が設定閾値を超えない場合、目標ノイズカットアルゴリズムのノイズカット効果が悪いと判断する。ユーザが車載端末を介して入力した評価情報、例えば評価点数を受信する評価点数によって、目標ノイズカットアルゴリズムのノイズカット効果が優れているか悪いかを特定する。ノイズカット効果が優れていれば、要求を満たし、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信する。目標車両は、プッシュメッセージに応答し、現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替える。目標車両の現在のノイズカットアルゴリズムが目標ノイズカットアルゴリズムである場合、目標ノイズカットアルゴリズムを維持すればよい。
【0044】
本実施例は目標ノイズカットアルゴリズムのプッシュ効果を特定することによって、目標ノイズカットアルゴリズムに自動的に切り替え、ユーザに感知させない。
【0045】
上述の実施形態では、前記方法は、周期的に前記クラウドにオフラインモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、前記アップグレードパッケージを実行し、前記オフラインモデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む。
【0046】
好ましくは、クラウドは、自車から送信されたオフラインモデルライブラリのバージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行う。例えば、設定時間の間隔を置いた後、最新バージョンのダウンロードパスを再配布する、又は運営・メンテナンス人員にエラーを報告する。
【0047】
説明すべきものとして、上述の方法は周期的な操作であり、自車の走行中に操作することができ、自車が静止する時に操作することもできる。周期的にオフラインモデルライブラリのバージョンをアップグレードすることにより、多くの場合直接オフラインモデルライブラリを介して音声ノイズカットを行うことができ、コストを低減させる。
【0048】
図２は本願の実施例に係る音声ノイズ除去システムの構造模式図であり、自車、目標車両及びクラウドを含む。
【0049】
自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられる。
【0050】
前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられる。
【0051】
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。
【0052】
好ましくは、前記クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のオフラインモデルライブラリにリターンするために用いられる。
【0053】
好ましくは、前記クラウドは、自車から送信されたオフラインモデルライブラリのバージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる。
【0054】
図３は本願の実施例に係る他の音声ノイズ除去システムの構造模式図であり、自車と、前記自車とは設定距離範囲内にある少なくとも１台の候補車両とを含む。図３では自車と４台の候補車両は同じ方向の３つの車道に走行している。
【0055】
前記自車は、自車の走行中のノイズを採集して、前記ノイズの特徴情報を抽出するために用いられ、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得して、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加する。
【0056】
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられる。
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。
【0057】
上述の音声ノイズ除去システムの説明は上述の各実施例の説明を参照することができるため、ここでは説明を省略する。
【0058】
なお、上述したのは本願の好ましい実施例及び運用される技術原理に過ぎず。当業者であれば理解されるように、本願はここで述べた特定する実施例に限定されるものではなく、当業者であれば本願の保護範囲から逸脱することなく、様々な明らかな変化、再調整及び代替を行うことができる。したがって、上記実施例によって本願をより詳細に説明したが、本願は上記実施例に限定されるものではなく、本願の構想から逸脱することなく、さらに多くの他の等価実施例を含むことができ、本願の保護範囲は添付する特許請求の範囲によって決定される。
【図1】
【図2】
【図3】
