(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-12
(45)【発行日】2023-09-21
(54)【発明の名称】オーディオ再生方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
H04S 7/00 20060101AFI20230913BHJP
【FI】
H04S7/00 310
(21)【出願番号】P 2021083272
(22)【出願日】2021-05-17
【審査請求日】2021-05-17
(31)【優先権主張番号】202011306975.9
(32)【優先日】2020-11-19
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】520274253
【氏名又は名称】ペキン シャオミ パインコーン エレクトロニクス カンパニー, リミテッド
(74)【代理人】
【識別番号】100114557
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】リュウ,メンメイ
(72)【発明者】
【氏名】ハン,ゼルイ
(72)【発明者】
【氏名】ホン,レンウェイ
(72)【発明者】
【氏名】チャン,シン
(72)【発明者】
【氏名】シャン,フェイ
【審査官】冨澤 直樹
(56)【参考文献】
【文献】国際公開第2020/030769(WO,A1)
【文献】国際公開第2006/131894(WO,A2)
【文献】米国特許出願公開第2005/0254662(US,A1)
【文献】特開2014-022959(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 1/00-7/00
H04R 3/00
H04R 5/00-5/04
G10K 15/00
(57)【特許請求の範囲】
【請求項1】
オーディオ再生方法であって、
関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するステップと、
前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得し、前記位置関係に基づいて前記オーディオ再生機器が再生する効果音を決定するステップと、
前記複数のオーディオ再生機器により、前記オーディオ信号を再生するステップと、を含
み、
前記位置関係は、テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度に基づいて決定され、
前記オーディオ再生機器が再生する効果音はサラウンドサウンド効果音またはステレオ効果音である、
ことを特徴とするオーディオ再生方法。
【請求項2】
前記関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するステップは、
前記関連付けられた複数のオーディオ再生機器の関連情報により、前記複数のオーディオ再生機器の数を決定するステップと、
前記複数のオーディオ再生機器を使用してオーディオ検出を行うステップと、
前記オーディオ検出の検出結果に基づいて前記位置関係を決定するステップと、を含む、
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記複数のオーディオ再生機器を使用してオーディオ検出を行うステップは、
前記複数のオーディオ再生機器のうちの少なくとも1つのオーディオ再生機器を使用して
前記テストオーディオを再生するステップと、
前記複数のオーディオ再生機器のうち、オーディオ収集機能を有する少なくとも1つのオーディオ再生機器を使用して前記テストオーディオを収集するステップと、
収集された前記テストオーディオに基づいて前記検出結果を決定するステップと、を含む、
ことを特徴とする請求項2に記載の方法。
【請求項4】
前記オーディオ検出の検出結果に基づいて前記位置関係を決定するステップは、
収集された前記テストオーディオに基づいて、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の相対位置を決定するステップと、
前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するステップと、を含む、
ことを特徴とする請求項3に記載の方法。
【請求項5】
前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するステップは、
前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が予め設定された角度より小さい場合、前記位置関係が第1の位置関係に属すると決定するステップと、
前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が前記予め設定された角度以上である場合、前記位置関係が第2の位置関係に属すると決定するステップと、を含む、
ことを特徴とする請求項4に記載の方法。
【請求項6】
前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得し、前記位置関係に基づいて前記オーディオ再生機器が再生する効果音を決定するステップは、
少なくとも2つの前記オーディオ再生機器の位置関係が第1の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するステップであって、前記第1の種類のオーディオ信号のチャンネル数は、前記第1の位置関係を満たすオーディオ再生機器の数とマッチングするステップ、及び/又は
少なくとも2つの前記オーディオ再生機器の位置関係が第2の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するステップであって、前記第2の種類のオーディオ信号のチャンネル数は、前記第2の位置関係を満たすオーディオ再生機器の数とマッチングするステップを含む、
ことを特徴とする請求項1~5のいずれかに記載の方法。
【請求項7】
前記再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するステップは、
再生対象のオーディオに対して所定の種類の少なくとも1群の信号特徴を抽出するステップと、
前記少なくとも1群の信号特徴に基づいて、前記第1の位置関係を満たすオーディオ再生機器の数の前記第1の種類のオーディオ信号を生成するステップと、を含む、
ことを特徴とする請求項6に記載の方法。
【請求項8】
前記第1の種類のオーディオ信号はサラウンドサウンド信号を含み、前記所定の種類の信号特徴はサラウンドサウンド信号特徴を含む、
ことを特徴とする請求項7に記載の方法。
【請求項9】
前記再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するステップは、
再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するステップを含む、
ことを特徴とする請求項6に記載の方法。
【請求項10】
前記第2の種類のオーディオ信号はステレオ信号を含み、
前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するステップは、
前記再生対象のオーディオのチャンネル数に基づいて、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数のステレオ信号を取得するステップを含む、
ことを特徴とする請求項9に記載の方法。
【請求項11】
オーディオ再生装置であって、
関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するための第1の検出モジュールであって、前記オーディオ再生機器は、オーディオ再生機能を有する家電機器を含む第1の検出モジュールと、
前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得し、前記位置関係に基づいて前記オーディオ再生機器が再生する効果音を決定するための処理モジュールと、
前記複数のオーディオ再生機器により、前記オーディオ信号を再生するための再生モジュールと、を含
み、
前記位置関係は、テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度に基づいて決定され、
前記オーディオ再生機器が再生する効果音はサラウンドサウンド効果音またはステレオ効果音である、
ことを特徴とするオーディオ再生装置。
【請求項12】
前記第1の検出モジュールは、
前記関連付けられた複数のオーディオ再生機器の関連情報により、前記複数のオーディオ再生機器の数を決定するための第1の決定サブモジュールと、
前記複数のオーディオ再生機器を使用してオーディオ検出を行うための検出サブモジュールと、
前記オーディオ検出の検出結果に基づいて前記位置関係を決定するための第2の決定サブモジュールと、を含む、
ことを特徴とする請求項11に記載の装置。
【請求項13】
前記検出サブモジュールは、
前記複数のオーディオ再生機器のうちの少なくとも1つのオーディオ再生機器を使用してテストオーディオを再生するための再生サブモジュールと、
前記複数のオーディオ再生機器のうち、オーディオ収集機能を有する少なくとも1つのオーディオ再生機器を使用して前記テストオーディオを収集するための収集サブモジュールと、
収集された前記テストオーディオに基づいて前記検出結果を決定するための第3の決定サブモジュールと、を含む、
ことを特徴とする請求項12に記載の装置。
【請求項14】
前記第2の決定サブモジュールは、
収集された前記テストオーディオに基づいて、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の相対位置を決定するための第4の決定サブモジュールと、
前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するための第5の決定サブモジュールと、を含む、
ことを特徴とする請求項13に記載の装置。
【請求項15】
前記第5の決定サブモジュールは、
前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が予め設定された角度より小さい場合、前記位置関係が第1の位置関係に属すると決定するための第6の決定サブモジュールと、
前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が前記予め設定された角度以上である場合、前記位置関係が第2の位置関係に属すると決定するための第7の決定サブモジュールと、を含む、
ことを特徴とする請求項14に記載の装置。
【請求項16】
前記処理モジュールは、
少なくとも2つの前記オーディオ再生機器の位置関係が第1の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するための第1の処理サブモジュールであって、前記第1の種類のオーディオ信号のチャンネル数は、前記第1の位置関係を満たすオーディオ再生機器の数に等しい第1の処理サブモジュール、及び/又は
少なくとも2つの前記オーディオ再生機器の位置関係が第2の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するための第2の処理サブモジュールであって、前記第2の種類のオーディオ信号のチャンネル数は、前記第2の位置関係を満たすオーディオ再生機器の数に等しい第2の処理サブモジュールを含む、
ことを特徴とする請求項11~15のいずれかに記載の装置。
【請求項17】
前記第1の処理サブモジュールは、
再生対象のオーディオに対して所定の種類の少なくとも1群の信号特徴を抽出するための抽出サブモジュールと、
前記少なくとも1群の信号特徴に基づいて、前記第1の位置関係を満たすオーディオ再生機器の数の前記第1の種類のオーディオ信号を生成するための生成サブモジュールと、を含む、
ことを特徴とする請求項16に記載の装置。
【請求項18】
前記第1の種類のオーディオ信号はサラウンドサウンド信号を含み、前記所定の種類の信号特徴はサラウンドサウンド信号特徴を含む、
ことを特徴とする請求項17に記載の装置。
【請求項19】
前記第2の処理サブモジュールは、
再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するためのミキシングサブモジュールを含む、
ことを特徴とする請求項16に記載の装置。
【請求項20】
前記第2の種類のオーディオ信号はステレオ信号を含み、前記ミキシングサブモジュールは、具体的には、
前記再生対象のオーディオのチャンネル数に基づいて、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数のステレオ信号を取得する、
ことを特徴とする請求項19に記載の装置。
【請求項21】
プロセッサと、
前記プロセッサ上で実行できる実行可能な命令を記憶するためのメモリと、を含み、
プロセッサが前記実行可能な命令を実行する場合、前記実行可能な命令は、上記請求項1~10のいずれかにより提供されるオーディオ再生方法におけるステップを実行する、
ことを特徴とする電子機器。
【請求項22】
コンピュータ実行可能な命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
当該コンピュータ実行可能な命令は、プロセッサによって実行される場合、上記請求項1~10のいずれかにより提供されるオーディオ再生方法におけるステップを実現する、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は電子技術に関し、特にオーディオ再生方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
人工知能とモノのインターネット技術の発展に伴い、スマートホームが広く使用されている。スマートホームは、オーディオ・ビデオ機器、照明システム、カーテン、エアコン、クリーン電気機器及び様々な家電機器又はシステムなど、家庭内の様々な機器をモノのインターネット技術を介して接続し、遠隔制御、タイミング制御、及びリンケージ機能などを実現することである。しかしながら、オーディオ・ビデオの再生に関しては、一般的に、スマートホームを使用して独立した再生機器を制御してオーディオ・ビデオを再生し、強い制限がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、オーディオ再生方法及び装置、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【0004】
本開示の実施例の第1の態様によれば、オーディオ再生方法を提供し、関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するステップと、前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得するステップと、前記複数のオーディオ再生機器により、前記オーディオ信号を再生するステップと、を含む。
【0005】
いくつかの実施例では、前記関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するステップは、前記関連付けられた複数のオーディオ再生機器の関連情報により、前記複数のオーディオ再生機器の数を決定するステップと、前記複数のオーディオ再生機器を使用してオーディオ検出を行うステップと、前記オーディオ検出の検出結果に基づいて前記位置関係を決定するステップと、を含む。
【0006】
いくつかの実施例では、前記複数のオーディオ再生機器を使用してオーディオ検出を行うステップは、前記複数のオーディオ再生機器のうちの少なくとも1つのオーディオ再生機器を使用してテストオーディオを再生するステップと、前記複数のオーディオ再生機器のうち、オーディオ収集機能を有する少なくとも1つのオーディオ再生機器を使用して前記テストオーディオを収集するステップと、収集された前記テストオーディオに基づいて前記検出結果を決定するステップと、を含む。
【0007】
いくつかの実施例では、前記オーディオ検出の検出結果に基づいて前記位置関係を決定するステップは、収集された前記テストオーディオに基づいて、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の相対位置を決定するステップと、前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するステップと、を含む。
【0008】
いくつかの実施例では、前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するステップは、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が予め設定された角度より小さい場合、前記位置関係が第1の位置関係に属すると決定するステップと、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が前記予め設定された角度以上である場合、前記位置関係が第2の位置関係に属すると決定するステップと、を含む。
【0009】
いくつかの実施例では、前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得するステップは、少なくとも2つの前記オーディオ再生機器の位置関係が第1の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するステップであって、ここで、前記第1の種類のオーディオ信号のチャンネル数は、前記第1の位置関係を満たすオーディオ再生機器の数に等しいステップ、及び/又は少なくとも2つの前記オーディオ再生機器の位置関係が第2の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するステップであって、ここで、前記第2の種類のオーディオ信号のチャンネル数は、前記第2の位置関係を満たすオーディオ再生機器の数に等しいステップを含む。
【0010】
いくつかの実施例では、前記再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するステップは、再生対象のオーディオに対して所定の種類の少なくとも1群の信号特徴を抽出するステップと、前記少なくとも1群の信号特徴に基づいて、前記第1の位置関係を満たすオーディオ再生機器の数の前記第1の種類のオーディオ信号を生成するステップと、を含む。
【0011】
いくつかの実施例では、前記第1の種類のオーディオ信号はサラウンドサウンド信号を含み、前記所定の種類の信号特徴はサラウンドサウンド信号特徴を含む。
【0012】
いくつかの実施例では、前記再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するステップは、再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するステップを含む。
【0013】
いくつかの実施例では、前記第2の種類のオーディオ信号はステレオ信号を含み、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するステップは、前記再生対象のオーディオのチャンネル数に基づいて、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数のステレオ信号を取得するステップを含む。
【0014】
本開示の実施例の第2の態様によれは、オーディオ再生装置を提供し、関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するための第1の検出モジュールであって、ここで、前記オーディオ再生機器は、オーディオ再生機能を有する家電機器を含む第1の検出モジュールと、前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得するための処理モジュールと、前記複数のオーディオ再生機器により、前記オーディオ信号を再生するための再生モジュールと、を含む。
【0015】
いくつかの実施例では、前記第1の検出モジュールは、前記関連付けられた複数のオーディオ再生機器の関連情報により、前記複数のオーディオ再生機器の数を決定するための第1の決定サブモジュールと、前記複数のオーディオ再生機器を使用してオーディオ検出を行うための検出サブモジュールと、前記オーディオ検出の検出結果に基づいて前記位置関係を決定するための第2の決定サブモジュールと、を含む。
【0016】
いくつかの実施例では、前記検出サブモジュールは、前記複数のオーディオ再生機器のうちの少なくとも1つのオーディオ再生機器を使用してテストオーディオを再生するための再生サブモジュールと、前記複数のオーディオ再生機器のうち、オーディオ収集機能を有する少なくとも1つのオーディオ再生機器を使用して前記テストオーディオを収集するための収集サブモジュールと、収集された前記テストオーディオに基づいて前記検出結果を決定するための第3の決定サブモジュールと、を含む。
【0017】
いくつかの実施例では、前記第2の決定サブモジュールは、収集された前記テストオーディオに基づいて、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の相対位置を決定するための第4の決定サブモジュールと、前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するための第5の決定サブモジュールと、を含む。
【0018】
いくつかの実施例では、前記第5の決定サブモジュールは、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が予め設定された角度より小さい場合、前記位置関係が第1の位置関係に属すると決定するための第6の決定サブモジュールと、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が前記予め設定された角度以上である場合、前記位置関係が第2の位置関係に属すると決定するための第7の決定サブモジュールと、を含む。
【0019】
いくつかの実施例では、前記処理モジュールは、少なくとも2つの前記オーディオ再生機器の位置関係が第1の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するための第1の処理サブモジュールであって、ここで、前記第1の種類のオーディオ信号のチャンネル数は、前記第1の位置関係を満たすオーディオ再生機器の数に等しい第1の処理サブモジュール、及び/又は少なくとも2つの前記オーディオ再生機器の位置関係が第2の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するための第2の処理サブモジュールであって、ここで、前記第2の種類のオーディオ信号のチャンネル数は、前記第2の位置関係を満たすオーディオ再生機器の数に等しい第2の処理サブモジュールを含む。
【0020】
いくつかの実施例では、前記第1の処理サブモジュールは、再生対象のオーディオに対して所定の種類の少なくとも1群の信号特徴を抽出するための抽出サブモジュールと、前記少なくとも1群の信号特徴に基づいて、前記第1の位置関係を満たすオーディオ再生機器の数の前記第1の種類のオーディオ信号を生成するための生成サブモジュールと、を含む。
【0021】
いくつかの実施例では、前記第1の種類のオーディオ信号はサラウンドサウンド信号を含み、前記所定の種類の信号特徴はサラウンドサウンド信号特徴を含む。
【0022】
いくつかの実施例では、前記第2の処理サブモジュールは、再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するためのミキシングサブモジュールを含む。
【0023】
いくつかの実施例では、前記第2の種類のオーディオ信号はステレオ信号を含み、前記ミキシングサブモジュールは、具体的には、前記再生対象のオーディオのチャンネル数に基づいて、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数のステレオ信号を取得する。
【0024】
本開示の実施例の第3の態様によれば、電子機器を提供し、少なくともプロセッサと、前記プロセッサ上で実行できる実行可能な命令を記憶するためのメモリと、を含み、プロセッサが前記実行可能な命令を実行する場合、前記実行可能な命令は、上記のいずれかのオーディオ再生方法におけるステップを実行する。
【0025】
本開示の実施例の第4の態様によれば、コンピュータ実行可能な命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータ実行可能な命令は、プロセッサによって実行される場合、上記のいずれかのオーディオ再生方法におけるステップを実現する。
【発明の効果】
【0026】
本開示の実施例により提供される技術案は、以下の有益な効果を有する。本開示の実施例の技術案により、再生対象のオーディオに対して異なる数及び位置関係のオーディオ再生機器に基づいてオーディオ信号処理を行うことで、複数の異なる位置にあるオーディオ再生機器を使用して一致するオーディオ信号を再生する。一方では、オーディオ再生機能を有する家庭内の様々な異なる機器を効果的に用いてリンケージな再生を実現し、他方では、オーディオ信号の処理により、異なる位置にあるオーディオ再生機器とマッチングすることで、よりよいオーディオ再生効果を得ることができる。
【0027】
なお、上記一般的な説明及び以下の詳細な説明は、単に例示的且つ解釈的なものであり、本開示を限定するものではない。
【図面の簡単な説明】
【0028】
ここでの図面は、明細書に組み込まれて、本明細書の一部を構成し、本発明に適した実施例を示し、且つ明細書と共に本発明の原理を解釈することに用いられる。
【
図1】例示的な一実施例によって示されるオーディオ再生方法のフローチャートである。
【
図2】例示的な一実施例によって示される位置関係を決定する原理の概略
図1である。
【
図3】例示的な一実施例によって示される位置関係を決定する原理の概略
図2である。
【
図4】例示的な一実施例によって示されるサラウンドサウンド効果を備えたオーディオ再生機器の位置関係図である。
【
図5】例示的な一実施例によって示されるステレオ効果を備えたオーディオ再生機器の位置関係図である。
【
図6】例示的な一実施例によって示されるオーディオ再生装置の構造ブロック図である。
【
図7】例示的な一実施例によって示される電子機器のエンティティ構造のブロック図である。
【発明を実施するための形態】
【0029】
ここで例示的な実施例を詳細に説明し、その例を添付の図面に示す。以下の説明が図面に言及している場合、特に明記しない限り、異なる図面の同じ数字は、同じ又は類似の要素を表す。以下の例示的な実施例に記載の実施形態は、本発明とマッチングするすべての実施形態を表すものではない。それどころか、それらは、添付の特許請求の範囲に詳述された、本発明のいくつかの態様とマッチングする装置及び方法の単なる例である。
【0030】
図1は例示的な一実施例によって示されるオーディオ再生方法のフローチャートであり、
図1に示すように、当該方法は、関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するステップS101と、前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得するステップS102と、前記複数のオーディオ再生機器により、前記オーディオ信号を再生するステップS103と、を含む。
【0031】
本開示の実施例では、オーディオ再生機器は、オーディオ再生機能を有する任意の家電機器であってもよい。ここで、オーディオ再生機器は、携帯電話、テレビ、スマートスピーカー、オーディオ再生機能を有するスマートマイク、ヘッドマウントディスプレイデバイス及びコンピュータなど、ビデオ再生、オーディオ収集、ビデオ収集及び他の様々な機能を同時に備えた電子機器であってもよく、オーディオ再生機能しか備えないスピーカー機器などであってもよい。上記複数のオーディオ再生機器は同じ種類の家電機器を含んでもよく、異なる種類の家電機器を含んでもよく、例えば、1台のテレビと複数台のスマートスピーカー、又は1台のテレビと複数台のスマートマイクなどである。
【0032】
本開示の実施例では、複数のオーディオ再生機器は、有線又は無線で相互に接続されてもよく、同じ制御機器と通信可能に接続され、且つ制御機器により複数のオーディオ再生機器を相互に関連付けるように制御されてもよい。複数のオーディオ再生機器の間でデータ伝送機能を備えてもよく、同じ制御機器のみとデータ伝送機能を備えてもよい。例えば、1つのオーディオ再生機器では、スピーカーにブルートゥース(登録商標)、近距離通信(NearField Communication、NFC)、超広帯域無線技術(UWB、Ultra Wideband)及びWiFiなどの無線通信機能を1つ以上追加し、オーディオ再生機器が他のオーディオ再生機器と通信やデータ伝送などの機能を実現できるようにしてもよく、又はブルートゥース、NFC、UWB及びWiFiなどの無線通信機能を有する他の機器と無線通信やデータ伝送などの機能を実現できるようにしてもよい。同様に、もう1つのオーディオ再生機器では、例えばテレビ又は他の再生機器にブルートゥース、NFC、UWB及びWiFiなどの無線通信機能のうちの1つ又は複数の種類の機能を追加し、無線通信機能を有する機器との間の相互通信、又は端末との相互通信を実現することもできる。また、複数のオーディオ再生機器はいずれも携帯電話のアプリケーションプログラムを介して携帯電話と通信可能な接続を確立し、携帯電話により上記複数のオーディオ再生機器を制御してオーディオ再生を行わせる。また例えば、複数のオーディオ再生機器のうちの1つを使用して、他のオーディオ再生機器を制御してオーディオ再生を行わせる。
【0033】
そのため、本開示の実施例の上記方法は、複数のオーディオ再生機器のうちの1つによって実行されてもよく、又は他の制御機器によって実行されてもよい。
【0034】
本開示の実施例では、関連付けられた複数のオーディオ再生機器の数及び位置関係を検出することにより、再生対象のオーディオに対してオーディオ信号処理を行う。例えば、アップミキシング又はダウンミキシング処理によって再生対象のオーディオを処理して、オーディオ再生機器の数とマッチングするオーディオ信号を取得する。アップミキシングとは、再生対象のオーディオ信号をミキシングすることによって得られたチャンネル数が元のチャンネル数より多いことを意味し、例えば、2.0チャンネルを4.0チャンネルにアップミキシングし、ダウンミキシングとは、ミキシングによって得られたチャンネル数が元のチャンネル数より少ないことを意味し、例えば、5.1チャンネルを2.1チャンネルにダウンミキシングする。
【0035】
ここで、チャンネルは、L(左チャンネル)と、R(右チャンネル)と、Ls(左サラウンドチャンネル)と、Rs(右サラウンドチャンネル)と、C(中央チャンネル)と、Ltop(左上チャンネル又は左スカイチャンネル)と、Rtop(右上チャンネル又は右スカイチャンネル)と、Lcs(左中央サラウンドチャンネル)と、LFE(低音チャンネル)とのうちの2つ以上を含むことができるが、これらに限定されない。
【0036】
本開示の実施例では、再生対象のオーディオに対してオーディオ信号処理を行うステップは、再生対象のオーディオに含まれるチャンネルを抽出又は結合するステップを含んでもよく、また、再生対象のオーディオにおける異なる種類の音声情報を抽出することによりオーディオ信号処理を行うステップを含んでもよく、例えば、背景音と人間の声を異なるオーディオ信号に分離し、また例えば、異なる方位情報を有する声に基づいて再生対象のオーディオを分離する。
【0037】
このように、再生対象のオーディオに対して異なる数及び位置関係のオーディオ再生機器に基づいてオーディオ信号処理を行うことで、複数の異なる位置にあるオーディオ再生機器を使用して一致するオーディオ信号を再生する。一方では、オーディオ再生機能を有する家庭内の様々な異なる機器を効果的に用いてリンケージな再生を実現し、他方では、オーディオ信号の処理により、異なる位置にあるオーディオ再生機器とマッチングすることで、よりよいオーディオ再生効果を得ることができる。
【0038】
いくつかの実施例では、前記関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するステップは、前記関連付けられた複数のオーディオ再生機器の関連情報により、前記複数のオーディオ再生機器の数を決定するステップと、前記複数のオーディオ再生機器を使用してオーディオ検出を行うステップと、前記オーディオ検出の検出結果に基づいて前記位置関係を決定するステップと、を含む。
【0039】
ここで、複数の関連付けられたオーディオ再生機器は、それらが相互に関連付けられていることを示す関連情報を有することができ、例えば、複数のオーディオ再生機器が同じ機器と通信可能に接続されている場合、当該同じ機器の識別子情報、ネットワークインタフェース情報などは、上記関連情報として使用することができ、また例えば、複数のオーディオ再生機器が同じ識別子情報を有する場合、当該識別子情報は、これらのオーディオ再生機器が相互に関連付けられていることを示す。
【0040】
上記関連情報により、関連付けられた複数のオーディオ再生機器の数を決定することができる。例えば、テレビが複数のスピーカーと通信可能に接続される場合、テレビは自体に接続されている接続情報に基づいてスピーカーの数を決定することができ、そのため、複数のオーディオ再生機器の数はテレビ自体とスピーカーとの数の合計である。また例えば、携帯電話又は独立した制御機器(例えばリモコン装置)がスピーカー又はテレビなどの複数のオーディオ再生機器と通信可能に接続される場合、携帯電話は通信可能な接続の識別子などの情報に基づいて複数のオーディオ再生機器の数を決定する。
【0041】
複数のオーディオ再生機器がいずれもオーディオ再生の機能を備えるため、複数のオーディオ再生機器を使用してオーディオ検出を行い、さらにオーディオ再生機器の数を決定することができる。例えば、複数のオーディオ再生機器がテストオーディオを順次再生し、携帯電話などの制御機器を使用して各オーディオ再生機器で再生されたテストオーディオを検出し、且つテストオーディオの受信時間、強度などの情報に基づいてオーディオ再生機器の方向及び距離などを決定する。また例えば、複数のオーディオ再生機器のうちの少なくとも1つであるオーディオ収集機能を有する機器を使用して、他のオーディオ再生機器で再生されたテストオーディオを受信することにより、対向する方向及び距離を決定する。
【0042】
このように、複数のオーディオ再生機器を使用してオーディオ検出を行うことにより、複数のオーディオ再生機器の位置関係を決定することができ、それにより、異なる位置又はチャンネルにあるオーディオ信号のその後の割り当てを容易にする。
【0043】
いくつかの実施例では、前記複数のオーディオ再生機器を使用してオーディオ検出を行うステップは、前記複数のオーディオ再生機器のうちの少なくとも1つのオーディオ再生機器を使用してテストオーディオを再生するステップと、前記複数のオーディオ再生機器のうち、オーディオ収集機能を有する少なくとも1つのオーディオ再生機器を使用して前記テストオーディオを収集するステップと、収集された前記テストオーディオに基づいて前記検出結果を決定するステップと、を含む。
【0044】
本開示の実施例では、複数のオーディオ再生機器はテストオーディオを順次再生してもよく、異なるテストオーディオを同時に再生してもよい。複数のオーディオ再生機器において、少なくとも1つがオーディオ収集機能を有する場合、当該オーディオ再生機器を使用して、他のオーディオ再生機器で再生されたテストオーディオを収集し、さらに上記検出結果を決定することができる。
【0045】
ここで、テストオーディオは、短時間の音楽、音声又はリズムであってもよく、超音波などの人間には聞こえないオーディオであってもよい。オーディオテストは再生対象のオーディオを再生する前にテストしてもよく、また一定時間ごとにテストしてもよく、複数のオーディオ再生機器と通信可能な接続を確立した後にテストしてもよく、さらにユーザが手動でトリガした時に検出してもよい。
【0046】
一実施例では、関連付けられた複数のオーディオ再生機器の数及び位置関係を所定の時間ごとに検出し、それにより更新された複数のオーディオ再生機器の数及び位置関係に基づいて、再生対象のオーディオに対して信号処理をもう一度行い、且つ複数のオーディオ再生機器で当該オーディオ信号を再生することができる。
【0047】
このように、複数のオーディオ再生機器の位置を固定又は指定する必要がなく、ユーザは自体のニーズやオーディオ再生機器の種類に応じて異なるオーディオ再生機器を柔軟に配置することができる。いずれの配置方式であっても、検出により複数のオーディオ再生機器の位置関係を取得し、且つ再生対象のオーディオに対して対応する処理及び再生を行うことができる。
【0048】
いくつかの実施例では、前記オーディオ検出の検出結果に基づいて前記位置関係を決定するステップは、収集された前記テストオーディオに基づいて、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の相対位置を決定するステップと、前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するステップと、を含む。
【0049】
一実施例では、テストオーディオを収集する装置は位置決め機能を有するマイクアレイであってもよく、マイクアレイにおける異なる方位にあるマイクチャンネルによって収集されたテストオーディオの間の時間差などの情報に基づいて音源の方向及び距離を決定する。
【0050】
別の実施例では、少なくとも2つの異なる位置にあるオーディオ収集機能を有するオーディオ再生機器を使用してテストオーディオを収集することができ、例えば、A機器がテストオーディオを再生し、B機器とC機器がそれぞれテストオーディオを収集し、強度、時間差など、B機器とC機器によって収集されたテストオーディオの信号の違いに基づいて、A機器とB機器及びC機器との間の相対的な位置関係を決定する。
【0051】
このように、複数のオーディオ再生機器間で収集されたテストオーディオを分析処理することにより、上記複数のオーディオ再生機器の位置関係を取得することができ、複数のオーディオ再生機器自体が位置決めなどの機能を備える必要がない。このように、ユーザは自体の習慣に応じて複数のオーディオ再生機器を配置することができ、操作しやすい。
【0052】
いくつかの実施例では、前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するステップは、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が予め設定された角度より小さい場合、前記位置関係が第1の位置関係に属すると決定するステップと、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が前記予め設定された角度以上である場合、前記位置関係が第2の位置関係に属すると決定するステップと、を含む。
【0053】
いくつかの実施例では、オーディオ再生機器の数が2つである場合、前記テストオーディオを再生するオーディオ再生機器に基づいて決定された所定の方向と、前記テストオーディオを収集するオーディオ再生機器との間のなす角度が予め設定された角度より小さい場合、第1の位置関係として決定することができ、当該角度が予め設定された角度以上である場合、第2の位置関係として決定することができる。
【0054】
図2に示すように、オーディオ再生機器21(例えばテレビ)に備えられたマイクアレイを使用して、他のオーディオ再生機器22で再生されたテストオーディオを受信し、テストされたオーディオ再生機器22で再生されたテストオーディオの方向とーディオ再生機器21の中心軸20(又は所定の他方向)との間のなす角度23が予め設定された角度より小さい場合、複数のオーディオ再生機器の間にサラウンド効果を有する可能性があるため、サラウンドサウンド効果音の再生に対応する第1の位置関係として決定することができる。テストされたオーディオ再生機器22で再生されたテストオーディオの方向とオーディオ再生機器21の中心軸20(又は所定の他方向)との間のなす角度23が予め設定された角度以上である場合、複数のオーディオ再生機器の間にサラウンド方位が存在しない可能性があるため、サラウンドサウンド効果がオーディオ再生機器の配置位置に合わない可能性があり、ステレオ効果音の再生に対応する第2の位置関係として決定することができる。
【0055】
いくつかの実施例では、オーディオ再生機器の数が2つより多い場合、前記テストオーディオを再生するオーディオ再生機器を頂点とし、当該オーディオ再生機器と前記テストオーディオを収集する他のオーディオ再生機器との間に形成された角度が予め設定された角度より小さい場合、第1の位置関係として決定し、当該角度が予め設定された角度以上である場合、第2の位置関係として決定することができる。
【0056】
図3に示すように、1つのオーディオ再生機器31(例えばスピーカー)に備えられたマイクアレイを使用して、他のスピーカー32又はテレビ33などを含む他のオーディオ再生機器でそれぞれ再生されたテストオーディオを受信し、且つそれ自体と他のオーディオ再生機器との間の方向関係及び距離を判断する。三者の間(複数台のオーディオ再生機器における任意の三者)の角度30が予め設定された角度より小さい場合、サラウンド方位が存在しない可能性があり、サラウンドサウンド効果の配置要件を満たすことができないため、ステレオ効果音の再生に対応する第1の位置関係として決定することができる。三者の間のなす角度30が予め設定された角度以上である場合、サラウンドサウンド効果の配置要件を満たすことができるため、サラウンドサウンド効果音の再生に対応する第2の位置関係として決定することができる。なお、予め設定された角度はオーディオ再生機器の数に関連付けられ、オーディオ再生機器の数が異なる場合、第1の位置関係又は第2の位置関係の決定に対応する予め設定された角度の値も変化し、当該パラメータの具体的な値は必要に応じて設定してもよく、本開示はこれを限定しない。
【0057】
いくつかの実施例では、前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得するステップは、少なくとも2つの前記オーディオ再生機器の位置関係が第1の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するステップであって、ここで、前記第1の種類のオーディオ信号のチャンネル数は、前記第1の位置関係を満たすオーディオ再生機器の数に等しいステップ、及び/又は少なくとも2つの前記オーディオ再生機器の位置関係が第2の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するステップであって、ここで、前記第2の種類のオーディオ信号のチャンネル数は、前記第2の位置関係を満たすオーディオ再生機器の数に等しいステップを含む。本開示の実施例では、複数のオーディオ再生機器の位置関係に基づいて、再生対象のオーディオ信号に対してオーディオ信号処理を行うことができる。ここで、オーディオ信号処理は、例えば、デコーダを使用してデコードしてサラウンドサウンド信号を生成すること、チャンネルミキシングを使用してステレオ信号を取得することなど、1つ又は複数の異なる方式を含んでもよい。
【0058】
ここで、オーディオ再生機器の異なる位置関係に基づいて異なるオーディオ信号を生成することができ、複数のオーディオ再生機器の間の位置関係が複数の異なる状況を満たす場合、複数の異なる種類のオーディオ信号を同時に生成し、且つ対応するオーディオ再生機器に配信して再生することもできる。
【0059】
このように、様々な異なるニーズに応じて再生対象のオーディオを柔軟に処理することで、複数のオーディオ再生機器の位置関係に適合したオーディオ効果を再生して取得することができる。
【0060】
いくつかの実施例では、前記再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するステップは、再生対象のオーディオに対して所定の種類の少なくとも1群の信号特徴を抽出するステップと、前記少なくとも1群の信号特徴に基づいて、前記第1の位置関係を満たすオーディオ再生機器の数の前記第1の種類のオーディオ信号を生成するステップと、を含む。
【0061】
ここで、信号特徴は、再生対象のオーディオに含まれる周波数、振幅、スペクトルなどの特徴であってもよく、方位情報を含む特徴であってもよい。特徴抽出により、複数グループの異なるオーディオ信号を生成し、且つ異なるオーディオ再生機器によって再生することができる。
【0062】
いくつかの実施例では、前記第1の種類のオーディオ信号はサラウンドサウンド信号を含み、前記所定の種類の信号特徴はサラウンドサウンド信号特徴を含む。
【0063】
本開示の実施例では、異なるオーディオ再生機器の位置関係を使用して、再生対象のオーディオに対して異なる種類の処理を行うことができる。ここで、サラウンドサウンドとは、デコーダによってデコードされ、異なる時間に異なる位置にあるオーディオ再生機器によって音を再生することを意味し、したがって、再生対象のオーディオの処理は再生対象のオーディオをデコードすることにより、異なる位置にあるオーディオ再生機器に対応するサラウンドサウンド信号を生成することができ、異なる位置のサラウンドサウンド信号は同じ再生コンテンツや異なる再生コンテンツを含むことができ、また、異なる位置のサラウンドサウンド信号は同じ又は異なる強度、音量、トーン、及び周波数を含むこともできる。
【0064】
サラウンドサウンド信号を生成するプロセスにおいて、異なる位置にあるオーディオ再生機器で再生されたサラウンドサウンド信号に時間差がある可能性があるため、ここではサラウンドサウンド信号に対して非相関処理を行い、異なる位置にあるオーディオ再生機器に対応するオーディオ信号を取得することができる。
【0065】
いくつかの実施例では、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するステップは、再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するステップを含む。
【0066】
本開示の実施例では、オーディオチャンネルミキシングにより対応する数とマッチングするチャンネルを取得することもできる。再生対象のオーディオ自体には、1つ又は複数のチャンネルが含まれてもよく、少なくとも1つのチャンネルに対してアップミキシング処理を行うことにより、チャンネル数を増やすことができ、また、複数のチャンネルに対してダウンミキシング処理を行うことにより、チャンネル数を削減することができ、それによりオーディオ再生機器の数とマッチングするチャンネル信号を取得することができる。
【0067】
いくつかの実施例では、前記第2の種類のオーディオ信号はステレオ信号を含み、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するステップは、
前記再生対象のオーディオのチャンネル数に基づいて、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数のステレオ信号を取得するステップを含む。
【0068】
ステレオとは、異なるチャンネルを介してバイノーラル効果をシミュレートすることを意味し、異なる位置のスピーカーによって再生する時、音の方位レベルなどの空間分布特性を維持することができる。再生対象のオーディオのチャンネル情報を取得することにより、異なる位置にあるオーディオ再生機器で再生可能なオーディオ信号を取得することができ、それによりステレオ効果を実現する。
【0069】
本開示の実施例は次の例をさらに提供し、人工知能とモノのインターネット技術の成熟度が高まるに伴い、スマートテレビやスマートスピーカーなどのオーディオ・ビデオエンターテインメント電子製品の需要がますます顕著になっている。没入型のリスニング体験を生み出すために、オーディオ・ビデオ電子製品はオーディオソースにサラウンドサウンドフィルムソースが必要であり、機器の要件には特定のサラウンドサウンド機器が必要である。サラウンドサウンド機器とは、マルチチャンネルサラウンドサウンドシステムを意味し、例えば5.1サラウンドサウンドシステム、7.1サラウンドサウンドシステムであり、一般的に1セットのシステムが非常に高価である。サラウンドサウンドフィルムソースとは、その中の音源がマルチチャンネル情報を含むことを意味し、現在の主流のフィルムソースがステレオであり、5.1以上のフィルムソースが非常に少なく、一般的にはそれをアップミキシングして、サラウンドサウンドチャンネルを取得する必要がある。
【0070】
本開示の実施例では、家庭ユーザの存在可能な機器リンケージを使用して、テレビと複数台(又は一台)のスマートスピーカーを組み合わせたり、又は複数台のスマートスピーカーを組み合わせたりして家庭サラウンドサウンド又はステレオシステムとして組み合わせ、独自の無線プロトコルを介して、複数のフォーマットのフィルムソースに対して異なるアップミキシングアルゴリズムを実行し、ターゲット機器のオーディオを取得し、より良いフロントサウンド、より広い音場を取得し、すべてのオーディオのサラウンドサウンドとステレオリスニング体験を満たす。
【0071】
一実施例では、オーディオ信号に対してアップミキシングを行う方法は、オーディオ信号を拡散信号と直接信号とに分解するステップと、拡散信号に少なくとも部分的に基づいて、オーディオの静的環境音を生成するステップであって、オーディオの静的環境音は高さチャンネルを含むステップと、直接信号からオーディオオブジェクトを抽出するステップと、オーディオオブジェクトのメタデータを推定するステップであって、メタデータはオーディオオブジェクトの高さ情報を含むステップと、オーディオの静的環境音及びオーディオオブジェクトを、アップミキシングされたオーディオ信号として提示するステップであって、ここで、オーディオの静的環境音が所定の位置に提示され、且つオーディオオブジェクトがメタデータに基づいて提示されるステップと、を含むことができる。アップミキシングシステムは、直接信号/拡散信号リゾルバ、静的環境音ジェネレーター、オブジェクトエクストラクタ、メタデータ推定器、及びオーディオプレゼンタを含む。しかし、この方式は完全なサラウンドサウンド機器に依存する必要があり、ハードウェアコストが高い。
【0072】
別の実施例では、スマートテレビによりステレオサラウンドサウンド効果音を実現する。当該方法は次のとおりであり、スマートテレビが元のオーディオ信号を取得した後、元のオーディオ信号がサラウンドサウンド効果音をサポートすることを決定した場合、元のオーディオ信号に含まれるサブオーディオ信号を2つの部分に分離し、第1の部分のサブオーディオ信号をスマートテレビの筐体の内部に固定されたスピーカーに送信して再生し、第2の部分のサブオーディオ信号をスマートテレビに無線接続された移動可能なブルートゥーススピーカーに送信して再生し、このようにして、最も低いコストでサラウンドサウンド効果音を実現し、またブルートゥーススピーカーが移動しやすく配置も簡単であるため、広く普及することに適しており、製品の競争力とユーザ体験を効果的に向上させる。
【0073】
本開示の実施例では、スマートテレビとスマートスピーカーを組み合わせてサラウンドサウンド/ステレオを再生する技術案を提供する。
【0074】
一方では、本開示の実施例は複数の種類のオーディオ信号をアップミキシングする技術案を提供する。当該方法は、アルゴリズムによって再生対象のオーディオを処理し、サラウンドサウンド信号を抽出するステップと、サラウンドサウンド信号に対して非相関処理を行うステップと、元のオーディオ信号と非相関処理されたサラウンドサウンド信号をアップミキシングされたオーディオ信号として提示するステップと、を含む。他方では、本開示の実施例は複数の種類のオーディオ信号のダウンミキシング又はアップミキシング及びターゲットスピーカーの数という技術案を提供し、現在のアップミキシング技術案は異なるスピーカーの数をサポートし、2つのスピーカーがある場合、チャンネルは、FL(左チャンネル)、FR(右チャンネル)、Ls(左サラウンドチャンネル)、Rs(右サラウンドチャンネル)、C(中央チャンネル)、Ltop(左上チャンネル又は左スカイチャンネル)、Rtop(右上チャンネル又は右スカイチャンネル)、及びLFE(低音チャンネル)を含むことができ、ここでLS及びRsはスピーカーチャンネルであり、4つのスピーカーがある場合、チャンネルは、FL(左チャンネル)、FR(右チャンネル)、Lside(左サイドチャンネル)、Rside(右サイドチャンネル)、Ls(左サラウンドチャンネル)、Rs(右サラウンドチャンネル)、C(中央チャンネル)、Ltop(左上チャンネル又は左スカイチャンネル)、Rtop(右上チャンネル又は右スカイチャンネル)、及びLFE(低音チャンネル)を含むことができ、ここで、LS、Rs、(Lside、Rside)又は(Ltop、Rtop)はスピーカーチャンネルであり、以上のように2つ又は4つのスピーカーサラウンドチャンネル又はステレオチャンネル情報にアップミキシング又はダウンミキシングすることで、サラウンドサウンドとステレオ情報をそれぞれ取得し、複数のスピーカーがある場合、より多くのチャンネル変換と選択肢を用いることができる。
【0075】
ここで、アップミキシングとは、アップミキシングされた信号チャンネル数が元の信号チャンネル数より多いことを意味し、例えば、2.0チャンネルを4.0チャンネルにアップミキシングし、ダウンミキシングとは、ミキシングされたチャンネル数が元のチャンネル数より少ないことを意味し、例えば、5.1チャンネルを2.1チャンネルにダウンミキシングする。
【0076】
機器については、本開示の実施例はスマートテレビとスマートスピーカーを組み合わせて再生する方法を提供する。当該方法は、テレビとスピーカーの異なる数の組み合わせを含み、且つプライベート無線伝送プロトコル(wifi又はブルートゥース)を介して機器のリンケージを完了し、マルチチャンネルを同時に再生する効果を実現する。
【0077】
本開示の実施例は、スマートテレビとスマートスピーカーを組み合わせてサラウンドサウンドを再生するシステムをさらに提供する。当該システムは、元のオーディオ信号からサラウンドサウンド信号を抽出するように構成されるサラウンドサウンドエクストラクタと、サラウンドサウンド信号に対して非相関処理を行うように構成される非相関器と、オーディオプレゼンタ(スマートテレビとスマートスピーカー)と、テレビとスピーカーとの間の無線リンケージと、を含む。
【0078】
ステレオとサラウンドサウンドとの切り替えに対してユーザの好みに合わせて自動的に切り替えることができ、システムはスピーカーとテレビとの相対位置を自動的に検出して、相対位置の確認を実現し、サラウンドサウンドやステレオの再生を自動的に切り替えることができる。
【0079】
自動ネットリングプロセスにおいて、テレビ・スピーカーのサラウンドステレオシステムは、チャンネルの自動検出を完了し、ユーザが手動で完了する必要がなく、チャンネル配置を自動的に完了することもできる。
【0080】
サラウンドサウンド・ステレオモードとチャンネル検出の技術案は次のとおりであり(テレビにマイクアレイがある場合)、スピーカーがテスト信号(テストオーディオは、超音波、美しい音楽、又は知覚音声、周波数掃引などであってもよい)を放音し、テレビが録音機能をオンにし、テレビがそのマイクアレイを介して音源の位置決め原理を使用して、テレビに対するスピーカーの位置を位置決めし、同様に他のスピーカーの位置を測定し、スピーカーの配置がテレビの上下の中心軸に基づいて面対称するようにユーザを提示し、システムが位置情報に基づいて左右のチャンネルの割り当てを自動的に完了し、サラウンドサウンドやステレオモードの切り替えを自動的に完了する。
【0081】
図2に示すように、実線の位置が検出される場合はサラウンドサウンドモードであり、点線の位置が検出される場合はステレオモードであり、2つのモードの間に1つの角度閾値がある。
【0082】
図3に示すように、サラウンドサウンド・ステレオ検出モード検出の他の技術案(スピーカーにマイクアレイが存在する場合)は次のとおりであり、1つのスピーカーが受信し、テレビともう1つのスピーカーが放音し、三者が鋭角を形成し、鋭角が一定値より小さい場合はステレオモードであり、一定値より大きい場合はサラウンドサウンドモードであり、サラウンドサウンドモードである場合、テレビが鋭角の左側に位置し、受信スピーカーが左側に位置し、逆にすると、受信スピーカーが右側に位置し、左右のチャンネルを判断することができ、この方法のステレオモードでは左右を区別できず、左右のチャンネルを手動で判断する必要があるが、テレビにマイクアレイがない場合に適している。
【0083】
例示的に、通常の2.0チャンネルの再生対象のオーディオのフィルムソースを例として、
図4に示すように、再生対象のオーディオをサラウンドサウンドに分離し、独立したスピーカーで再生し、テレビ自体が元の左右のチャンネルを再生してサラウンドサウンド効果を実現する。
図5に示すように、再生対象のオーディオの左右のチャンネルをそれぞれ独立したスピーカーで再生すると共に、テレビ自体で元の左右のチャンネルを再生してステレオ効果を実現する。
【0084】
図6は例示的な一実施例によって示されるオーディオ再生装置の構造ブロック図である。
図6に示すように、前記装置600は、関連付けられた複数のオーディオ再生機器の数及び位置関係を検出するための第1の検出モジュール601であって、ここで、前記オーディオ再生機器は、オーディオ再生機能を有する家電機器を含む第1の検出モジュール601と、前記数及び位置関係に基づいて、再生対象のオーディオに対してオーディオ信号処理を行い、前記オーディオ再生機器の数とマッチングするオーディオ信号を取得するための処理モジュール602と、前記複数のオーディオ再生機器により、前記オーディオ信号を再生するための再生モジュール603と、を含む。
【0085】
いくつかの実施例では、前記第1の検出モジュールは、前記関連付けられた複数のオーディオ再生機器の関連情報により、前記複数のオーディオ再生機器の数を決定するための第1の決定サブモジュールと、前記複数のオーディオ再生機器を使用してオーディオ検出を行うための検出サブモジュールと、前記オーディオ検出の検出結果に基づいて前記位置関係を決定するための第2の決定サブモジュールと、を含む。
【0086】
いくつかの実施例では、前記検出サブモジュールは、前記複数のオーディオ再生機器のうちの少なくとも1つのオーディオ再生機器を使用してテストオーディオを再生するための再生サブモジュールと、前記複数のオーディオ再生機器のうち、オーディオ収集機能を有する少なくとも1つのオーディオ再生機器を使用して前記テストオーディオを収集するための収集サブモジュールと、収集された前記テストオーディオに基づいて前記検出結果を決定するための第3の決定サブモジュールと、を含む。
【0087】
いくつかの実施例では、前記第2の決定サブモジュールは、収集された前記テストオーディオに基づいて、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の相対位置を決定するための第4の決定サブモジュールと、前記テストオーディオを再生するオーディオ再生機器のそれぞれに対応する前記相対位置に基づいて、前記複数のオーディオ再生機器の位置関係を決定するための第5の決定サブモジュールと、を含む。
【0088】
いくつかの実施例では、前記第5の決定サブモジュールは、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が予め設定された角度より小さい場合、前記位置関係が第1の位置関係に属すると決定するための第6の決定サブモジュールと、前記テストオーディオを収集するオーディオ再生機器に対する前記テストオーディオを再生するオーディオ再生機器の方向と所定の方向との間のなす角度が前記予め設定された角度以上である場合、前記位置関係が第2の位置関係に属すると決定するための第7の決定サブモジュールと、を含む。
【0089】
いくつかの実施例では、前記処理モジュールは、少なくとも2つの前記オーディオ再生機器の位置関係が第1の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第1の種類のオーディオ信号を取得するための第1の処理サブモジュールであって、ここで、前記第1の種類のオーディオ信号のチャンネル数は、前記第1の位置関係を満たすオーディオ再生機器の数に等しい第1の処理サブモジュール、及び/又は
少なくとも2つの前記オーディオ再生機器の位置関係が第2の位置関係を満たすことに応答し、再生対象のオーディオに対してオーディオ信号処理を行って第2の種類のオーディオ信号を取得するための第2の処理サブモジュールであって、ここで、前記第2の種類のオーディオ信号のチャンネル数は、前記第2の位置関係を満たすオーディオ再生機器の数に等しい第2の処理サブモジュールを含む。
【0090】
いくつかの実施例では、前記第1の処理サブモジュールは、再生対象のオーディオに対して所定の種類の少なくとも1群の信号特徴を抽出するための抽出サブモジュールと、前記少なくとも1群の信号特徴に基づいて、前記第1の位置関係を満たすオーディオ再生機器の数の前記第1の種類のオーディオ信号を生成するための生成サブモジュールと、を含む。
【0091】
いくつかの実施例では、前記第1の種類のオーディオ信号はサラウンドサウンド信号を含み、前記所定の種類の信号特徴はサラウンドサウンド信号特徴を含む。
【0092】
いくつかの実施例では、前記第2の処理サブモジュールは、再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数の前記第2の種類のオーディオ信号を取得するためのミキシングサブモジュールを含む。
【0093】
いくつかの実施例では、前記第2の種類のオーディオ信号はステレオ信号を含み、前記ミキシングサブモジュールは、具体的には、前記再生対象のオーディオのチャンネル数に基づいて、前記再生対象のオーディオに対してチャンネルミキシングを行い、前記第2の位置関係を満たすオーディオ再生機器の数のステレオ信号を取得する。
【0094】
上記実施例における装置に関して、各モジュールの操作を実行する具体的な方式は当該方法に関する実施例において詳細に説明されており、ここでは詳細な説明を省略する。
【0095】
図7は、例示的な実施例によって示される電子機器700のブロック図である。例えば、電子機器700は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット機器、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどであってもよい。
【0096】
図7を参照し、電子機器700は、処理コンポーネント701、メモリ702、電源コンポーネント703、マルチメディアコンポーネント704、オーディオコンポーネント705、入力/出力(I/O)インタフェース706、センサコンポーネント707及び通信コンポーネント708のうちの1つ又は複数を含んでもよい。
【0097】
処理コンポーネント701は、通常、表示、電話の呼び出し、データ通信、カメラ操作、及び記録操作に関連する操作など、電子機器700全体の操作を制御する。処理コンポーネント701は、上記方法の全部又は一部のステップを完了するように、命令を実行する1つ又は複数のプロセッサ710を含んでもよい。また、処理コンポーネント701は、処理コンポーネント701と他のコンポーネントとの間のインタラクションを容易にするように、1つ又は複数のモジュールを含んでもよい。例えば、処理コンポーネント701は、マルチメディアコンポーネント704と処理コンポーネント701との間のインタラクションを容易にするように、マルチメディアモジュールを含んでもよい。
【0098】
メモリ710は、電子機器700での操作をサポートするために様々な種類のデータを記憶するように構成される。これらのデータの例としては、電子機器700上で操作するためのアプリケーションプログラムや方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ702は、スタティックランダムアクセスメモリ(SRAM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROM)、プログラム可能な読み取り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの任意の種類の揮発性又は非揮発性記憶機器又はそれらの組み合わせによって実現することができる。
【0099】
電源コンポーネント703は、電子機器700の各種類のコンポーネントに電力を供給する。電源コンポーネント703は、電源管理システム、1つ又は複数の電源、及び電子機器700の電力の生成、管理、及び配分に関連する他のコンポーネントを含んでもよい。
【0100】
マルチメディアコンポーネント704は、前記電子機器700とユーザとの間に出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(LCD)及びタッチパネル(TP)を含む。また、スクリーンがタッチパネルを含む場合、スクリーンはユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライド、及びタッチパネルでのジェスチャを感知するように、1つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、前記タッチ又は前記スライド操作に関連する持続時間及び圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント704は1つのフロントカメラ及び/又はリアカメラを含む。電子機器700が撮影モード又はビデオモードなどの操作モードにある時、フロントカメラ及び/又はリアカメラは外部のマルチメディアデータを受信することができる。各フロントカメラ及び/又はリアカメラは、固定の光学レンズシステムであってもよく、焦点距離及び光学ズーム機能を有するものであってもよい。
【0101】
オーディオコンポーネント705は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント705は1つのマイク(MIC)を含み、電子機器700が通話モード、記録モード、及び音声認識モードなどの操作モードにある場合、マイクは外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ710に記憶されてもよく、通信コンポーネント708を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント705は、オーディオ信号を出力するための1つのスピーカーをさらに含む。
【0102】
I/Oインタフェース706は、処理コンポーネント701と周辺インタフェースモジュールとの間にインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、スタートボタン、及びロックボタンを含むが、これらに限定されない。
【0103】
センサコンポーネント707は、電子機器700に各側面の状態評価を提供するように、1つ又は複数のセンサを含む。例えば、センサコンポーネント707は、電子機器700のオン/オフ状態、及びコンポーネントの相対的な位置決めを検出することができ、例えば、前記コンポーネントが電子機器700のディスプレイ及び小型キーボードであり、センサコンポーネント707は、さらに、電子機器700又は電子機器700の1つのコンポーネントの位置変化、ユーザと電子機器700との間の接触の有無、電子機器700の向き又は加速/減速、及び電子機器700の温度変化を検出することができる。センサコンポーネント707は、いずれの物理的接触がないときに近くの物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント707はさらに、イメージングアプリケーションで用いられるCMOS又はCCD画像センサなどの光センサを含んでもよい。いくつかの実施例では、当該センサコンポーネント707は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含んでもよい。
【0104】
通信コンポーネント708は、電子機器700と他の機器との間の有線又は無線通信を容易にするように構成される。電子機器700は、WiFi、2G、又は3G、あるいはそれらの組み合わせなどの通信規格に基づいて無線ネットワークにアクセスすることができる。例示的な一実施例では、通信コンポーネント708は、ブロードキャストチャンネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例では、前記通信コンポーネント708は、近距離通信を促進するように、近距離通信(NFC)モジュールをさらに含む。例えば、NFCモジュールは無線周波数認識(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術又はその他の技術に基づいて実現できる。
【0105】
例示的な実施例では、電子機器700は、上記方法を実行するように、1つ又は複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理機器(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ又は他の電子部品によって実現される。
【0106】
例示的な実施例では、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、例えば命令を含むメモリ702であり、上記命令は電子機器700のプロセッサ710によって実行して上記方法を完了することができる。例えば、非一時的なコンピュータ読み取り可能な記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピーディスク、光データストレージ機器などであってもよい。
【0107】
本開示の実施例は非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記記憶媒体における命令が電子機器のプロセッサによって実行される時、電子機器に上記いずれかの実施例により提供される方法を実行させる。
【0108】
当業者は、明細書を考慮し、ここに開示された発明を実施すると、本発明の他の実施形態を容易に考えられる。本願は、本発明の任意の変形、用途、又は適応変化をカバーすることを意図している。これらの変形、用途、又は適応変化は、本発明の一般原則に従い、且つ本開示に開示されていない本技術分野における公知技術の常識又は慣用されている技術手段を含む。明細書及び実施例は、例示のみとして見なされるべきであり、本発明の真の範囲及び精神は、以下の特許請求の範囲によって指摘される。
【0109】
なお、本発明は、上記で説明されかつ図面に示されている正確な構造に限定されず、その範囲から逸脱することなく、様々な修正及び変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲のみによって制限される。