特開 2024-22434 手握りと方位検出に基づく携帯端末の音声処理方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024022434

(43)【公開日】2024-02-16

(54)【発明の名称】手握りと方位検出に基づく携帯端末の音声処理方法及びシステム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240208BHJP

【ＦＩ】

H04R3/00 310

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022208177

(22)【出願日】2022-12-26

(11)【特許番号】

(45)【特許公報発行日】2023-10-30

(31)【優先権主張番号】17/881,638

(32)【優先日】2022-08-05

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】517409583

【氏名又は名称】エーエーシー マイクロテック（チャンヂョウ）カンパニー リミテッド

【住所又は居所原語表記】Ｎｏ．３ ｃｈａｎｇｃａｏ ｒｏａｄ， Ｈｉ－ＴＥＣＨ Ｉｎｄｕｓｔｒｉａｌ Ｚｏｎｅ， Ｗｕｊｉｎ Ｄｉｓｔｒｉｃｔ， Ｃｈａｎｇｚｈｏｕ Ｃｉｔｙ， Ｊｉａｎｇｓｕ Ｐｒｏｖｉｎｃｅ， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(72)【発明者】

【氏名】バックマン，ユハ

(72)【発明者】

【氏名】ヴェコ，ラウリ

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220AA01

5D220AB01

(57)【要約】      （修正有）

【課題】スピーカの周波数応答を修正してスピーカのバランスを調整する手握りと方位検出に基づく携帯端末の音声処理方法及びシステムを提供する。
【解決手段】音声処理方法は、携帯端末が手握りされているか否かを検出するステップと、携帯端末が手握りされていると判定された場合、片手で把持されているか両手で把持されているかを検出するステップと、携帯端末が片手で把持されていると判定した場合、携帯端末が景観把持であるかポートレート把持であるかを検出し、結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行うステップと、携帯端末が両手で把持されていると判定した場合、移動インタラクション作用によって、携帯端末がインタラクション過程にあるか否かを判定し、結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行うステップと、を含む。
【選択図】図８

【特許請求の範囲】

【請求項1】

手握りと方位検出に基づく携帯端末の音声処理方法であって、
ステップＡであって、携帯端末が手握りされているか否かを検出するステップと、
ステップＢであって、携帯端末が手握りされていると判定された場合、片手で把持されているか両手で把持されているかを検出するステップと、
ステップＣであって、携帯端末が片手で把持されていると判定された場合、携帯端末が景観把持であるかポートレート把持であるかを検出し、その結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行うステップと、
ステップＤであって、携帯端末が両手で把持されていると判定された場合、移動インタラクション作用によって、携帯端末がインタラクション過程にあるか否かを判定し、その結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行うステップと、を含む、ことを特徴とする手握りと方位検出に基づく携帯端末の音声処理方法。

【請求項2】

ステップＣにおいて、景観把持に応答する把持であれば、景観周波数応答イコライジング及びステレオ処理制御を行う、ことを特徴とする請求項１に記載の手握りと方位検出に基づく携帯端末の音声処理方法。

【請求項3】

ステップＣにおいて、ポートレート把持に応答する把持であれば、ポートレート周波数応答イコライジング及びステレオ処理制御を行う、ことを特徴とする請求項１に記載の手握りと方位検出に基づく携帯端末の音声処理方法。

【請求項4】

ステップＤにおいて、携帯端末がインタラクション過程でなければ、２チャネルの基本横方向の周波数応答イコライジング及びステレオ処理制御を行う、ことを特徴とする請求項１に記載の手握りと方位検出に基づく携帯端末の音声処理方法。

【請求項5】

ステップＤにおいて、携帯端末がインタラクション過程であれば、２チャネルの基本的なインタラクションの周波数応答イコライジング及びステレオ処理制御を行う、ことを特徴とする請求項１に記載の手握りと方位検出に基づく携帯端末の音声処理方法。

【請求項6】

手握りと方位検出に基づく携帯端末の音声処理システムであって、
携帯端末が手握りされているか否か、および、片手で把持されているか両手で把持されているかを検出するための第１検出モジュールと、
携帯端末の物理的方位、および、景観把持であるかポートレート把持であるかを検出するための第２検出モジュールと、
携帯端末がインタラクションを行っているか否かを検出するための第３検出モジュールと、
第１検出モジュール、第２検出モジュール及び第３検出モジュールによって検出されたデータを用いて、スピーカの周波数応答を修正するための修正モジュールと、を備える、ことを特徴とする手握りと方位検出に基づく携帯端末の音声処理システム。

【請求項7】

前記第１検出モジュールは、前記携帯端末の把持姿勢を検出するための装置を備える、ことを特徴とする請求項６に記載の手握りと方位検出に基づく携帯端末の音声処理システム。

【請求項8】

前記第２検出モジュールは、前記携帯端末の物理的方位を検出するための装置を備える、ことを特徴とする請求項６に記載の手握りと方位検出に基づく携帯端末の音声処理システム。

【請求項9】

前記第３検出モジュールは、ユーザがオーディオ再生中にタッチパネルとインタラクションを行うか否かを検出するための装置を備える、ことを特徴とする請求項６に記載の手握りと方位検出に基づく携帯端末の音声処理システム。

【請求項10】

前記修正モジュールは、スピーカの周波数応答を修正するための装置を備える、ことを特徴とする請求項６に記載の手握りと方位検出に基づく携帯端末の音声処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号処理技術分野に関し、特に手握りと方位検出に基づく携帯端末の音声処理方法及びシステムに関する。

【背景技術】

【0002】

携帯電話、ゲームコンソール又はタブレットなどの如何なる携帯端末の周知の特徴は、ユーザがデバイスを彼／彼女の手に持っているとき、スピーカの周波数応答が顕著に変化することである。これは、音声の着色をもたらし、かつ全てのステレオ拡張アルゴリズムは、合理的な対称性を有する周波数応答に依存しているため、片手又は両手でデバイスを把持することによってステレオ又はマルチチャネル処理の機能が顕著に変化する。最近の内部研究によると、このような周波数応答の変化は、いくつかの明らかなシステム傾向があり、全てのユーザに適用し、このような変化は、デバイスを片手で持つのか又は両手で持つのか、及びどの方向を向くのかなど、どのように携帯端末を手で持つのかに依存する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、従来の技術における技術課題を解決するために、スピーカの周波数応答を修正してスピーカのバランスを調整することができる手握りと方位検出に基づく携帯端末の音声処理方法及びシステムを提供することを目的とする。

【課題を解決するための手段】

【0004】

本発明は、手握りと方位検出に基づく携帯端末の音声処理方法を提供し、当該音声処理方法は
ステップＡであって、携帯端末が手握りされているか否かを検出するステップと、
ステップＢであって、携帯端末が手握りされていると判定された場合、片手で把持されているか両手で把持されているかを検出するステップと、
ステップＣであって、携帯端末が片手で把持されていると判定された場合、携帯端末が景観把持であるかポートレート把持であるかを検出し、その結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行うステップと、
ステップＤであって、携帯端末が両手で把持されていると判定された場合、移動インタラクション作用によって、携帯端末がインタラクション過程にあるか否かを判定し、その結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行うステップと、を含む。

【0005】

上記のような手握りと方位検出に基づく携帯端末の音声処理方法であって、好ましくは、ステップＣにおいて、景観保持に応答する把持であれば、景観周波数応答イコライジング及びステレオ処理制御を行う。

【0006】

上記のような手握りと方位検出に基づく携帯端末の音声処理方法であって、好ましくは、ステップＣにおいて、ポートレート把持に応答する把持であれば、ポートレート周波数応答イコライジング及びステレオ処理制御を行う。

【0007】

上記のような手握りと方位検出に基づく携帯端末の音声処理方法であって、好ましくは、ステップＤにおいて、携帯端末がインタラクション過程でなければ、２チャネルの基本横方向の周波数応答イコライジング及びステレオ処理制御を行う。

【0008】

上記のような手握りと方位検出に基づく携帯端末の音声処理方法であって、好ましくは、ステップＤにおいて、携帯端末がインタラクション過程であれば、２チャネルの基本的なインタラクションの周波数応答イコライジング及びステレオ処理制御を行う。

【0009】

本発明は、手握りと方位検出に基づく携帯端末の音声処理システムをさらに提供し、当該音声処理システムは、
携帯端末が手握りされているかどうか、および、片手で把持されているか両手で把持されているかを検出するための第１検出モジュールと、
携帯端末の物理的方位、および、景観把持であるかポートレート把持であるかを検出するための第２検出モジュールと、
携帯端末がインタラクションを行っているか否かを検出するための第３検出モジュールと、
第１検出モジュール、第２検出モジュール及び第３検出モジュールによって検出されたデータを用いて、スピーカの周波数応答を修正するための修正モジュールと、を備える。

【0010】

上記のような手握りと方位検出に基づく携帯端末の音声処理システムであって、好ましくは、前記第１検出モジュールは、前記携帯端末の把持姿勢を検出するための装置を備える。

【0011】

上記のような手握りと方位検出に基づく携帯端末の音声処理システムであって、好ましくは、前記第２検出モジュールは、前記携帯端末の物理的方位を検出するための装置を備える。

【0012】

前記のような手握りと方位検出に基づく携帯端末の音声処理システムであって、好ましくは、前記第３検出モジュールは、ユーザがオーディオ再生中にタッチパネルとインタラクションを行うか否かを検出するための装置を備える。

【0013】

上記のような手握りと方位検出に基づく携帯端末の音声処理システムであって、好ましくは、前記修正モジュールは、スピーカの周波数応答を修正する装置を備える。

【発明の効果】

【0014】

従来の技術に比べて、本発明による手握りと方位検出に基づく携帯端末の音声処理方法及びシステムは、従来の携帯端末のスピーカの周波数応答が把持姿勢の違いに伴って顕著に変化してしまい、最終的に音質を悪化させるという技術課題を効果的に解決でき、音声学環境の変化を考慮しない従来携帯端末に比べて、本発明による音声処理方法及びシステムは、実際の生活においてより一致するスピーカ音質を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例に係る携帯端末のポートレート把持の正面図である。

【図2】本発明の実施例に係る携帯端末のポートレート把持の背面図である。

【図3】本発明の実施例に係る携帯端末の景観把持の正面図である。

【図4】本発明の実施例に係る携帯端末の景観把持の背面図である。

【図5】本発明の実施例に係る携帯端末のポートレート把持及び景観把持での自由場測定における平均応答変化の比較の模式図である。

【図6】片手又は両手で横方向で携帯端末を把持するときに自由場から測定して得られた周波数応答変化である。

【図7】本発明の実施例に係る携帯端末が手持ち応答から自由場設計目標応答に対応するイコライジングを取得する模式図である。

【図8】本発明の実施例に係る携帯端末のイコライジング及びステレオ処理決定の模式的なフローチャートである。

【発明を実施するための形態】

【0016】

以下では、本発明の実施例を詳細に説明し、前記実施例の例示は図面に示めされ、ここで、同じ又は類似の符号は、同一又は類似の素子又は同一又は類似の機能を有する素子を一貫して示す。以下に図面を参照して説明した実施例は、例示的なものであり、本発明を説明するためのものに過ぎず、本発明を限定するものと解釈することができない。

【0017】

図１～図８に示すように、本発明の実施例は、手握りと方位検出に基づく携帯端末の音声処理方法を提供し、当該音声処理方法は、以下のステップＡ～Ｄを備える。

【0018】

ステップＡであって、携帯端末が手握りされているか否かを検出し、携帯電話の周波数応答と実験室の自由場の測定を比較すると、結果（１４個のユーザからの平均５６回の測定）は、ユーザの手が約１．５ｋＨｚ以上で一定の音圧を提供し、１０ｋＨｚ以上で強い音圧を有することを示し、明らかに手のひらの反射からのものであり、これらの数字は、携帯端末の音響ポートの位置に大きく依存し、ユーザの間に差異が大きいが、ここでの平均値は、全てのテストユーザの間の典型的な特徴を表すものである。

【0019】

ステップＢであって、携帯端末が手握りされていると判定された場合、片手で把持されているか両手で把持されているかを検出する。

【0020】

ステップＣであって、携帯端末が片手で把持されていると判定された場合、携帯端末が景観把持であるかポートレート把持であるかを検出し、その結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行う。ここで、把持姿勢とは、片手で把持されている姿勢、及び両手で把持されている姿勢を含み、２種類の異なる把持姿勢で、携帯端末における音響ポートの位置の、手のひらからの距離が異なるため、音圧に差異が生じ、検出された音圧データ値に基づいて、スピーカの周波数応答を調整する。ここで、前記携帯端末の所在方位は、縦方向（ポートレート）及び横方向（横方向）を備え、携帯端末は、縦方向及び横方向の状態で、スピーカの周波数応答に顕著な差異がある。

【0021】

ステップＤであって、携帯端末が両手で把持されていると判定された場合、移動インタラクション作用により、携帯端末がインタラクション過程にあるか否かを判定し、結果に基づいて対応する周波数応答イコライジング及びステレオ処理制御を行う。図６に示すように、片手又は両手でデバイスを横方向モードで把持すると、周波数応答も変化し、それは、両手把持モードで、手が携帯電話からより遠く離れるためである。両手で使用する場合、ユーザは、スクリーンとのインタラクション（例えばゲーム）に参加する可能性もあり、これによって、手の形状及び音響特性も変化する。例えば、タタッチパネル出力又は監視システムイベントを用いてこのようなインタラクションを検出すると、オーディオ処理はさらに、それに対応する新たなモードに調整することができる。

【0022】

さらに、ステップＣにおいて、携帯端末が景観把持であれば、このときに景観保持の決定であり、景観周波数応答イコライジング及びステレオ処理制御を行う。

【0023】

さらに、ステップＣにおいて、携帯端末がポートレートで把持すれば、このときに人物像保持の決定であり、ポートレート周波数応答イコライジング及びステレオ処理制御を行う。

【0024】

さらに、ステップＤにおいて、携帯端末がインタラクション過程でなければ、２チャネルの基本横方向の周波数応答イコライジング及びステレオ処理制御を行う。

【0025】

さらに、ステップＤにおいて、携帯端末がインタラクション過程であれば、２チャネルの基本的なインタラクションの周波数応答イコライジング及びステレオ処理制御を行う。

【0026】

上記実施例に係る手握りと方位検出に基づく携帯端末の音声処理方法及びシステムは、従来の携帯端末のスピーカの周波数応答が把持姿勢の違いに伴って顕著に変化し、最終的に音質を悪化させるという技術課題を効果的に解決し、音声学環境の変化を考慮しない従来携帯端末に比べて、提供される音声処理方法及びシステムは、実際の生活においてより一致するスピーカ音質を提供することができる。

【0027】

本発明の実施例において、携帯端末は、スピーカを有する携帯電話、ウェアラブルデバイス、バーチャルリアリティデバイスなどのモバイルデバイスを含むがそれらに限定されず、好ましくは、携帯電話である。

【0028】

以上の実施例に基づいて、本発明は、手握りと方位検出に基づく携帯端末の音声処理システムをさらに提供し、当該音声処理システムは、
携帯端末が手握りされているか否か、および、片手で把持されているか両手で把持されているかを検出するための第１検出モジュールと、
携帯端末の物理的方位、および、景観把持であるかポートレート把持であるかを検出するための第２検出モジュールと、
携帯端末がインタラクション作用を行っているか否かを検出するための第３検出モジュールと、
第１検出モジュール、第２検出モジュール及び第３検出モジュールによって検出されたデータを用いて、スピーカの周波数応答を修正するための修正モジュールと、を備える。

【0029】

本発明の実施例において、前記第１検出モジュールは、例えば、タッチセンサ又は他の検出器など、前記携帯端末の把持姿勢を検出するための装置を備える。

【0030】

本発明の実施例において、前記第２検出モジュールは、前記携帯端末の物理的方位を検出するための装置を備える。

【0031】

本発明の実施例において、前記第３検出モジュールは、ユーザがオーディオ再生中にタッチパネルとインタラクションを行うか否かを検出するための装置を備える。

【0032】

本発明の実施例において、前記修正モジュールは、スピーカの周波数応答を修正するための装置を備える。

【0033】

本発明の実施例において、オーディオ信号は、複数のオーディオチャンネル信号であってもよく、特にステレオ信号である。用語「ステレオ信号」は、特にオーディオ信号が２つの成分を有する事実を示すことができ、各成分は、異なるスピーカにより再生されることを予定し、それによりステレオ効果又は如何なる他の空間音声感覚を生成する。オーディオ信号がステレオ信号である場合、拡張アルゴリズムは、特に知覚されたオーディオの主観品質を改善することに適する。

【0034】

本発明の開示は、システム、方法及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含むことができ、その上にコンピュータ可読プログラムコマンドがロードされ、プロセッサに本発明の各態様を実現させるために用いられる。

【0035】

コンピュータ可読記憶媒体は、コマンド実行デバイスが使用するためのコマンドを保持して記憶することができる有形のデバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス又は前述の任意の適切な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例（非詳細リスト）は、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブル緻密ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、例えばその上にコマンドが記憶されたプリンタ、ホールカード又は溝内の突起構造などの機械符号化デバイス、及び上記任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体自体は、過渡的な信号、例えば電波又は他の自由に伝播する電磁波、導波路又は他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）又は電線を介して電気信号を伝送すると解釈されるべきではない。

【0036】

ここで説明されたコンピュータ可読プログラムコマンドは、コンピュータ可読記憶媒体から様々な計算／処理デバイスにダウンロードすることができ、又はインターネット、ローカルエリアネットワーク、広域ネットワーク及び／又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードすることができる。当該ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備えることができる。各計算／処理デバイスにおけるネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラムコマンドを受信し、かつ当該コンピュータ可読プログラムコマンドを転送して各計算／処理デバイス中のコンピュータ可読記憶媒体に記憶する。

【0037】

以上は、本発明の構造、特徴及び作用効果を図面に示す実施例に基づいて詳細に説明したが、上記したのは、本発明の好ましい実施例だけであり、本発明は、図面に示される実施範囲を限定せず、本発明の思想に加えられた変更、又は同等の変化である同等の実施例への修正は、依然として明細書及び図面に含まれる精神を超えない場合、いずれも本発明の保護範囲内にあるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】