特許 7470808 オーディオ処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-10

(45)【発行日】2024-04-18

(54)【発明の名称】オーディオ処理方法及び装置

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240411BHJP

   G10L 19/00 20130101ALI20240411BHJP

   H04N 5/77 20060101ALI20240411BHJP

   H04N 23/60 20230101ALI20240411BHJP

   H04N 23/45 20230101ALI20240411BHJP

【ＦＩ】

H04R3/00 320

G10L19/00 330B

H04N5/77 200

H04N23/60 300

H04N23/45

【請求項の数】 14

(21)【出願番号】P 2022550194

(86)(22)【出願日】2021-02-26

(65)【公表番号】

(43)【公表日】2023-04-07

(86)【国際出願番号】 CN2021078268

(87)【国際公開番号】W WO2021175165

(87)【国際公開日】2021-09-10

【審査請求日】2022-08-22

(31)【優先権主張番号】202010153146.5

(32)【優先日】2020-03-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ビエン，チャオ

(72)【発明者】

【氏名】ゴーァ，ルゥ

(72)【発明者】

【氏名】カーン，フオンシア

(72)【発明者】

【氏名】ジャーン，ズオン

【審査官】金子 秀彦

(56)【参考文献】

【文献】特開２０１１－２０５５３０（ＪＰ，Ａ）

【文献】特開２００６－３１４０７８（ＪＰ，Ａ）

【文献】特開２０１３－２４３４５５（ＪＰ，Ａ）

【文献】特開２００７－２８１９６６（ＪＰ，Ａ）

【文献】特開２００４－３１２１４４（ＪＰ，Ａ）

【文献】国際公開第２００９／１４１９５１（ＷＯ，Ａ１）

【文献】特開２０１６－０８６３２０（ＪＰ，Ａ）

【文献】特開２００３－０１８５４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００

Ｇ１０Ｌ １９／００

Ｈ０４Ｎ ５／７７

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／４５

(57)【特許請求の範囲】

【請求項1】

電子装置に適用されるオーディオ処理方法であって、前記電子装置は第１カメラ及び第２カメラを含み、前記方法は、
前記電子装置により、カメラアプリケーションを開くためにユーザにより実行された操作を検出した後に、撮影プレビューインタフェースを表示するステップと、
前記電子装置により、マルチチャネルビデオ記録モードに入るステップと、
前記ユーザの撮影操作を検出した後に、前記電子装置により、撮影インタフェースを表示するステップであって、前記撮影インタフェースは、第１表示領域及び第２表示領域を含み、前記第１表示領域は、前記第１カメラによりキャプチャされた第１ビデオ画像を表示するために使用され、前記第２表示領域は、前記第２カメラによりキャプチャされた第２ビデオ画像を表示するために使用される、ステップと、
前記電子装置により、前記第１カメラ及び前記第２カメラを用いて前記第１ビデオ画像及び前記第２ビデオ画像を同時に記録するステップと、
前記電子装置により、複数の音声チャネルのオーディオを記録するステップであって、前記複数の音声チャネルのオーディオは、パノラマオーディオ、前記第１ビデオ画像に対応する第１オーディオ、及び前記第２ビデオ画像に対応する第２オーディオを含む、ステップと、
を含み、
前記電子装置により、前記複数の音声チャネルのオーディオに前記第１オーディオを記録するステップは、
前記電子装置により、前記第１表示領域に対応する特徴値に基づき前記第１オーディオを記録するステップであって、前記特徴値は、前記第１カメラのズーム倍率を含み、前記特徴値は、前記第１表示領域に対応する前面／背面属性パラメータを更に含み、前記前面／背面属性パラメータは、前記第１ビデオ画像が前面カメラにより撮影されたビデオ画像又は背面カメラにより撮影されたビデオ画像であるかどうかを示すために使用される、方法。

【請求項2】

前記特徴値は、前記第１カメラと前記電子装置のフレームとの間の距離、及び／又は前記第１カメラの焦点長範囲を更に含む、請求項１に記載の方法。

【請求項3】

前記電子装置により、複数の音声チャネルのオーディオを記録する前に、前記方法は、
前記電子装置により、全方向で音声信号をキャプチャし、前記音声信号に基づき初期オーディオデータを取得するステップを更に含み、
前記電子装置により、前記第１表示領域に対応する特徴値に基づき、前記第１オーディオを記録するステップは、
前記電子装置により、前記第１表示領域に対応する前記特徴値に基づき、前記第１表示領域に対応する第１音声ピックアップ範囲を決定するステップと、
前記電子装置により、前記第１音声ピックアップ範囲及び前記初期オーディオデータに基づき、前記第１オーディオを記録するステップと、
を含む、請求項１又は２に記載の方法。

【請求項4】

前記複数の音声チャネルのオーディオは、前記第１ビデオ画像に対応する第３オーディオを更に含む、請求項３に記載の方法。

【請求項5】

前記複数の音声チャネルのオーディオは、第４オーディオを更に含み、前記第４オーディオは、第１期間の間の第５オーディオと、第２期間の間の第６オーディオと、を含み、前記第５オーディオは前記パノラマオーディオであり、前記第６オーディオは前記第１カメラの第１ズーム倍率に対応するオーディオを含み、前記第１カメラは、前記第１期間内に第２ズーム倍率を用いて撮影を実行し、前記第２期間内に前記第１ズーム倍率を用いて撮影を実行する、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記第１表示領域は、前面／背面カメラ切り換え制御を更に含み、前記前面／背面カメラ切り換え制御は、前面／背面カメラ切り換えを実行するために使用される、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記電子装置は、第３カメラを更に含み、前記第１表示領域は、カメラ切り換え制御を含み、前記方法は、
前記電子装置により、前記カメラ切り換え制御に対する操作に応答して、前記第１表示領域内に、前記第３カメラによりキャプチャされたビデオ画像を表示するステップであって、前記第１カメラは背面広角カメラであり、前記第３カメラは背面長焦点カメラである、ステップを更に含む請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記第１表示領域は、第１ズーム調整制御を更に含み、前記第１ズーム調整制御は、前記第１カメラの前記ズーム倍率を調整するために使用され、
前記第２表示領域は、第２ズーム調整制御を更に含み、前記第２ズーム調整制御は、前記第２カメラの前記ズーム倍率を調整するために使用される、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記方法は、
前記電子装置により、前記ユーザにより設定される第３ズーム倍率が前記第１カメラの焦点長範囲を超えると決定すると、第４カメラに切り換えるよう前記ユーザにプロンプト表示するステップと、
前記電子装置により、前記第１表示領域内に、前記第３ズーム倍率に基づき前記第４カメラによりキャプチャされたビデオ画像を表示するステップと、
を更に含む請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記第１表示領域は、第１焦点長範囲に対応し、前記第２表示領域は、第２焦点長範囲に対応し、前記第１焦点長範囲は前記第２焦点長範囲と異なり、前記方法は、
前記第１表示領域について前記ユーザにより設定された第４ズーム倍率が前記第１焦点長範囲を超え、前記第２焦点長範囲内にあると決定すると、前記電子装置により、前記第２表示領域のズーム調整制御に対するズーム操作を実行するよう前記ユーザにプロンプト表示するステップと、
前記電子装置により、前記第２表示領域内に、前記第４ズーム倍率に基づき前記第２カメラによりキャプチャされたビデオ画像を表示するステップと、
を更に含む請求項１～８のいずれか一項に記載の方法。

【請求項11】

前記電子装置により、前記ユーザの撮影操作を検出した後に、前記方法は、
前記電子装置により、撮影を停止するための前記ユーザにより実行された操作を検出した後に、マルチチャネル記録ビデオを生成するステップであって、前記マルチチャネル記録ビデオは、前記第１ビデオ画像、前記第２ビデオ画像、及び前記複数の音声チャネルのオーディオを含む、ステップと、
前記電子装置により、前記マルチチャネル記録ビデオを再生するために前記ユーザにより実行された操作を検出した後に、ビデオ再生インタフェースを表示するステップであって、前記ビデオ再生インタフェースは、前記第１ビデオ画像及び前記第２ビデオ画像を含む、ステップと、
前記電子装置により、前記パノラマオーディオを自動的に再生するステップと、
を更に含む請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記ビデオ再生インタフェースは、オーディオ切り換え制御を更に含み、前記電子装置により、前記パノラマオーディオを自動的に再生するステップの後に、前記方法は、
前記電子装置により、前記オーディオ切り換え制御に対して前記ユーザにより実行された操作を検出した後に、前記第１オーディオ又は前記第２オーディオを再生するステップと、
前記電子装置により、前記パノラマオーディオの再生を停止するステップと、
を更に含む請求項１１に記載の方法。

【請求項13】

前記電子装置により、ビデオ再生インタフェースを表示するステップの後に、前記方法は、
前記第１ビデオ画像を表示するために前記ユーザにより実行された操作を検出した後に、前記電子装置により、前記第１ビデオ画像を前記ビデオ再生インタフェースに表示し、前記第２ビデオ画像の表示を停止するステップと、
前記電子装置により、前記第１ビデオ画像に対応する前記第１オーディオを自動的に再生するステップと、
を更に含む請求項１１又は１２に記載の方法。

【請求項14】

電子装置であって、
音声信号をキャプチャするよう構成される複数のマイクロフォンと、
ビデオ画像をキャプチャするよう構成される複数のカメラと、
インタフェースを表示するよう構成されるスクリーンと、
オーディオを再生するよう構成されるオーディオ再生コンポーネントと、
１つ以上のプロセッサと、
メモリと、
１つ以上のコンピュータプログラムであって、前記１つ以上のコンピュータプログラムは前記メモリに格納され、前記１つ以上のコンピュータプログラムは命令を含み、前記命令は前記電子装置により実行されると、前記電子装置が請求項１～１３のいずれか一項に記載のオーディオ処理方法を実行可能にされる、１つ以上のコンピュータプログラムと、
を含む電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、参照により全体がここに組み込まれる、中国特許出願番号２０２０１０１５３１４６.５号、中国国家知識産権局に２０２０年３月６日に出願、名称「AUDIO PROCESSING METHOD AND DEVICE」の優先権を主張する。

【0002】

本願の実施形態は、電子技術の分野に関し、特に、オーディオ処理方法及び機器に関する。

【背景技術】

【0003】

携帯電話機又はタブレットコンピュータ装置のような電子装置の計算能力及びハードウェア能力が向上するにつれ、電子装置のビデオ記録機能は次第に強力になっている。例えば、幾つかの電子装置は、代替として多視点ビデオ記録と呼ばれるマルチチャネルビデオ記録をサポートできる。

【0004】

既存のマルチチャネルビデオ記録モードでは、電子装置は、オーディオ及び複数のチャネルのビデオ画像を記録してよい。例えば、電子装置は、パノラマビデオ及び複数のチャネルのビデオ画像を別個に記録してよい。ビデオ再生の間、電子装置な、オーディオ及び複数のチャネルのビデオ画像を再生してよい。

【発明の概要】

【0005】

本願の実施形態は、オーディオ処理方法及び装置を提供する。マルチチャネルビデオ記録モードでは、複数のチャネルのビデオ画像及び複数のチャネルのオーディオが、ズーム倍率のような特徴値を基準として記録でき、異なるオーディオがビデオ再生中に再生でき、マルチチャネルビデオ記録の間のユーザのオーディオ経験を向上する。

【0006】

前述の目的を達成するために、以下の技術的ソリューションは、本願の実施形態において使用される。

【0007】

１つの態様によると、本願の実施形態は、電子装置に適用されるオーディオ処理方法を提供する。前記電子装置は第１カメラ及び第２カメラを含む。前記方法は、以下を含む：前記電子装置は、カメラアプリケーションを開くためにユーザにより実行された操作を検出した後に、撮影プレビューインタフェースを表示する。次に、前記電子装置は、マルチチャネルビデオ記録モードに入る。前記電子装置は、前記ユーザの撮影操作を検出した後に、撮影インタフェースを表示し、前記撮影インタフェースは、第１表示領域及び第２表示領域を含み、前記第１表示領域は前記第１カメラによりキャプチャされた第１ビデオ画像を表示するために使用され、前記第２表示領域は前記第２カメラによりキャプチャされた第２ビデオ画像を表示するために使用される。次に、前記電子装置は、前記第１カメラ及び前記第２カメラを用いて、前記第１ビデオ画像及び前記第２ビデオ画像を同時に記録する。前記電子装置は、複数の音声チャネルのオーディオを記録し、前記複数の音声チャネルのオーディオは、パノラマオーディオ、前記第１ビデオ画像に対応する第１オーディオ、及び前記第２ビデオ画像に対応する第２オーディオを含む。前記電子装置が前記第１オーディオを前記複数の音声チャネルのオーディオに記録することは、以下を含む：前記電子装置は、前記第１表示領域に対応する特徴値に基づき、前記第１オーディオを記録し、前記特徴値は、前記第１カメラのズーム倍率を含む。

【0008】

本ソリューションでは、前記マルチチャネルビデオ記録モードで、前記電子装置は、前記複数のチャネルのビデオ画像を記録しながら、前記複数の音声チャネルのオーディオを記録できる。前記複数の音声チャネルのオーディオは、前記パノラマオーディオ、及び各ビデオ画像に対応するオーディオを含む。前記ビデオ画像に対応するオーディオは、前記ビデオ画像が位置する表示領域に対応するズーム倍率のような特徴値に関連する。このように、ビデオ再生中、前記ユーザは、前記パノラマオーディオ又は前記ユーザが注目するビデオ画像に対応するオーディオを再生することを選択でき、前記ユーザのオーディオ経験を向上する。

【0009】

可能な設計では、前記特徴値は、前記可能な設計では表示領域に対応する前面／背面属性パラメータを更に含み、前記前面／背面属性パラメータは、前記第１ビデオ画像が前面カメラにより撮影されたビデオ画像又は背面カメラにより撮影されたビデオ画像であるかどうかを示すために使用される。

【0010】

言い換えると、前記電子装置は、前記第１表示領域に対応する前記前面／背面属性パラメータに基づき、前記第１ビデオ画像に対応するオーディオを更に記録してよい。

【0011】

別の可能な設計では、前記特徴値は、前記第１カメラと前記電子装置のフレームとの間の距離、及び／又は前記第１カメラの焦点長範囲を更に含む。

【0012】

言い換えると、前記電子装置は、前記第１カメラと前記電子装置のフレームとの間の距離、及び／又は前記第１カメラの前記焦点長範囲に基づき、前記第１ビデオ画像に対応するオーディオを更に記録してよい。

【0013】

別の可能な設計では、前記電子装置が前記複数の音声チャネルのオーディオを記録する前に、前記方法は以下を更に含む：前記電子装置は、全方向で音声信号をキャプチャし、前記音声信号に基づき初期オーディオデータを取得する。前記電子装置が、前記第１表示領域に対応する特徴値に基づき、前記第１オーディオを記録することは、以下を含む：前記電子装置は、前記第１表示領域に対応する特徴値に基づき、前記第１表示領域に対応する第１音声ピックアップ範囲を決定し、前記電子装置は、前記第１音声ピックアップ範囲及び前記初期オーディオデータに基づき、前記第１オーディオを記録する。

【0014】

言い換えると、前記電子装置は、前記第１表示領域に対応する特徴値に基づき、前記第１音声ピックアップ範囲を決定して、前記第１音声ピックアップ範囲に基づき前記第１オーディオを記録してよい。

【0015】

別の可能な設計では、前記複数の音声チャネルのオーディオは、前記第１ビデオ画像に対応する第３オーディオを更に含む。

【0016】

言い換えると、前記電子装置は、前記第１ビデオ画像に対応する複数の音声チャネルのオーディオを記録してよい。

【0017】

別の可能な設計では、前記電子装置が前記第３オーディオを記録することは、以下を含む：前記電子装置は、前記第１音声ピックアップ範囲に基づき第１基準音声ピックアップ範囲を決定し、前記第１基準ピックアップ範囲及び前記初期オーディオデータに基づき、前記第３オーディオを記録する。

【0018】

言い換えると、前記電子装置は、前記第１音声ピックアップ範囲に基づき、周辺第１基準音声ピックアップ範囲を決定し、前記第１基準音声ピックアップ範囲に基づき、前記第１ビデオ画像に対応する別のオーディオを記録してよい。

【0019】

別の可能な設計では、前記複数の音声チャネルのオーディオは、第４オーディオを更に含み、前記第４オーディオは、第１期間の間の第５オーディオと、第２期間の間の第６オーディオと、を含み、前記第５オーディオは前記パノラマオーディオであり、前記第６オーディオは前記第１カメラの第１ズーム倍率に対応するオーディオを含み、前記第１カメラは、前記第１期間内に第２ズーム倍率を用いて撮影を実行し、前記第２期間内に前記第１ズーム倍率を用いて撮影を実行する。

【0020】

本ソリューションでは、前記ユーザが前記第１表示領域内の前記ズーム倍率を調整するとき、前記ユーザは、調整されたズーム倍率に対応するビデオ画像及び音声ピックアップ範囲に注目したい可能性がある。従って、前記電子装置は、前記第１表示領域に対応する前記パノラマオーディオ及び後続のオーディオを、動的に変化するパノラマオーディオへと結合して、前記ユーザにより調整された前記ズーム倍率に対応するオーディオを強調し、ズームの後の前記ユーザによるオーディオ変化経験を向上する。

【0021】

別の可能な設計では、前記第１表示領域は、前面／背面カメラ切り換え制御を更に含み、前記前面／背面切り換え制御は、前面／背面切り換えを実行するために使用される。

【0022】

このように、前記電子装置は、前記第１表示領域のために使用される前記前面カメラ及び前記背面カメラを更に切り換えてよい。

【0023】

別の可能な設計では、前記電子装置は第３カメラを更に含み、前記第１表示領域はカメラ切り換え制御を含む。前記方法は、以下を更に含む：前記カメラ切り換え制御に対する操作に応答して、前記電子装置は、前記第１表示領域内に、前記第３カメラによりキャプチャされたビデオ画像を表示し、前記第１カメラは背面広角カメラであり、前記第３カメラは背面長焦点カメラである。

【0024】

本ソリューションでは、前記電子装置は、ユーザにより指示された前記カメラ切り換え制御を用いて対応する目標カメラを直接切り換え、前記目標カメラを用いてビデオ画像をキャプチャできる。

【0025】

別の可能な設計では、前記第１表示領域は、第１ズーム調整制御を更に含み、前記第１ズーム調整制御は、前記第１カメラの前記ズーム倍率を調整するために使用され、
前記第２表示領域は、第２ズーム調整制御を更に含み、前記第２ズーム調整制御は、前記第２カメラの前記ズーム倍率を調整するために使用される。

【0026】

このように、前記第１表示領域及び前記第２表示領域の各々のズーム倍率は、調整されてよい。

【0027】

別の可能な設計では、前記方法は、以下を更に含む：前記第１表示領域について前記ユーザにより設定された第３ズーム倍率が、前記第１カメラの前記焦点長範囲を超えると決定すると、前記電子装置は、第４カメラに切り換えるよう前記ユーザにプロンプト表示し、前記電子装置は、前記第１表示領域内に、前記第３ズーム倍率に基づき前記第４カメラによりキャプチャされたビデオ画像を表示する。

【0028】

本ソリューションでは、前記第３ズーム倍率が前記第１表示領域に対応する前記第１カメラの前記焦点長範囲を超えた後に、前記電子装置は、前記第４カメラに切り換え、前記第３ズーム倍率を用いて前記第１表示領域内のビデオ画像を直接キャプチャし、ズーム倍率を連続的に変化する。

【0029】

別の可能な設計では、前記第１表示領域は前記第１焦点長範囲に対応し、前記第２表示領域は前記第２焦点長範囲に対応し、前記第１焦点長範囲は前記第２焦点長範囲と異なる。前記方法は、以下を更に含む：前記第１表示領域について前記ユーザにより設定された第４ズーム倍率が、前記第１カメラの前記焦点長範囲を超え、前記第２焦点長範囲内にあると決定すると、前記電子装置は、前記第２表示領域に対するズーム操作を実行するよう前記ユーザにプロンプト表示し、前記電子装置は、前記第２表示領域内に、前記第４ズーム倍率に基づき前記第２カメラによりキャプチャされたビデオ画像を表示する。

【0030】

本ソリューションでは、前記第４ズーム倍率が前記第１表示領域に対応する前記焦点長範囲を超え、前記第２表示領域に対応する前記焦点長範囲内にあると決定すると、前記電子装置は、前記第４ズーム倍率を用いて前記第２表示領域内のビデオ画像を直接キャプチャし、異なる表示領域内のズーム倍率を連続的に変化する。

【0031】

別の可能な設計では、前記電子装置が前記ユーザの前記撮影操作を検出した後に、前記方法は以下を更に含む：前記電子装置は、撮影を停止するために前記ユーザにより実行された操作を検出した後に、マルチチャネル記録ビデオを生成し、前記マルチチャネル記録ビデオは、前記第１ビデオ画像、前記第２ビデオ画像、及び前記複数の音声チャネルのオーディオを含む。前記電子装置は、前記マルチチャネル記録ビデオを再生するために前記ユーザにより実行された操作を検出した後に、ビデオ再生インタフェースを表示し、前記ビデオ再生インタフェースは、前記第１ビデオ画像及び前記第２ビデオ画像を含む。前記電子装置は、前記パノラマオーディオを自動的に再生する。

【0032】

言い換えると、ビデオ再生中に、前記電子装置は、前記複数のチャネルのビデオ画像及び前記パノラマオーディオをデフォルトで再生してよい。

【0033】

別の可能な設計では、前記ビデオ再生インタフェースは、オーディオ切り換え制御を更に含む。前記電子装置が前記パノラマオーディオを自動的に再生した後に、前記方法は更に以下を含む：前記電子装置は、前記音声切り換え制御に対して前記ユーザにより実行された操作を検出した後に、前記第１オーディオ又は前記第２オーディオを再生し、前記電子装置は、前記パノラマオーディオの再生を停止する。

【0034】

このように、前記オーディオ切り換え制御に基づき、前記電子装置は、前記ユーザの指示に従い、対応するオーディオを再生してよい。

【0035】

別の可能な設計では、前記電子装置が前記ビデオ再生インタフェースを表示した後に、前記方法は以下を更に含む：前記第１ビデオ画像を再生するために前記ユーザにより実行された操作を検出した後に、前記電子装置は、前記第１ビデオ画像を前記ビデオ再生インタフェースに表示し、前記第２ビデオ画像の表示を停止し、前記電子装置は、前記第１ビデオ画像に対応する前記第１オーディオを自動的に再生する。

【0036】

本ソリューションでは、前記電子装置は、前記ユーザの指示に従い、単一チャネルのビデオ画像を再生し、前記ビデオ画像に対応するオーディオを自動的に再生してよい。

【0037】

別の可能な設計では、前記電子装置が、前記第１ビデオ画像を前記ビデオ再生インタフェースに表示することは、以下を含む：前記電子装置は、前記第１ビデオ画像を拡大方法で又は全画面で、前記ビデオ再生インタフェースに表示する。

【0038】

このように、前記ユーザが前記第１ビデオ画像のみを再生することを指示すると、前記電子装置は、前記第１ビデオ画像に注目し強調して、前記ユーザの視覚的経験を向上する。

【0039】

別の可能な設計では、前記マルチチャネル記録ビデオに含まれる前記第１ビデオ画像及び前記第２ビデオ画像は、同じビデオファイルとして保存される。

【0040】

別の可能な設計では、前記マルチチャネル記録ビデオに含まれる前記第１ビデオ画像は、第１ビデオファイルとして保存され、前記マルチチャネル記録ビデオに含まれる前記第２ビデオ画像は、第２ビデオファイルとして保存される。

【0041】

このように、ビデオ再生中、前記電子装置は、前記第１ビデオファイルに基づき前記第１ビデオ画像のみを再生してよく、又は前記第２ビデオファイルに基づき前記第２ビデオ画像のみを再生してよい。

【0042】

別の可能な設計では、前記電子装置が前記撮影インタフェースを表示する前に、前記方法は以下を更に含む：前記電子装置は、表示領域の数を決定する。前記電子装置が前記撮影インタフェースを表示することは、以下を含む：前記電子装置は、前記表示領域の数に基づき、前記撮影インタフェースを表示する。

【0043】

このように、前記電子装置は、決定した表示領域の数に基づき、対応する数の表示領域を、前記撮影インタフェースに表示してよい。

【0044】

別の態様によると、本願の実施形態は、電子装置であって、
音声信号をキャプチャするよう構成される複数のマイクロフォンと、
ビデオ画像をキャプチャするよう構成される第１カメラ及び第２カメラと、
インタフェースを表示するよう構成されるスクリーンと、
オーディオを再生するよう構成されるオーディオ再生コンポーネントと、
１つ以上のプロセッサと、
メモリと、
１つ以上のコンピュータプログラムと、
を含む電子装置を提供する。前記１つ以上のコンピュータプログラムは、前記メモリに格納され、善意１つ以上のコンピュータプログラムは命令を含む。前記命令が前記電子装置により実行されると、前記電子装置は以下：
カメラアプリケーションを開くためにユーザにより実行された操作を検出した後に、撮影プレビューインタフェースを表示するステップと、
マルチチャネルビデオ記録モードに入るステップと、
前記ユーザの撮影操作を検出した後に、撮影インタフェースを表示するステップであって、前記撮影インタフェースは、第１表示領域及び第２表示領域を含み、前記第１表示領域は、前記第１カメラによりキャプチャされた第１ビデオ画像を表示するために使用され、前記第２表示領域は、前記第２カメラによりキャプチャされた第２ビデオ画像を表示するために使用される、ステップと、
前記第１カメラ及び前記第２カメラを用いて前記第１ビデオ画像及び前記第２ビデオ画像を同時に記録するステップと、
複数の音声チャネルのオーディオを記録するステップであって、前記複数の音声チャネルのオーディオは、パノラマオーディオ、前記第１ビデオ画像に対応する第１オーディオ、及び前記第２ビデオ画像に対応する第２オーディオを含む、ステップと、
を実行可能にされ、
前記複数の音声チャネルのオーディオに前記第１オーディオを記録するステップは、
前記第１表示領域に対応する特徴値に基づき前記第１オーディオを記録するステップを含み、前記特徴値は、前記第１カメラのズーム倍率を含む。

【0045】

可能な設計では、前記特徴値は、前記可能な設計では表示領域に対応する前面／背面属性パラメータを更に含み、前記前面／背面属性パラメータは、前記第１ビデオ画像が前面カメラにより撮影されたビデオ画像又は背面カメラにより撮影されたビデオ画像であるかどうかを示すために使用される。

【0046】

別の可能な設計では、前記特徴値は、前記第１カメラと前記電子装置のフレームとの間の距離、及び／又は前記第１カメラの焦点長範囲を更に含む。

【0047】

別の可能な設計では、前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記複数の音声チャネルのオーディオを記録する前に、全方向で音声信号をキャプチャし、前記音声信号に基づき初期オーディオデータを取得するステップを更に実行可能にされ、
前記第１表示領域に対応する特徴値に基づき、前記第１オーディオを記録するステップは、
前記第１表示領域に対応する前記特徴値に基づき、前記第１表示領域に対応する第１音声ピックアップ範囲を決定するステップと、
前記第１音声ピックアップ範囲及び前記初期オーディオデータに基づき、前記第１オーディオを記録するステップと、
を含む。

【0048】

別の可能な設計では、前記複数の音声チャネルのオーディオは、前記第１ビデオ画像に対応する第３オーディオを更に含む。

【0049】

別の可能な設計では、善に第３オーディオを記録するステップは、前記第１音声ピックアップ範囲に基づき第１基準音声ピックアップ範囲を決定し、前記第１基準ピックアップ範囲及び前記初期オーディオデータに基づき、前記第３オーディオを記録するステップを含む。

【0050】

別の可能な設計では、前記複数の音声チャネルのオーディオは、第４オーディオを更に含み、前記第４オーディオは、第１期間の間の第５オーディオと、第２期間の間の第６オーディオと、を含み、前記第５オーディオは前記パノラマオーディオであり、前記第６オーディオは前記第１カメラの第１ズーム倍率に対応するオーディオを含み、前記第１カメラは、前記第１期間内に第２ズーム倍率を用いて撮影を実行し、前記第２期間内に前記第１ズーム倍率を用いて撮影を実行する。

【0051】

別の可能な設計では、前記第１表示領域は、前面／背面カメラ切り換え制御を更に含み、前記前面／背面切り換え制御は、前面／背面切り換えを実行するために使用される。

【0052】

別の可能な設計では、前記電子装置は第３カメラを更に含み、前記第１表示領域はカメラ切り換え制御を含む。前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記カメラ切り換え制御に対する操作に応答して、前記第１表示領域内に、前記第３カメラによりキャプチャされたビデオ画像を表示するステップであって、前記第１カメラは背面広角カメラであり、前記第３カメラは背面長焦点カメラである、ステップを更に実行可能にされる。

【0053】

別の可能な設計では、前記第１表示領域は、第１ズーム調整制御を更に含み、前記第１ズーム調整制御は、前記第１カメラの前記ズーム倍率を調整するために使用され、
前記第２表示領域は、第２ズーム調整制御を更に含み、前記第２ズーム調整制御は、前記第２カメラの前記ズーム倍率を調整するために使用される。

【0054】

別の可能な設計では、前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記第１表示領域について前記ユーザにより設定された第３ズーム倍率が、前記第１カメラの前記焦点長範囲を超えると決定すると、第４カメラに切り換えるよう前記ユーザにプロンプト表示し、前記第１表示領域内に、前記第３ズーム倍率に基づき前記第４カメラによりキャプチャされたビデオ画像を表示するステップ、を更に実行可能にされる。

【0055】

別の可能な設計では、前記第１表示領域は前記第１焦点長範囲に対応し、前記第２表示領域は前記第２焦点長範囲に対応し、前記第１焦点長範囲は前記第２焦点長範囲と異なる。前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記第１表示領域について前記ユーザにより設定された第４ズーム倍率が、前記第１カメラの前記焦点長範囲を超え、前記第２焦点長範囲内にあると決定すると、前記第２表示領域の前記ズーム調整制御に対するズーム操作を実行するよう前記ユーザにプロンプト表示し、前記第２表示領域内に、前記第４ズーム倍率に基づき前記第２カメラによりキャプチャされたビデオ画像を表示するステップ、を更に実行可能にされる。

【0056】

別の可能な設計では、前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記ユーザの撮影操作を検出し、撮影を停止するための前記ユーザにより実行された操作を検出した後に、マルチチャネル記録ビデオを生成するステップであって、前記マルチチャネル記録ビデオは、前記第１ビデオ画像、前記第２ビデオ画像、及び前記複数の音声チャネルのオーディオを含む、ステップと、
前記マルチチャネル記録ビデオを再生するために前記ユーザにより実行された操作を検出した後に、ビデオ再生インタフェースを表示するステップであって、前記ビデオ再生インタフェースは、前記第１ビデオ画像及び前記第２ビデオ画像を含む、ステップと、
前記パノラマオーディオを自動的に再生するステップと、
を更に実行可能にされる。

【0057】

別の可能な設計では、前記ビデオ再生インタフェースは、オーディオ切り換え制御を更に含む。前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記パノラマオーディオを自動的に再生し、前記オーディオ切り換え制御に対する前記ユーザにより実行された操作を検出した後に、前記第１オーディオ又は前記第２オーディオを再生し、前記パノラマオーディオの再生を停止するステップ、を更に実行可能にされる。

【0058】

別の可能な設計では、前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記ビデオ再生インタフェースを表示し、前記第１ビデオ画像を再生するために前記ユーザにより実行された操作を検出した後に、前記第１ビデオ画像を前記ビデオ再生インタフェースに表示し、前記第２ビデオ画像の表示を停止し、前記第１ビデオ画像に対応する前記第１オーディオを自動的に再生するステップ、を更に実行可能にされる。

【0059】

別の可能な設計では、前記第１ビデオ画像を前記ビデオ再生インタフェースに表示するステップは、前記第１ビデオ画像を拡大方法で又は全画面で前記ビデオ再生インタフェースに表示するステップを含む。

【0060】

別の可能な設計では、前記マルチチャネル記録ビデオに含まれる前記第１ビデオ画像は、第１ビデオファイルとして保存され、前記マルチチャネル記録ビデオに含まれる前記第２ビデオ画像は、第２ビデオファイルとして保存される。

【0061】

別の可能な設計では、前記命令が前記電子装置により実行されると、前記電子装置は、以下：
前記撮影インタフェースを表示する前に、表示領域の数を決定するステップを更に実行可能にされ、
撮影インタフェースを表示するステップは、前記表示領域の数に基づき、前記撮影インタフェースを表示するステップを含む。

【0062】

別の態様によると、本願の実施形態は、オーディオ処理機器を提供する。前記機器は電子装置に含まれる。前記機器は、前述の態様及び可能な設計のうちのいずれか１つにおける前記電子装置の動作を実施する機能を有し、その結果、前記電子装置は、前述の態様の可能な設計のうちのいずれか１つにおいて前記電子装置により実行されるオーディオ処理方法を実行する。該機能は、ハードウェアにより実装されてよく、又は対応するソフトウェアを実行するハードウェアにより実装されてよい。前記ハードウェア又は背延期ソフトウェアは、前記機能に対応する少なくとも１つのモジュール又はユニットを含む。例えば、前記機器は、マルチチャネルビデオ記録モジュール、オーディオハードウェアモジュール、オーディオ処理モジュール、及びビデオ再生モジュールを含んでよい。

【0063】

更に別の態様によると、本願の実施形態は、１つ以上のプロセッサとメモリとを含む電子装置を提供する。前記メモリはコードを格納する。前記コードが前記電子装置により実行されると、前記電子装置は、前述の態様のいずれかの可能な設計において前記電子装置により実行されるオーディオ処理方法を実行可能にされる。

【0064】

別の態様によると、本願の実施形態は、コンピュータ命令を含むコンピュータ可読記憶媒体を提供する。前記コンピュータ命令が前記電子装置上で実行されると、前記電子装置は、前述の態様のいずれかの可能な設計によるオーディオ処理方法を実行可能にされる。

【0065】

さっらに別の態様によると、本願の実施形態は、コンピュータプログラムプロダクトを提供する。前記コンピュータプログラムプロダクトがコンピュータ上で実行されると、前記コンピュータは、前述の態様のいずれかの可能な設計において前記電子装置により実行されるオーディオ処理方法を実行可能にされる。

【0066】

別の態様によると、本願の実施形態は、チップシステムを提供し、前記チップシステムは電子装置内で使用される。前記チップシステムは、１つ以上のインタフェース回路及び１つ以上のプロセッサを含む。前記インタフェース回路及び前記プロセッサは、線を通じて相互接続される。前記インタフェース回路は、前記電子装置のメモリから信号を受信し、前記信号を前記プロセッサへ送信するよう構成される。前記信号は、前記メモリに格納されたコンピュータ命令を含む。前記プロセッサが前記コンピュータ命令を実行すると、前記電子装置は、前述の態様のいずれかの可能な設計におけるオーディオ処理方法を実行可能にされる。

【0067】

前述の他の態様に対応する有利な効果については、方法の態様における有利な効果の説明を参照のこと。詳細はここで再び記載されない。

【図面の簡単な説明】

【0068】

【図1】本願の実施形態による電子装置の構造の概略図である。

【0069】

【図2】本願の実施形態によるマイクロフォンのレイアウトの概略図である。

【0070】

【図3】本願の実施形態によるオーディオ処理方法のフローチャートである。

【0071】

【図4】本願の実施形態による一群のインタフェースの概略図である。

【0072】

【図5】本願の実施形態による別の一群のインタフェースの概略図である。

【0073】

【図6】本願の実施形態による別の一群のインタフェースの概略図である。

【0074】

【図7】本願の実施形態によるオーディオ記録のフローチャートである。

【0075】

【図8】本願の実施形態によるインタフェースの概略図である。

【0076】

【図9】本願の実施形態による音声ピックアップ範囲の概略図である。

【0077】

【図10】本願の実施形態による音声ピックアップ範囲の別の概略図である。

【0078】

【図11A】本願の実施形態による別の一群のインタフェースの概略図である。

【0079】

【図11B】本願の実施形態による別の一群のインタフェースの概略図である。

【0080】

【図11C】本願の実施形態による別の一群のインタフェースの概略図である。

【0081】

【図11D】本願の実施形態による別の一群のインタフェースの概略図である。

【0082】

【図12A】本願の実施形態による別の一群のインタフェースの概略図である。

【図12B】本願の実施形態による別の一群のインタフェースの概略図である。

【図12C】本願の実施形態による別の一群のインタフェースの概略図である。

【0083】

【図13】本願の実施形態による別の一群のインタフェースの概略図である。

【0084】

【図14】本願の実施形態によるベッツのインタフェースの概略図である。

【0085】

【図15】本願の実施形態による別の一群のインタフェースの概略図である。

【0086】

【図16】本願の実施形態による別の電子装置の構造の概略図である。

【0087】

【図17】本願の実施形態による別のオーディオ処理方法のフローチャートである。

【0088】

【図18】本願の実施形態による電子装置内のモジュール間の相互作用関係の図である。

【0089】

【図19】本願の実施形態による別のオーディオ処理方法のフローチャートである。

【発明を実施するための形態】

【0090】

以下は、本願の実施形態における添付の図面を参照して、本発明の実施形態における技術的ソリューションを説明する。本願の実施形態の説明では、特に指定されない限り、「／」は「又は」を意味する。例えば、A／BはA又はBを表してよい。本明細書では、「及び／又は」は、関連付けられたオブジェクト間の関連付けのみ記述し、３つの関係が存在し得ることを表す。例えば、A及び／又はBは、以下の３つの場合を表してよい。Aのみが存在する、A及びBの両方が存在する、並びに、Bのみが存在する。更に、本願の実施形態の説明では、「複数の」は、２つ又は２より多くを意味する。

【0091】

以下の用語「第１」及び「第２」は、単に説明を意図しており、相対的な重要性の指示又は示唆、又は示される技術的特徴の量の暗示的示唆として理解されるべきではない。従って、「第１」又は「第２」により限定される特徴は、明示的又は暗示的に１つ以上の特徴を含んでよい。実施形態の説明では、特に断りの無い限り、「複数の」は、２つ又は２より多くを意味する。

【0092】

マルチチャネル記録モード（又は多視点ビデオ記録モードと呼ばれる）では、電子装置は、ビデオ記録処理の中で複数チャネルビデオ画像を記録してよく、つまり複数のチャネルのビデオ画像を記録してよい。

【0093】

本願の実施形態は、マルチチャネルビデオ記録モードにおけるオーディオ処理方法を提供する。電子装置は、複数のチャネルのビデオ画像、及び複数のチャネルのオーディオを、マルチチャネルビデオ記録モードで同時に記録できる。マルチチャネル記録ビデオを再生するとき（以下ではビデオ再生と略す）、電子装置は、異なるオーディオを再生してよい。その結果、マルチチャネルビデオ記録の間のユーザのオーディオ経験が向上できる。

【0094】

例えば、マルチチャネルビデオ記録モードでは、電子装置は、複数のチャネルのビデオ画像及び複数のチャネルの音声を、ズーム倍率のような特徴値を参照して記録してよい。電子装置により記録された複数のチャネルのオーディオは、パノラマオーディオ及び各表示領域に対応する少なくとも１つのチャネルのオーディオを含んでよい。パノラマオーディオは、電子装置の周囲の全方向のパノラマスコープの音声を記録する。電子装置のディスプレイ上の各チャネルのビデオは、１つの表示領域に対応し、各表示領域に対応する少なくとも１つのチャネルのオーディオは、表示領域に現在対応しているズーム倍率のような特徴値に基づき記録されてよい。その結果、各表示領域に対応するオーディオは、該表示領域内のビデオ画像に対応する。

【0095】

このように、ビデオ再生中、電子装置は、ユーザの指示に従い、ユーザに関心のあるオーディオを再生でき、ユーザに関心のある表示領域内に表示されるビデオ画像に対応するオーディオを再生する。これは、ユーザのオーディオ経験を向上する。

【0096】

しかしながら、既存のマルチチャネルビデオ記録モードでは、電子装置は、１チャネルのオーディオのみを記録し、１チャネルのオーディオしか再生できず、ビデオ再生中にオーディオを切り換えることができない。更に、オーディオコンテンツは、異なる表示領域内のビデオ画像に一致することができず、リアルタイムで、ユーザが注目するビデオ画像に一致することができず、結果として、ユーザの粗悪なオーディオ経験をもたらす。

【0097】

本願の実施形態で提供されるビデオ撮影方法は、電子装置に適用され得る。例えば、電子装置は、携帯電話機、タブレットコンピュータ、ウェアラブル装置、車載装置、拡張現実（augmented reality, AR）／仮想現実（virtual reality, VR）装置、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ（ultra-mobile personal computer, UMPC）、ノートブック、パーソナルデジタルアシスタント（personal digital assistant, PDA）、又は専用カメラ（例えば、一眼レフカメラ又はカードカメラ）であってよい。電子装置の特定のタイプは、本願の実施形態において限定されない。

【0098】

例えば、図１は、電子装置１００の構造の概略図である。電子装置１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（universal serial bus, USB）インタフェース１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、移動通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０A、受信機１７０B、マイクロフォン１７０C、ヘッドセットジャック１７０D、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、加入者識別モジュール（subscriber identification module, SIM）カードインタフェース１９５等を含んでよい。センサモジュール１８０は、圧力センサ１８０A、ジャイロスコープセンサ１８０B、気圧センサ１８０C、磁気センサ１８０D、加速度センサ１８０E、距離センサ１８０F、光学近接センサ１８０G、指紋センサ１８０H、温度センサ１８０J、タッチセンサ１８０K、周囲光センサ１８０L、骨伝導センサ１８０Mなどを含んでよい。

【0099】

プロセッサ１１０は、１つ以上の処理ユニットを含んでもよい。例えば、プロセッサ１１０は、アプリケーションプロセッサ（application processor, AP）、モデムプロセッサ、グラフィック処理ユニット（graphics processing unit, GPU）、画像信号プロセッサ（image signal processor, ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor, DSP）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（neural-network processing unit, NPU）を含んでもよい。異なる処理ユニットは、独立したコンポーネントであってもよく、又は１つ以上のプロセッサに統合されてもよい。

【0100】

コントローラは、電子装置１００の神経センタ及びコマンドセンタであってもよい。コントローラは、命令読み出し及び命令実行の完全な制御を行うために、命令演算コード及び時間シーケンス信号に基づいて演算制御信号を生成することができる。

【0101】

メモリは、更に、プロセッサ１１０内に配置されてもよく、命令及びデータを記憶するように構成される。幾つかの実施形態では、プロセッサ１１０内のメモリはキャッシュメモリである。メモリは、プロセッサ１１０によって直ぐに使用される又は周期的に使用される命令又はデータを記憶することができる。プロセッサ１１０が命令又はデータを再度使用する必要がある場合、プロセッサ１１０は、メモリから命令又はデータを直接呼び出すことができ、繰り返されるアクセスを回避する。これは、プロセッサ１１０の待ち時間を短縮し、システム効率を向上する。

【0102】

充電管理モジュール１４０は、充電器からの充電入力を受信するように構成される。充電器は、無線充電器又は有線充電器であってよい。

【0103】

電力管理モジュール１４１は、バッテリ１４２及び充電管理モジュール１４０をプロセッサ１１０に接続するように構成される。電力管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０から入力を受け取り、プロセッサ１１０、内部メモリ１２１、外部メモリ、ディスプレイ１９４、カメラ１９３、無線通信モジュール１６０などに電力を供給する。

【0104】

電子装置１００の無線通信機能は、アンテナ１、アンテナ２、移動通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサなどを用いて実現することができる。

【0105】

移動通信モジュール１５０は、２G/３G/４G/５G等を含む無線通信のための、及び電子装置１００に適用されるソリューションを提供してよい。移動通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（low noise amplifier, LNA）などを含むことができる。

【0106】

無線通信モジュール１６０は、無線ローカルエリアネットワーク（wireless local area networks, WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity, Wi-Fi）ネットワーク）、ブルートゥース（登録商標）（Bluetooth, BT）、グローバルナビゲーション衛星システム（global navigation satellite system, GNSS）、周波数変調（frequency modulation, FM）、近距離通信（near field communication, NFC）技術、赤外線（infrared, IR）技術などを含む、電子装置１００に適用される無線通信ソリューションを提供することができる。

【0107】

電子装置１００は、GPU、ディスプレイ１９４、アプリケーションプロセッサ等を用いることによりディスプレイ機能を実装する。GPUは、画像処理のためのマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続される。GPUは、算述的及び幾何学的計算を実行するよう構成され、グラフィックレンダリングのために使用される。プロセッサ１１０は、プログラム命令を実行してディスプレイ情報を生成し又は変更する１つ以上のGPUを含んでよい。

【0108】

ディスプレイ１９４は、画像、ビデオ、等を表示するよう構成される。ディスプレイ１９４は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ（liquid crystal display, LCD）、有機発光ダイオード（organic light-emitting diode, OLED）、アクティブマトリクス有機発光ダイオード（active-matrix organic light emitting diode, AMOLED）、フレックス発光ダイオード（flex light-emitting diode, FLED）、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード（quantum dot light emitting diodes, QLED）などであり得る。幾つかの実施形態では、電子装置１００は、１つ又はN個のディスプレイ１９４を含んでもよく、ここで、Nは、１を超える正の整数である。

【0109】

本願の実施形態では、ディスプレイ１９４は、マルチチャネルビデオ記録モードで、撮影プレビューインタフェース、ビデオ記録プレビューインタフェース、及び撮影インタフェースを表示してよく、ビデオ再生中にビデオ再生インタフェースを更に表示してよ、等である。

【0110】

電子装置１００は、ISP、カメラ１９３、ビデオコーデック、GPU、ディスプレイ１９４、アプリケーションプロセッサなどを用いて撮影機能を実現することができる。

【0111】

ISPは、カメラ１９３によってフィードバックされたデータを処理するように構成される。例えば、撮影中、シャッタが押され、光が、レンズを通じてカメラの感光素子へと送信される。カメラの感光素子は、光信号を電気信号に変換し、処理のために電気信号をISPへと送信する。ISPは、電気信号を、目に知覚可能な画像へと変換する。ISPは更に、画像のノイズ、輝度、及び顔色に関してアルゴリズム最適化を実行することができる。ISPは更に、撮影シナリオの露出及び色温度などのパラメータを最適化することができる。幾つかの実施形態において、ISPは、カメラ１９３に配置されてもよい。例えば、本願の実施形態では、ISPは、撮影パラメータに基づき、露出及び撮影を実行するよう感光素子を制御してよい。

【0112】

カメラ１９３は、静止画像又はビデオをキャプチャするように構成されている。被写体の光学画像は、レンズを通して生成され、感光体上に投影される。感光体は、電荷結合素子（charge coupled device, CCD）又は相補型金属-酸化物-半導体（complementary metal-oxide-semiconductor, CMOS）フォトトランジスタであってよい。感光素子は、光信号を電気信号に変換し、次に、電気信号をデジタル画像信号に変換するために、電気信号をISPに送信する。ISPは、デジタル画像信号を処理のためにDSPに出力する。DSPは、デジタル画像信号をRGBフォーマット、YUVフォーマット等の標準画像信号に変換する。

【0113】

幾つかの実施形態では、電子装置１００は、１つ又はN個のカメラ１９３を含んでもよく、ここで、Nは、１を超える正の整数である。カメラ１９３は、電子装置の端の領域に置かれてよく、オフスクリーンカメラであってよく、又はポップアップカメラであってよい。カメラ１９３は、背面カメラを含んでよく、前面カメラを更に含んでよい。カメラ１９３の特定の位置及び形式は、本願の実施形態で限定されない。電子装置１００は、複数の焦点長のカメラを含んでよい。例えば、異なる焦点長のカメラは、長焦点カメラ、広角カメラ、超広角カメラ、パノラマカメラ、等を含んでよい。

【0114】

本願の実施形態では、マルチチャネルビデオ記録モードで、異なるカメラは、異なるズーム倍率に対応するビデオ画像をキャプチャするよう構成されてよい。例えば、広角カメラ、超広角カメラ、又はパノラマカメラは、相対的に小さなズーム倍率に対応するビデオ画像をキャプチャしてよく、長焦点カメラは、相対的に大きなズーム倍率に対応するビデオ画像をキャプチャしてよい。

【0115】

デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理することができる。例えば、電子装置１００が周波数を選択すると、デジタル信号プロセッサは、周波数エネルギに対してフーリエ変換を実行するように構成される、等である。

【0116】

ビデオコーデックは、デジタルビデオを圧縮又は解凍するように構成される。電子装置１００は、１つ以上のビデオコーデックをサポートすることができる。従って、電子装置１００は、複数の符号化フォーマット、例えば、MPEG（moving picture experts group, MPEG）-１、MPEG-２、MPEG-３、及びMPEG-４でビデオを再生又は記録することができる。

【0117】

NPUは、ニューラルネットワーク（neural network, NN）計算プロセッサであり、例えば、ヒトの脳のニューロン間の伝達様式を参照することにより、生物学的ニューラルネットワークの構造を参照することにより入力情報を迅速に処理し、更に、自己学習を継続的に実行することができる。電子装置１００は、NPUを通じて、画像認識、顔認識、会話認識、及び文字の理解のような知的認知を実装してよい。

【0118】

外部メモリインタフェース１２０は、マイクロSDカードのような外部メモリカードに接続して、電子装置１００の記憶能力を拡張するように構成することができる。

【0119】

内部メモリ１２１は、コンピュータ実行可能プログラムコードを格納するように構成することができる。実行可能プログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に格納された命令を実行し、電子装置１００の様々な機能アプリケーション及びデータ処理を実施する。内部メモリ１２１は、プログラム記憶領域及びデータ記憶領域を含んでもよい。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能及び画像再生機能）により必要とされるアプリケーション、等を格納してよい。データ記憶領域は、電子装置１００を使用する処理において生成されたデータ（例えば、電子装置１００によりキャプチャされた画像、オーディオデータ、及び電話帳）、等を格納してよい。

【0120】

本願の実施形態では、プロセッサ１１０は、内部メモリ１２１に格納された命令を実行して、複数のチャネルのビデオ画像及び複数のチャネルのオーディオを、マルチチャネルビデオ記録モードで記録してよい。その結果、ビデオ再生中に、異なる表示領域内のビデオ画像に対応するオーディオが再生でき、再生されるオーディオはユーザが注目するビデオ画像に一致する。

【0121】

電子装置１００は、オーディオモジュール１７０、スピーカ１７０A、受信機１７０B、マイクロフォン１７０C、ヘッドセットジャック１７０D、アプリケーションプロセッサなどを使用して、音楽再生及び録音機能などのオーディオ機能を実行することができる。

【0122】

オーディオモジュール１７０は、出力のためにデジタルオーディオデータをアナログオーディオ電気信号に変換するよう構成され、アナログオーディオ電気信号入力をデジタルオーディオデータへと変換するよう更に構成される。オーディオモジュール１７０は、アナログ－デジタル変換器及びデジタル－アナログ変換器を含んでよい。例えば、オーディオモジュール１７０は、マイクロフォン１７０Cにより出力されたアナログオーディオ電気信号をデジタルオーディオデータに変換するよう構成される、。

【0123】

オーディオモジュール１７０は、オーディオ処理モジュールを更に含んでよい。オーディオ処理モジュールは、マルチチャネルビデオ記録モードでデジタルオーディオデータに対してオーディオ処理を実行して、複数のチャネルのオーディオを生成する用構成される。例えば、オーディオ処理モジュールは、表示領域に対応するズーム倍率のような特徴値に基づき、表示領域に対応するオーディオの音声ピックアップ範囲を決定し、音声ピックアップ範囲内の音声を強め、音声ピックアップ範囲外の音声を弱め、及びマルチ音声効果処理等を実行して、表示領域に対応するオーディオファイルを記録し及び生成する用構成されてよい。

【0124】

オーディオモジュール１７０は、オーディオデータをコーディング及び復号するよう更に構成されてよい。

【0125】

幾つかの実装では、オーディオモジュール１７０がプロセッサ１１０内に配置されるか、又はオーディオモジュール１７０の幾つかの機能モジュールがプロセッサ１１０内に配置される。

【0126】

スピーカ１７０Aは、「ホーン」とも呼ばれ、アナログオーディオ電気信号を音声信号に変換するよう構成される。電子装置１００は、音楽を聴くために、又はスピーカ１７０Aを用いてハンズフリー呼に応答するために使用されてよい。本願の実施形態では、マルチチャネル記録ビデオが再生されるとき、スピーカ１７０Aは、異なる表示領域内のビデオ画像に対応するオーディオを再生する用構成されてよい。

【0127】

受信機１７０Bは、「イアピース」とも呼ばれ、アナログオーディオ電気信号を音声信号に変換するよう構成される。電子装置１００が呼に応答する、又は音声情報を受信するとき、受信機１７０Bは、音声を聴くために人の耳の近くに置かれてよい。

【0128】

マイクロフォン１７０Cは、「マイク」又は「マイクロフォン」とも呼ばれ、音声信号をアナログオーディオ電気信号に変換するよう構成される。発呼する又は音声メッセージを送信するとき、ユーザは、マイクロフォン１７０Cの近くで音声を生成して、音声信号をマイクロフォン１７０Cに入力してよい。

【0129】

本願の本実施形態では、電子装置１００は、少なくとも３つのマイクロフォン１７０Cを含んでよい。電子装置１００は、全方向で音声信号をキャプチャし、キャプチャした音声信号をアナログオーディオ電気信号に変換する機能を実装してよく、ノイズ低減機能、音源識別機能、指向性記録機能、等を更に実装してよい。

【0130】

例えば、電子装置１００上のマイクロフォン１７０Cのレイアウトについては、図２を参照のこと。図２に示されるように、電子装置１００の前面cdhgは、ディスプレイ１９４が配置される平面である。マイクロフォンAは、電子装置１００の上部である平面adheに配置される。マイクロフォンBは、電子装置１００の底である平面bcgfに配置される。マイクロフォンCは、電子装置１００の背面である平面abfeに配置される。マイクロフォンA～Cの組合せは、電子装置１００の周囲の全方向の音声信号をキャプチャしてよい。電子装置１００は、より多くのマイクロフォンを更に含んでよく、例えば、スクリーンの前に配置されるマイクロフォンを更に含んでよい。

【0131】

留意すべきことに、マイクロフォン１７０Cは、電子装置１００の内蔵コンポーネントであってよく、又は電子装置１００の外部付属品であってよい。

【0132】

幾つかの実施形態では、マイクロフォン１７０Cは、指向性マイクロフォンであってよく、特定方向の音声信号をキャプチャしてよい。

【0133】

距離センサ１８０Fは、距離を測定するように構成される。電子装置１００は、距離を赤外線又はレーザ方式で測定してよい。幾つかの実施形態では、撮影シナリオにおいて、電子装置１００は、迅速な焦点合わせを実現するために、距離センサ１８０Fを使用し距離を測定してよい。

【0134】

指紋センサ１８０Hは、指紋を収集するように構成される。電子装置１００は、収集された指紋の特徴を使用して、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの撮影、指紋ベースの呼応答などを実行することができる。

【0135】

タッチセンサ１８０Kは、「タッチパネル」とも呼ばれる。タッチセンサ１８０Kは、ディスプレイ１９４上に配置されてもよく、タッチセンサ１８０K及びディスプレイ１９４は、「タッチスクリーン」とも呼ばれるタッチスクリーンを構成する。タッチセンサ１８０Kは、タッチセンサ１８０K上又はその近傍で実行されるタッチ操作を検出するように構成される。タッチセンサは、検出されたタッチ操作をアプリケーションプロセッサに転送して、タッチイベントのタイプを決定してよい。ディスプレイ１９４は、タッチ操作に関連する視覚出力を提供することができる。幾つかの他の実施形態では、タッチセンサ１８０Kは、代替として、ディスプレイ１９４の表面とは異なる位置に電子装置１００の表面上に配置されてもよい。

【0136】

例えば、本願の実施形態では、電子装置１００は、タッチセンサ１８０Kを用いて、ビデオ記録を開始及び／又は停止することを指示するためにユーザにより実行された操作を検出してよい。

【0137】

本願の実施形態で示された構造は、電子装置１００に対する特定の制限を構成しないことが理解され得る。本願の幾つかの他の実施形態では、電子装置１００は、図示のものより多くの又はより少ないコンポーネントを含んでよく、又は幾つかのコンポーネントは結合されてよく、又は幾つかのコンポーネントは分離されてよく、又は異なるコンポーネント配置が使用されてよい。図中のコンポーネントは、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組合せにより実装されてよい。

【0138】

本願の実施形態では、マルチチャネルビデオ記録モードで、ディスプレイ１９４は、ビデオ記録中に、撮影プレビューインタフェース、ビデオ記録プレビューインタフェース、及び撮影インタフェースを表示してよい。カメラ１９３は、複数のチャネルのビデオ画像をキャプチャするよう構成されてよい。複数のマイクロフォン１７０Cは、音声信号をキャプチャし、アナログオーディオ電気信号を生成するよう構成されてよい。オーディオモジュール１７０は、アナログオーディオ電気信号をデジタルオーディオデータに変換し、デジタルオーディオデータに基づき複数のチャネルのオーディオを生成してよい。ビデオ再生中、ディスプレイ１９４は、ビデオ再生インタフェースを表示してよい。プロセッサ１１０は、内部メモリ１２１に格納された命令を実行して、ユーザの選択に基づき、ユーザが注目する表示領域内のビデオ画像に対応するオーディオを再生するようスピーカ１７０Aを制御してよい。従って、マルチチャネルビデオ記録の間のユーザのオーディオ経験を向上する。

【0139】

以下は、電子装置が図１に示す構造を有する携帯電話機である例を用いて、本願の実施形態で提供されるオーディオ処理方法を記載する。図３を参照する。方法は、以下のステップを含んでよい。

【0140】

３０１：携帯電話機は、カメラアプリケーションを開くためにユーザにより実行された操作を検出した後に、撮影プレビューインタフェースを表示する。

【0141】

カメラアプリケーションを開くためのユーザにより実行された操作を検出した後に、携帯電話機は、カメラアプリケーション（以下では略してカメラとも呼ばれることがある）を開始し、撮影プレビューインタフェースを表示してよい。カメラを開くためにユーザにより実行される複数の種類の操作が存在してよい。例えば、ユーザが図４（ａ）に示されるカメラアイコン４０１をタップしたことを検出した後に、携帯電話機は、カメラアプリケーションを開始し、図４（ｂ）に示される撮影プレビューインタフェースを表示してよい。

【0142】

別の例では、カメラを開くためにユーザにより実行された音声指示操作を検出した後に、携帯電話機は、カメラアプリケーションを開始し、図４（ｂ）に示される撮影プレビューインタフェースを表示してよい。

【0143】

３０２：携帯電話機は、マルチチャネルビデオ記録モードに入り、ビデオ記録プレビューインタフェースを表示する。ビデオ記録プレビューインタフェースは、少なくとも２つの表示領域を含み、各表示領域は１チャネルのプレビュー画像を表示するために使用される。

【0144】

携帯電話機は、複数の方法で、マルチチャネルビデオ記録モードに入ってよい。例えば、幾つかの実装では、カメラアプリケーションを開始した後に、携帯電話機は、デフォルトで非マルチチャネルビデオ記録モード、例えば撮影モード又はビデオ記録モード（つまり、単一チャネルビデオ記録モード）に入る。携帯電話機は、マルチチャネルビデオ記録モードに入ることを指示するためにユーザにより実行されたプリセット操作１を検出した後に、マルチチャネルビデオ記録モードに入る。例えば、プリセット操作１は、図４（ｂ）に示される制御４０２に対してユーザにより実行されるタップ操作であってよい。例えば、マルチチャネルビデオ記録モードで、携帯電話機により表示されるビデオ記録プレビューインタフェースについては、図４（ｃ）を参照のこと。

【0145】

幾つかの他の実装では、撮影モード又はビデオ記録モード（つまり、単一チャネルビデオ記録モード）のような非マルチチャネルビデオ記録モードでは、携帯電話機は、ユーザによりタッチスクリーン上でプリセットトラック１（例えば、トラック「M」）を描く操作を検出した後に、マルチチャネルビデオ記録モードに入る。

【0146】

幾つかの他の実装では、ビデオ記録モード（つまり、単一チャネルビデオ記録モード）で、携帯電話機は、ビデオ記録プレビューインタフェース上で、マルチチャネルビデオ記録モードに入るかどうか、ユーザにプロンプト表示してよい。携帯電話機は、ユーザの指示に従い、マルチチャネルビデオ記録モードに入ってよい。

【0147】

幾つかの他の実装では、カメラアプリケーションを開始した後に、携帯電話機は、デフォルトでマルチチャネルビデオ記録モードに入る。

【0148】

幾つかの他の実施形態では、携帯電話機は、ステップ３０１を実行せずに、ステップ３０２を直接実行して、マルチチャネルビデオ記録モードに入ってよい。例えば、スクリーンがオンであり、ホーム画面が表示されているとき、又はスクリーンがオフであり、携帯電話機がユーザによるタッチスクリーン上でプリセットトラック（例えば、トラック「CM」）を描く操作を検出した場合、携帯電話機は、カメラアプリケーションを開始し、マルチチャネルビデオ記録モードに直接入る。

【0149】

幾つかの実施形態では、携帯電話機がマルチチャネルビデオ記録モードに入った後に、ビデオ記録プレビューインタフェースに含まれる表示領域の数はプリセット数、携帯電話機がマルチチャネルビデオ記録モードに入る前に携帯電話機の設定インタフェースを用いてユーザによりプリセットされた数、又はマルチチャネルビデオ記録モードが最後に使用されたときに含まれた表示領域の数、であってよい。ビデオ記録プレビューインタフェース内の各表示領域は、１チャネルのプレビュー画像を表示するために使用される。次に、携帯電話機は、ユーザの指示に従い、表示領域の数を更に調整して、つまりプレビュー画像のチャネルの数を調整してよい。

【0150】

例えば、携帯電話機がマルチチャネルビデオ記録モードに入った後に、図５（ａ）及び図５（ｂ）に示すように、ビデオ記録プレビューインタフェースは、２つの表示領域及び２チャネルのプレビュー画像、つまり表示領域５０１と表示領域５０１内のプレビュー画像、及び表示領域５０２と表示領域５０２内のプレビュー画像、を含んでよい。携帯電話機が３チャネルの画像を選択するためにユーザにより実行された操作を検出した後に、図５（ｃ）に示すように、携帯電話機は、３つの表示領域及び３つのプレビュー画像、つまり、表示領域５０３と表示領域５０３内のプレビュー画像、表示領域５０４と表示領域５０４内のプレビュー画像、及び表示領域５０５と表示領域５０５内のプレビュー画像、を表示する。

【0151】

別の例では、携帯電話機がマルチチャネルビデオ記録モードに入った後に、図４（ｃ）に示すように、ビデオ記録プレビューインタフェースは、２つの表示領域及び２チャネルのプレビュー画像を含んでよい。ユーザが図４（ｃ）に示される制御４０３をタップしたことを検出した後に、携帯電話機は、撮影設定インタフェースを表示してよい。撮影設定インタフェース上のユーザにより実行される操作に応答して、携帯電話機は、表示領域の数を設定するために使用される図５（ａ）、図５（ｂ）、等に示されるインタフェースを表示する。

【0152】

幾つかの他の実施形態では、マルチチャネルビデオ記録モードに入った後に、携帯電話機は、表示領域の数を設定するようユーザにプロンプト表示するために使用されるインタフェースを表示する。携帯電話機は、ユーザの指示に従い、表示領域の数を設定してよい。

【0153】

幾つかの他の実施形態では、携帯電話機がマルチチャネルビデオ記録モードに入った後に、ビデオ記録プレビューインタフェースは、表示領域の数を設定するために使用される制御を含んでよい。ユーザが制御をタップするのを検出した後に、携帯電話機は、表示領域の数を設定するために使用されるインタフェースを表示してよい。携帯電話機は、ユーザの指示に従い、表示領域の数を設定してよい。

【0154】

マルチチャネルビデオ記録モードに入った後に、ビデオ記録プレビューインタフェース内の各表示領域に対応するズーム倍率は、プリセットズーム倍率、マルチチャネルビデオ記録モードで最後に使用されたズーム倍率、ユーザにより予め指示されたズーム倍率、等であってよい。更に、各表示領域に対応するズーム倍率は、ユーザの指示に従い更に変更されてよい。表示領域内のビデオ画像の範囲及びサイズは、ズーム倍率と共に変化する。

【0155】

更に、各表示領域内のプレビュー画像は、前面カメラによりキャプチャされた画像と背面カメラによりキャプチャされた画像との間で切り換えられてよい。例えば、図６（ａ）に示されるビデオ記録プレビューインタフェースは、表示領域６０１及び表示領域６０２を含み、表示領域６０１及び表示領域６０２の各々中のプレビュー画像は、背面カメラによりキャプチャされた画像である。表示領域６０１は、前面／背面カメラ切り換えを実行するために使用される前面／背面切り換え制御６０３を更に含み、前面／背面カメラによりキャプチャされたプレビュー画像は表示領域６０１に表示される。表示領域６０２も、前面／背面カメラ切り換えを実行するために使用される前面／背面切り換え制御６０４を更に含み、前面／背面カメラによりキャプチャされたプレビュー画像は表示領域６０２に表示される。例えば、制御６０４に対してユーザにより実行されたタップ操作を検出した後に、携帯電話機は、背面カメラを前面カメラに切り換えてよい。従って、表示領域６０２に表示されるプレビュー画像は、図６（ａ）に示される背面カメラによりキャプチャされたプレビュー画像から、図６（ｂ）に示される前面カメラによりキャプチャされたプレビュー画像へと切り換えられる。

【0156】

３０３：携帯電話機は、撮影することを指示するためにユーザにより実行される操作を検出した後に、撮影インタフェースを表示する。撮影インタフェースは少なくとも２つの表示領域を含み、各表示領域は１チャネルのビデオ画像を表示するために使用される。

【0157】

例えば、撮影することを指示するためにユーザにより実行される操作は、図６（ａ）に示される撮影制御６００に対してユーザにより実行されるタップ操作、ユーザの音声指示操作、又は別の操作であってよい。これは、本願の本実施形態において限定されない。携帯電話機は、撮影することを指示するためにユーザにより実行される操作を検出した後に、複数のチャネルのビデオ画像をキャプチャし、対応する撮影インタフェースを表示する。撮影インタフェースは少なくとも２つの表示領域を含み、各表示領域は１チャネルのビデオ画像を表示するために使用される。

【0158】

撮影インタフェース内の表示領域及び複数のチャネルのビデオ画像の複数のレイアウトフォーマット、例えば、左／右切り換えフォーマット、左／中／右切り換えフォーマット、上／下切り換えフォーマット、上／中／下切り換えフォーマット、又はピクチャインピクチャフォーマット、が存在してよい。

【0159】

例えば、撮影インタフェースの概略図については、図６（ｃ）を参照のこと。撮影インタフェースは、第１表示領域６０１及び第２表示領域６０２を含み、第１表示領域６０１及び第２表示領域６０２は各々、背面カメラによりキャプチャされたビデオ画像を表示する。第１表示領域６０１は、広角カメラにより撮影された相対的に広い撮影範囲の画像を表示し、少年、少女、おもちゃの車、及び子犬のようなオブジェクトを含む。第２表示領域６０２は、別のカメラにより撮影された少女の近接画像を表示する。図６（ｃ）に示すように、撮影インタフェースは、現在ビデオ記録時間を示すために使用されるインジケータを更に含んでよい。

【0160】

例えば、第１表示領域６０１及び第２表示領域６０２は、各々、異なるカメラにより撮影されたビデオ画像を表示してよい。例えば、第１表示領域６０１は、背面広角カメラにより撮影されたビデオ画像を表示し、第２表示領域６０２は、背面長焦点カメラにより撮影されたビデオ画像を表示する。代替として、第１表示領域６０１は、背面広角カメラにより撮影されたビデオ画像を表示し、第２表示領域６０２は、前面カメラにより撮影されたビデオ画像を表示する。

【0161】

３０４：携帯電話機は、複数のチャネルのビデオ画像を記録する。

【0162】

撮影することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、複数のチャネルのビデオ画像を同時に記録し、複数のチャネルのキャプチャされたビデオ画像に対してビデオコーディングのような処理を実行して、ビデオファイルを生成し格納してよい。

【0163】

幾つかの実施形態では、複数のチャネルの同時記録されたビデオ画像は、１つのビデオファイルとして保存される。幾つかの他の実施形態では、各チャネルのビデオ画像は、別個のビデオファイルとして保存される。このように、後のビデオ再生中に、携帯電話機は、１チャネルのビデオ画像を独立して再生してよい。

【0164】

３０５：撮影することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、複数のチャネルのビデオ画像を記録しながら、複数のチャネルのオーディオを更に記録する。複数のチャネルのオーディオは、パノラマオーディオと、各表示領域に対応する少なくとも１チャネルのオーディオと、を含む。

【0165】

１チャネルのオーディオは、１つ以上の音声チャネルのオーディオを含んでよい。例えば、１チャネルのオーディオは、左チャネルオーディオであってよく、又は右チャネルオーディオであってよく、又は左チャネルオーディオ及び右チャネルオーディオを含んでよく、又は左チャネルオーディオ及び右チャネルオーディオがミキシングされた後に取得されるステレオオーディオであってよい。

【0166】

言い換えると、撮影することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、複数のチャネルのビデオ画像を記録しながら、複数の音声チャネルのオーディオを更に記録する。複数の音声チャネルのオーディオは、パノラマオーディオと、各表示領域に対応する少なくとも１つの音声チャネルのオーディオと、を含む。

【0167】

図７を参照する。ステップ３０５は、以下のステップを含んでよい。

【0168】

７０１：携帯電話機は、パノラマ音声信号をキャプチャし、キャプチャしたパノラマ音声信号に基づき初期音声データを生成する。

【0169】

携帯電話機は、複数のマイクロフォン（例えば、図２に示す３個のマイクロフォン）を使用して、周囲の全方向の音声信号をキャプチャし、つまりパノラマ音声信号をキャプチャしてよい。携帯電話機は、複数のマイクロフォンによりキャプチャしたパノラマ音声信号を、初期オーディオデータに変換する。初期オーディオデータは、全方向の音声信号を含む。

【0170】

次に、携帯電話機は、初期オーディオデータに基づき、パノラマオーディオ及び各表示領域に対応する少なくとも１チャネルのオーディオを記録してよい。以下は、異なるオーディオの記録処理を記載する：

【0171】

（１）パノラマオーディオ：

【0172】

初期オーディオデータは、全方向の音声情報を含む。携帯電話機は、初期オーディオデータ内のマイクロフォンのオーディオデータに融合処理を実行して、記録することによりパノラマオーディオを取得する。パノラマオーディオは、周囲の全方向の音声を含む。図７に示すように、ステップ３０５は以下のステップを更に含んでよい：

【0173】

７０２：携帯電話機は、初期オーディオデータに基づきパノラマオーディオを記録する。

【0174】

３個のマイクロフォンの音声ピックアップ範囲は、重なり合ってよい。同じ方向では、マイクロフォンによりキャプチャされる音声信号の音質は比較的良好であってよく（例えば、音声信号は高い信号対雑音比、少ないスパイクノイズ、少ないグリッチノイズを有する）、別のマイクロフォンによりキャプチャされた音声信号の音質は比較的粗悪であってよい。従って、携帯電話機は、初期オーディオデータから、融合処理のために全方向の中の比較的良好な音質を有するオーディオデータを選択し、処理済みオーディオデータに基づき、比較的良好な効果を有するパノラマオーディオを更に記録し生成してよい。

【0175】

以下は、説明のために撮影インタフェースが第１表示領域及び第２表示領域を含む例を使用する。撮影インタフェースは、２つより多くの表示領域を含んでもよいことが理解され得る。

【0176】

幾つかの他の実施形態では、複数の表示領域に対応する複数のチャネルのオーディオを記録するとき、携帯電話機は、各表示領域にオーディオ記録プロンプト情報を表示して、各表示領域に対応するオーディオが現在記録されていることをユーザにプロンプト表示してよい。例えば、オーディオ記録プロンプト情報は、図８に示されるマイクロフォンマーク８０１及び８０２であってよい。

【0177】

（２）第１表示領域に対応する少なくとも１チャネルのオーディオ：

【0178】

以下は、第１表示領域に対応する少なくとも１チャネルのオーディオを記録することを説明のための例として使用する。第２表示領域に対応する少なくとも１チャネルのオーディオを記録する処理はこれと同様である。

【0179】

本願の本実施形態では、携帯電話機は、第１表示領域に対応する第１特徴値を取得し、第１特徴値及び初期オーディオデータに基づき、第１表示領域に対応する少なくとも１チャネルのオーディオを生成してよい。従って、図７に示すように、ステップ３０５は以下のステップを更に含んでよい：

【0180】

７０３：携帯電話機は、第１表示領域に対応する第１特徴値を取得する。

【0181】

７０４：携帯電話機は、第１特徴値に基づき、第１表示領域に対応する第１音声ピックアップ範囲を決定する。

【0182】

例えば、第１表示領域に対応する第１特徴値は、第１表示領域に対応するビデオ画像の前面／背面属性パラメータを含んでよい。前面／背面属性パラメータは、第１表示領域内に表示されるビデオ画像が前面カメラにより撮影されたビデオ画像（これは、説明を容易にするために、本明細書では前面ビデオ画像とも呼ばれる）又は背面カメラにより撮影されたビデオ画像（これは、説明を容易にするために、本明細書では背面ビデオ画像とも呼ばれる）であることを示すために使用される。前面／背面属性パラメータは、第１音声ピックアップ範囲が携帯電話機の背面の１８０度の範囲内であるか、又は携帯電話機の前面の１８０度の範囲内であるかを決定するために使用されてよい。例えば、背面ビデオ画像に対応する音声ピックアップ範囲については、図９の楕円９０１により表される範囲を参照のこと。前面ビデオ画像に対応する音声ピックアップ範囲については、図９の楕円９０２により表される範囲を参照のこと。

【0183】

別の例では、第１表示領域に対応する第１特徴値は、第１表示領域に現在対応するズーム倍率を更に含んでよい。撮影範囲は、ズーム倍率と共に変化し、撮影インタフェース上に表示される画像範囲は、ズーム倍率と共に変化する。更に、異なるズーム倍率は、ユーザが注目する異なる画像範囲、及びユーザが注目する異なる音声ピックアップ範囲をもたらす。ユーザが注目する音声ピックアップ範囲は、通常、ユーザが注目する画像範囲の中の音声である。例えば、他のパラメータが同じであるとき、ズーム倍率は、元のズーム倍率の２倍にまで増大し、音声ピックアップ範囲は元の音声ピックアップ範囲の１／３にまで減少されてよい。ズーム倍率が元のズーム倍率の３倍にまで増大した場合、音声ピックアップ範囲は元の音声ピックアップ範囲の１／６にまで減少されてよい。従って、携帯電話機は、第１表示領域に対応するズーム倍率に基づき、第１音声ピックアップ範囲を決定してよい。

【0184】

例えば、第１表示領域では、ズーム倍率N（つまり、Nxズーム）に対応する音声ピックアップ範囲については、図９の楕円９０３により表される範囲を参照のこと。ズーム倍率X（つまり、Xxズーム）に対応する音声ピックアップ範囲については、図９の楕円９０４により表される範囲を参照のこと。NはXより小さい。

【0185】

別の例では、ズーム倍率N（つまり、Nxズーム）に対応する音声ピックアップ範囲については、図１０を参照のこと。音声ピックアップ範囲は、パノラマオーディオの音声ピックアップ範囲の部分である。

【0186】

言い換えると、携帯電話機は、第１表示領域に対応する前面／背面属性パラメータ及びズーム倍率に基づき、第１表示領域に対応する第１音声ピックアップ範囲を決定してよい。例えば、第１表示領域に対応する前面／背面属性パラメータが背面カメラを示し、ズーム倍率がNである場合、第１表示領域に対応する第１音声ピックアップ範囲については、図９の楕円９０３により表される範囲を参照のこと。

【0187】

別の例では、第１表示領域に対応する第１特徴値は、第１表示領域内のビデオ画像をキャプチャするよう構成される第１カメラの位置を更に含んでよい。位置は、携帯電話機上の第１カメラの座標を示すために使用される。例えば、位置は、携帯電話機の左上角に対する第１カメラの位置、携帯電話機のフレームに対する第１カメラの距離、等であってよい。第１カメラの異なる位置は、同じズーム倍率に対応する異なる撮影範囲、撮影インタフェースに表示される異なる画像範囲、及び画像範囲に対応する異なる音声ピックアップ範囲を示す。１つ以上の第１カメラが存在してよい。これは、本願の本実施形態において限定されない。

【0188】

別の例では、第１表示領域に対応する第１特徴値は、第１表示領域内のビデオ画像をキャプチャするよう構成される第１カメラのタイプを更に含んでよく、異なるタイプの第１カメラは異なる焦点長範囲に対応する。例えば、タイプは、広角カメラタイプ、長焦点カメラタイプ、及び超広角カメラタイプを含む。第１カメラの異なるタイプは、同じズーム倍率及び同じカメラ位置に対応する異なる撮影範囲、撮影インタフェースに表示される異なる画像範囲、及び画像範囲に対応する異なる音声ピックアップ範囲を示してよい。

【0189】

このように、携帯電話機は、前面／背面属性パラメータのような第１表示領域に対応する第１特徴値、ズーム倍率、及び第１カメラの位置及び／又はタイプに基づき、第１表示領域に対応する第１音声ピックアップ範囲を決定してよい。

【0190】

７０５：携帯電話機は、第１音声ピックアップ範囲及び初期オーディオデータに基づき、第１表示領域に対応する少なくとも１チャネルのオーディオを記録する。

【0191】

第１表示領域に対応する第１音声ピックアップ範囲を決定した後に、携帯電話機は、初期オーディオデータの中の第１音声ピックアップ範囲内の音声を強め、第１音声ピックアップ範囲の外側の音声を抑制し（又は弱め）、次に処理済みオーディオデータを記録して、第１表示領域に対応するチャネルの音声を取得してよい。

【0192】

このように、記録される第１表示領域に対応する音声は、第１音声ピックアップ範囲内の音声であり、第１音声ピックアップ範囲は、第１表示領域に対応するズーム倍率のような第１特徴値に基づき決定された音声ピックアップ範囲である。従って、第１音声ピックアップ範囲は、ユーザが注目する、第１表示領域内のユーザにより指示されたズーム倍率に対応する画像範囲に一致することができる。言い換えると、第１表示領域に対応するオーディオは、第１表示領域内のユーザが注目するビデオ画像と一致する。

【0193】

幾つかの実施形態では、第１表示領域の、携帯電話機により第１特徴値に基づき決定された第１音声ピックアップ範囲と、第１表示領域内に表示された画像範囲との間に誤差が存在することがある。従って、携帯電話機は、第１音声ピックアップ範囲の近くの１つ以上の第１基準音声ピックアップ範囲を決定してよい。例えば、第１音声ピックアップ範囲は、０度～６０度の角度範囲であり、第１基準音声ピックアップ範囲は、第１音声ピックアップ範囲の近くの３５０度～５０度の角度範囲、５度～６５度の角度範囲、５度～７０度の角度範囲、等であってよい。更に、携帯電話機は、初期オーディオデータを処理して、第１基準音声ピックアップ範囲内の音声を強め、第１基準音声ピックアップ範囲の外側の音声を抑制し、処理済みオーディオデータを更に記録して、第１表示領域に対応する１つ以上のチャネルのオーディオを取得してよい。

【0194】

このように、携帯電話機は、第１音声ピックアップ範囲及び第１基準音声ピックアップ範囲に基づき記録することにより、第１表示領域の第１特徴値に一致する複数のチャネルのオーディオ及び第１表示領域内のビデオ画像を取得してよい。その結果、ユーザは連続して、複数のチャネルのオーディオを再生することを選択する。第１表示領域に対応する各チャネルのオーディオデータは、１つのオーディオファイルとして保存されてよく、第１表示領域は複数のオーディオファイルに対応してよい。

【0195】

携帯電話機が第１音声ピックアップ範囲及び第１基準音声ピックアップ範囲に基づき、第１表示領域に対応する複数のチャネルのオーディオを記録するとき、複数のチャネルのオーディオは、異なる音声ピックアップ範囲の中のより多くのチャネルのオーディオをユーザに提供する。ユーザが注目する第１表示領域内のビデオ画像に正確に一致する可能性が大きくなり、ユーザによるオーディオ再生の選択性も大きくなる。

【0196】

本願の本実施形態では、マルチチャネルビデオ記録処理では、ユーザがビデオ記録プレビューインタフェースにおいてズーム倍率を調整する方法と同様に、図１１A（１）～図１１A（３）に示すように、撮影インタフェース内の各表示領域に対応するズーム倍率は、ユーザの指示に従い変更されてよい。つまり、第１特徴値の中のズーム倍率は、リアルタイムで変更されてよい。携帯電話機は、第１特徴値の中の現在リアルタイムズーム倍率に基づき、第１表示領域に対応する第１音声ピックアップ範囲を決定してよい。

【0197】

図１１A（１）に示すケースでは、第１表示領域は、ズーム倍率を増大するために使用されるズーム調整制御１１０１及びズーム倍率を減少するために使用されるズーム調整制御１１０２を含む。ユーザは、これらの制御をタップして、第１表示領域に対応するズーム倍率を調整してよい。同様に、第２表示領域も、ズーム倍率を増大する及び減少するために使用されるズーム調整制御を含んでよい。

【0198】

図１１A（２）に示すケースでは、第１表示領域及び第２表示領域は、各々、ズーム調整制御１１３０及びズーム調整制御１１０４を含み、ユーザは、ズーム調整制御をドラッグして、ズーム倍率を調整してよい。

【0199】

図１１A（３）に示すケースでは、ユーザは、指でピンチングするような操作を実行することにより、第１表示領域及び第２表示領域内のズーム倍率を調整してよい。

【0200】

例えば、ソリューション１では、各表示領域及び各チャネルのビデオ画像は、全部の焦点長を有する前面及び背面カメラのセットに対応する。例えば、全部の焦点長を有するカメラは、広角カメラ及び長焦点カメラ（超広角カメラが更に含まれてよい）、焦点長範囲を含み、広角カメラに対応する焦点長範囲は[P,Q]であり、長焦点カメラに対応する焦点長範囲は[R,S]である。SはQより大きく、RはQ以下である。言い換えると、異なる焦点長のカメラの焦点長範囲は重なり合ってよい。[P,S]は全焦点長範囲と呼ばれてよい。

【表1】

【0201】

ソリューション１では、各表示領域内のズーム倍率は、全焦点長範囲[P,S]の範囲内で変化されてよい。異なる表示領域に対応する全焦点長範囲[P,S]は、同じ又は異なってよい。各表示領域について、携帯電話機は、表示領域に対応するカメラを切り換えてよく、ズーム倍率に対するユーザの要件を満たす。

【0202】

第１表示領域の例では、背面カメラのシナリオで、ズーム倍率が[P,Q]内の倍率から[Q,S]内の倍率へと切り換えられると、第１カメラは、背面広角カメラ（つまり、カメラ１）から背面長焦点カメラ（つまり、カメラ２）へと切り換えられてよい。[R,S]内のズーム倍率が[P,R]内のズーム倍率へと切り換えられると、第１カメラは、背面長焦点カメラ（つまり、カメラ２）から背面広角カメラ（つまり、カメラ１）へと切り換えられてよい。前面カメラのシナリオにおけるズーム処理は、背面カメラのシナリオにおけるものと同様であり、第２表示領域内のズーム処理は第１表示領域内のものと同様である。詳細はここに説明されない。

【0203】

例えば、図１１A（１）に示すシナリオでは、左側の第１表示領域のために使用される第１カメラは、背面広角カメラであり、携帯電話機がズーム倍率を増大するためにユーザにより実行された操作を検出した後、増大したズーム倍率が背面広角カメラの焦点長範囲を超えた後に、第１カメラは背面長焦点カメラに切り換えられる。図１１B（１）に示すように、第１表示領域内の画像範囲は縮小され、第１表示領域内のビデオ画像は表示のために拡大される。更に、図１１A（１）に示すシナリオでは、右側の第２表示領域のために使用される第２カメラは、背面長焦点カメラであり、携帯電話機がズーム倍率を減少するためにユーザにより実行された操作を検出した後、減少したズーム倍率が背面長焦点カメラの焦点長範囲を超えた後に、第２カメラは背面広角カメラに切り換えられる。図１１B（１）に示すように、第２表示領域内の画像範囲は増大され、第２表示領域内のビデオ画像は表示のために縮小される。

【0204】

ソリューション２：携帯電話機は、複数のカメラを含み、全部の表示領域が複数のカメラをする。例えば、ユーザにより示された第１表示領域内のズーム倍率がある方向で変更され、別のカメラが使用される必要があるとき、別のカメラが第２表示領域により占有されている場合、第１表示領域は別のカメラを使用できない。第１表示領域内のズーム倍率は、この方向で連続的に変更できない。

【0205】

例えば、表２に示すように、第１表示領域及び第２表示領域は、カメラ１～カメラ４を共有してよい。

【表2】

【0206】

ソリューション３：各表示領域は、少なくとも１つのカメラに対応し、表示領域内のズーム倍率は、対応するカメラの焦点長範囲内で変更されてよい。例えば、ユーザにより指示された第１表示領域内のズーム倍率がある方向で変更され、別の表示領域に対応するカメラが使用される必要があるとき、第１表示領域は、別の表示領域に対応するカメラを使用できず、第１表示領域内のズーム倍率はその方向で連続的に変更できない。

【0207】

例えば、表３に示すように、第１表示領域はカメラ１及びカメラ３に対応し、第２表示領域は、カメラ２及びカメラ４に対応する。

【表3】

【0208】

ソリューション２及びソリューション３では、同じ表示領域内のズーム倍率は、全焦点長範囲の範囲内で連続的に変更できない。携帯電話機は、複数の表示領域の連係を通じて、全焦点長範囲の中でズーム倍率を連続的に変更できる。例えば、表示領域内のユーザにより指示されたズーム倍率が表示領域のために使用可能なカメラの焦点長範囲を超えると、携帯電話機は、ズームし続けるために別の表示領域へと切り換えるようユーザにプロンプト表示してよい。

【0209】

例えば、図１１B（２）に示すシナリオでは、左側の第１表示領域のために使用される第１カメラは、背面広角カメラであり、右側の第２表示領域のために使用される第２カメラは背面長焦点カメラである。背面広角カメラの焦点長範囲は[０,４]であり、背面長焦点カメラの焦点長は[２,１０]である。第１表示領域の現在ズーム倍率は４である。第１表示領域内のズーム倍率を増大するためにユーザにより実行された操作を検出した後に、携帯電話機は、増大したズーム倍率が広角カメラの焦点長範囲を超えると決定する。このケースでは、図１１B（２）を参照する。携帯電話機は、ユーザにプロンプト表示してよい。ズーム倍率が左領域の焦点長範囲を超えました。右領域でズームを続けますか？代替として、携帯電話機は、ユーザにプロンプト表示してよい。ズーム倍率が左領域の焦点長範囲を超えました。右領域でズーム調整制御に対するズーム操作を実行しますか？携帯電話機が「OK」制御１１０５に対するユーザにより実行されたタップ操作を検出した後に、図１１B（３）に示すように、右側の第２表示領域内のズーム倍率は、自動的に４（又は４より大きい値）に変更され、ズーム倍率に対応するビデオ画像が第２表示領域内に表示される。携帯電話機が「取消」制御に対するユーザにより実行された タップ操作を検出した後に、左側の１表示領域内のズーム倍率は４であり、右側の第２表示領域内のズーム倍率は元の値のままである。このように、携帯電話機は、マルチチャネルビデオ記録処理において、背面カメラによるビデオ記録のために連続的ズームを実施できる。

【0210】

別の例では、左側の第１表示領域のために使用される第１カメラは前面広角カメラであり、右側の第２表示領域のために使用される第２カメラは前面長焦点カメラである。前面広角カメラの焦点長範囲は[０,４]であり、前面長焦点カメラの焦点長は[２,１０]である。第２表示領域の現在ズーム倍率は２である。第２表示領域内のズーム倍率を減少するためにユーザにより実行された操作を検出した後に、携帯電話機は、減少したズーム倍率が長焦点カメラの焦点長範囲を超えると決定する。このケースでは、携帯電話機は、ユーザにプロンプト表示してよい。ズーム倍率が右領域の焦点長範囲を超えました。左領域でズームを続ける。更に、左側の第２表示領域内のズーム倍率は、２又は２より小さい値に自動的に変更される。このように、携帯電話機は、マルチチャネルビデオ記録処理において、前面カメラによるビデオ記録のために連続的ズームを実施できる。

【0211】

別の例では、撮影インタフェースにおいて、左側の第１表示領域のために使用される第１カメラは背面広角カメラであり、右側の第２表示領域のために使用される第２カメラは前面長焦点カメラである。平面広角カメラの焦点長範囲は[０,４]であり、前面長焦点カメラの焦点長は[２,１０]である。第１表示領域の現在ズーム倍率は４である。第１表示領域内のズーム倍率を増大するためにユーザにより実行された操作を検出した後に、携帯電話機は、増大したズーム倍率が背面広角カメラの焦点長範囲を超えると決定する。このケースでは、携帯電話機は、ユーザを促してよい。ズーム倍率が背面広角カメラ（又は背面広角モード）の焦点長範囲を超えました。撮影を続けるために左領域内の背面長焦点カメラ（又は背面長焦点モード）に切り換えますか？携帯電話機は、ユーザが、撮影を続けるために左領域で背面長焦点カメラ（背面長焦点モード）に切り換えるよう指示したことを検出した後に、背面長焦点カメラにより撮影された画像は、左側の第１表示領域内に表示され始め、背面長焦点カメラのズーム倍率は自動的に４（又は４より大きい値）に変更される。このように、同じ表示領域内で別のカメラに切り換えた後に、携帯電話機は、別のカメラの焦点長範囲の境界値からズームを開始する必要がなく、ユーザにより指示されたズーム倍率からズームを続けることができ、連続的なズームを実施し、ユーザ経験を向上する。例えば、背面長焦点カメラの焦点長範囲[２,１０]の境界値は、２及び１０である。

【0212】

本願の幾つかの実施形態では、撮影インタフェースにおいて、各表示領域は、ビデオ記録処理において表示領域内の前面／背面ビデオ画像を切り換えるために使用される前面／背面切り換え制御を更に含んでよい。第１特徴値の中の前面／背面属性パラメータは、ユーザの前面／背面切り換え指示に基づきリアルタイムに変更されてよい。携帯電話機は、第１特徴値の中の現在リアルタイムズーム前面／背面属性パラメータに基づき、第１表示領域に対応する第１音声ピックアップ範囲を決定してよい。

【0213】

例えば、マルチチャネルビデオ記録モードにおける撮影インタフェースについては、図１１C（１）を参照のこと。撮影インタフェースは、左側の第１表示領域及び右側の第２表示領域を含む。第１表示領域及び第２表示領域は、各々、前面／背面切り換え制御を含む。携帯電話機が、第２表示領域内の前面／背面切り換え制御に対するユーザにより実行されたタップ操作を検出した後に、図１１C（２）に示すように、携帯電話機は、第２表示領域内の背面ビデオ画像を前面ビデオ画像へと切り換えてよい。

【0214】

本願の幾つかの他の実施形態では、撮影インタフェースは、幾つかのモード制御を更に含んでよい。その結果、ユーザは、モード制御を使用することにより、第１表示領域又は第２表示領域のために使用されるカメラを直接切り換えることができ、ズーム倍率をカメラに対応する焦点長範囲に直接切り換えることができる。つまり、モード制御は、所望の目標カメラ及び目標焦点長範囲に直接切り換えるために、ユーザにとって便利であり得る。

【0215】

各モード制御は１つの撮影モードに対応し、撮影モードは、背面広角モード、背面長焦点モード、前面広角モード、又は前面長焦点モードを含んでよい。背面広角モードは背面広角カメラに対応し、背面長焦点モードは背面長焦点カメラに対応し、前面広角モードは前面広角カメラに対応し、前面長焦点モードは前面長焦点カメラに対応する。

【0216】

幾つかの実施形態では、モード制御は、カメラ切り換え制御とも呼ばれてよく、各カメラ切り換え制御は１つのタイプのカメラに対応する。カメラ切り換え制御に対してユーザにより実行された操作を検出した後に、携帯電話機は、カメラ切り換え制御に対応する目標タイプのカメラを用いて、表示領域内のビデオ画像をキャプチャする。表示領域に対応するズーム倍率は、目標カメラの焦点長範囲内にある。例えば、目標タイプのカメラは、背面広角カメラ、背面長焦点カメラ、前面広角カメラ、又は前面長焦点カメラを含む。

【0217】

例えば、図１１D（１）を参照する。第１表示領域及び第２表示領域は、各々、背面広角制御、背面長焦点制御、前面広角制御、及び前面長焦点制御を含む。第１表示領域内の前面広角制御が現在選択されており、これは、左側の第１表示領域のために使用される第１カメラが前面広角カメラであることを示す。第２表示領域内の前面長焦点制御が現在選択されており、これは、右側の第２表示領域のために使用される第２カメラが前面長焦点カメラであることを示す。

【0218】

携帯電話機が図１１D（１）に示される第１表示領域内の背面広角制御１１０６に対してユーザにより実行されたタップ操作を検出した後に、図１１D（２）に示すように、背面広角制御１１０６が選択される。携帯電話機は、第１表示領域のために使用される第１カメラを背面広角カメラに切り換えて、背面広角カメラを用いてビデオ画像をキャプチャし、キャプチャしたビデオ画像を第１表示領域内に表示してよい。携帯電話機が図１１D（１）に示される第２表示領域内の背面長焦点制御１１０７に対してユーザにより実行されたタップ操作を検出した後に、図１１D（２）に示すように、背面長焦点制御１１０７が選択される。携帯電話機は、第２カメラを背面長焦点カメラに切り換えて、背面長焦点カメラを用いてビデオ画像をキャプチャし、キャプチャしたビデオ画像を第２表示領域内に表示してよい。

【0219】

（３）第２表示領域に対応する少なくとも１チャネルのオーディオ：

【0220】

第１表示領域に対応する少なくとも１チャネルのオーディオを記録する方法と同様に、携帯電話機は、第２特徴値及び初期オーディオデータに基づき、第２表示領域に対応する少なくとも１チャネルのオーディオを記録してよい。図７を参照する。ステップ３０５は、以下のステップを更に含んでよい。

【0221】

７０６：携帯電話機は、第２表示領域に対応する第２特徴値を取得する。

【0222】

７０７：携帯電話機は、第２特徴値に基づき、第２表示領域に対応するオーディオの第２音声ピックアップ範囲を決定する。

【0223】

例えば、第２表示領域に対応するズーム倍率がXであるとき、第２表示領域に対応する第２音声ピックアップ範囲については、図９及び図１０を参照のこと。

【0224】

７０８：携帯電話機は、第２音声ピックアップ範囲及び初期オーディオデータに基づき、第２表示領域に対応する少なくとも１チャネルのオーディオを記録する。

【0225】

ステップ７０６～７０８の説明については、ステップ７０３～７０５の説明を参照のこと。詳細はここに説明されない。

【0226】

同様に、携帯電話機は、第２音声ピックアップ範囲に基づき、１つ以上の第２基準音声ピックアップ範囲を更に決定し、第２基準音声ピックアップ範囲に基づき、第２表示領域に対応する１つ以上のチャネルのオーディオを記録してよい。携帯電話機は、第２表示領域に対応する各チャネルのオーディオのオーディオファイルを生成する。

【0227】

例えば、図６（C）に示すマルチチャネルビデオ記録シナリオでは、携帯電話機により記録されたパノラマオーディオは全方向の音声を含み、第１表示領域６０１に対応するオーディオは、少年、少女、及び子犬のようなオブジェクトの音声を含み、第２表示領域６０２に対応するオーディオは主に少女の音声である。

【0228】

別の例では、撮影インタフェースは第１表示領域及び第２表示領域を含む。第１表示領域内のビデオ画像はコンサートにおける楽器の演奏画像を含み、第２表示領域内のビデオ画像はコンサートマスタの演奏画像を含む。このシナリオでは、携帯電話機により記録されたパノラマオーディオは全方向の音声を含み、第１表示領域に対応するオーディオは、バンドの楽器奏者により演奏される楽器により生成されるアンサンブル音声を含み、第２表示領域に対応するオーディオは、コンサートマスタにより生成された音声を主に含む。

【0229】

更に別の例では、撮影インタフェースは第１表示領域及び第２表示領域を含む。第１表示領域内のビデオ画像はバンドのメンバの演奏画像を含み、第２表示領域内のビデオ画像はギターボーカリストの演奏画像を含む。このシナリオでは、携帯電話機により記録されたパノラマオーディオは、全方向の音声を含み、第１表示領域に対応するオーディオはバンドのメンバの演奏音声を含み、第２表示領域に対応するオーディオは、ギターボーカリストの歌声及びギターにより生成された音声を主に含む。

【0230】

幾つかの実施形態では、携帯電話機により記録されたオーディオは更に以下を含んでよい：

【0231】

（４）パノラマオーディオ＋：

【0232】

マルチチャネルビデオ記録処理では、携帯電話機が、表示領域のズーム倍率が変更されたと決定した場合、携帯電話機は、更に、パノラマオーディオの後の部分を、表示領域の後の対応するオーディオにより置き換えて、パノラマオーディオ＋を生成してよい。図７を参照する。ステップ３０５は、以下のステップを更に含んでよい。

【0233】

７０９：携帯電話機は、表示領域内のズーム倍率が変更されると、パノラマオーディオ＋を記録する。

【0234】

ユーザが表示領域内のズーム倍率を調整するとき、ユーザは、調整されたズーム倍率に対応するビデオ画像及び音声ピックアップ範囲に注目したい可能性がある。従って、携帯電話機は、パノラマオーディオ内の後のオーディオを表示領域に対応する後のオーディオで置き換え、動的に変化するパノラマオーディオを生成し、パノラマオーディオの中の調整されたズーム倍率に対応するオーディオを強調し、ズームの後のユーザによるオーディオ変化経験を向上する。

【0235】

例えば、撮影インタフェースは第１表示領域及び第２表示領域を含む。携帯電話機は、マルチチャネルビデオ記録処理において、パノラマオーディオ、第１表示領域に対応する少なくとも１チャネルのオーディオ、及び第２表示領域に対応する少なくとも１チャネルのオーディオを記録する。携帯電話機が、００:００～００:０９の期間の間に記録した後に、第１表示領域に対応するズーム倍率が増大したと決定した場合、携帯電話機は、増大したズーム倍率に基づき第１表示領域内に拡大ビデオ画像を表示し、ユーザにカメラによるズームインの視覚的効果を提供する。

【0236】

オーディオについては、パノラマオーディオ、第１表示領域に対応する少なくとも１チャネルのオーディオ、及び第２表示領域に対応する少なくとも１チャネルのオーディオを記録している間、携帯電話機は、パノラマオーディオ＋を更に記録してよい。パノラマオーディオ＋は、２つの部分、つまり、００:００～００:０９の期間のオーディオ部分と、００:０９の後のオーディオ部分と、を含む。パノラマオーディオ＋の中の００:００～００:０９の期間のオーディオ部分は、パノラマオーディオの中の００:００～００:０９の期間のオーディオ部分と一致し、パノラマオーディオ＋の中の００:０９の後のオーディオ部分は、第１表示領域に対応するチャネルのオーディオの中の００:０９の後のオーディオ部分と一致する。言い換えると、パノラマオーディオの中の００:００～００:０９の期間に対応するオーディオ部分、及び第１表示領域に対応するチャネルのオーディオの中の００:０９の後のオーディオ部分は、パノラマオーディオ＋へと結合されてよい。

【0237】

このように、パノラマオーディオ＋が再生されるとき、ユーザは、００:００～００:０９の再生期間で、パノラマオーディオを聴くことができる。００:０９の後で、ユーザによる第１表示領域に対応するズーム倍率の増加に対応して、ユーザは、第１表示領域内の増大したズーム倍率に対応する音声ピックアップ範囲の音声を聴くことができ、ユーザに近付く音声の動的オーディオ経験を提供する。

【0238】

言い換えると、携帯電話機によるパノラマオーディオ＋の再生は、以下を実現する：パノラマ音声はデフォルトで再生され、ズーム倍率が変更された場合、ズーム倍率が変更された後の音声ピックアップ範囲に対応する音声は目立って再生されてよく、ユーザに、音声が距離、音量、及び範囲において動的に変化するオーディオ再生経験を提供する。

【0239】

言い換えると、パノラマオーディオ＋は、第１期間のオーディオa、及び第２期間のオーディオbを含む。オーディオaはパノラマオーディオであり、オーディオbは第１カメラの第１ズーム倍率に対応するオーディオを含む。第１カメラは、第１期間内で第２ズーム倍率を用いて撮影を実行し、第２期間内で第１ズーム倍率を用いて撮影を実行する。

【0240】

このように、携帯電話機は、パノラマオーディオ、パノラマオーディオ＋、及び各表示領域に対応するオーディオを記録してよい。その結果、ユーザは、異なるオーディオを再生するよう後に選択でき、マルチチャネルビデオ記録の間のユーザのオーディオ経験を向上する。

【0241】

更に、携帯電話機は、各表示領域に対応するオーディオを記録し、各表示領域内のビデオ画像と一致するオーディオをリアルタイムに記録してよい。その結果、異なる表示領域に対応するオーディオは、後に切り換えられ表示されることができ、再生されるオーディオはユーザが注目する表示領域内のビデオ画像にリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0242】

更に、携帯電話機は、表示領域内でリアルタイムに変更されるズーム倍率又は前面／背面属性パラメータのような特徴値に対応するオーディオを記録してよい。従って、ビデオ再生中、携帯電話機は、表示領域内でリアルタイムに変更されるズーム倍率又は前面／背面属性パラメータのような特徴値に対応するオーディオを再生できる。その結果、オーディオは、ズーム倍率又は前面／背面属性パラメータのような特徴値に基づき変更されるビデオ画像とリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0243】

本願の幾つかの実施形態では、各チャネルのオーディオのオーディオファイルを生成する前に、携帯電話機は、各チャネルのオーディオのオーディオに対して種々の音声効果処理を実行してよい。その結果、記録されたオーディオは、より高いオーディオ品質、及びより良いオーディオ処理効果を有する。例えば、音声効果処理は、Dolby音声効果、Histen音声効果、音声読み出しシステム（sound retrieval system, SRS）音声効果、低音拡張エンジン（bass enhanced engine, BBE）音声効果、又は動的低音拡張エンジン（dynamic bass enhanced engine, DBEE）音声効果を含んでよい。

【0244】

３０６：撮影を停止することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、ビデオ画像及びオーディオの記録を停止し、マルチチャネル記録ビデオを生成する。

【0245】

例えば、撮影を停止することを指示するためにユーザにより実行される操作は、図８に示される制御８００に対してユーザにより実行されるタップ操作、撮影を停止するためにユーザにより実行される音声指示操作、又はジェスチャのような別の操作であってよい。これは、本願の本実施形態において限定されない。

【0246】

撮影を停止することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、複数のチャネルの記録されたビデオを生成し、ビデオ記録プレビューインタフェース又は撮影プレビューインタフェースに戻る。マルチチャネル記録ビデオは、複数のチャネルのビデオ画像、及び複数のチャネルのオーディオを含む。例えば、携帯電話機により生成されるマルチチャネル記録ビデオのサムネイルについては、図１２Aに示されるサムネイル、又は図１２Bに示されるサムネイルを参照のこと。

【0247】

幾つかの実施形態では、本願の本実施形態で提供される方法を用いて記録されたマルチチャネル記録ビデオについて、携帯電話機は、ビデオが複数のチャネルのオーディオを有することをユーザにプロンプト表示してよい。例えば、マルチチャネル記録ビデオのサムネイル、又はマルチチャネル記録ビデオに関する詳細情報は、複数のチャネルのオーディオを示すために使用されるプロンプト情報を含んでよい。例えば、プロンプト情報は、図１２Bに示される複数のスピーカのマーク１２０３、別の形式のマーク、又はテキスト情報であってよい。

【0248】

幾つかの他の実施形態では、携帯電話機は、各チャネルの記録されたビデオに対応するビデオファイルを格納してよい。各チャネルの記録されたビデオに対応するビデオファイルは、ギャラリ内に表示されることもできる。例えば、図１２Cを参照する。ギャラリ内のサムネイル１２０４により示されるファイルは、全チャネルの記録されたビデオ画像に対応するファイル、及び全チャネルのオーディオに対応するファイルを含む。図１２Cを参照する。ギャラリ内のサムネイル１２０５により示されるファイルは、チャネル１に対応する広角ビューのビデオ画像及びオーディオに対応するファイルを含む。ギャラリ内のサムネイル１２０６により示されるファイルは、チャネル２に対応する広角ビューのビデオ画像及びオーディオに対応するファイルを含む。

【0249】

３０７：マルチチャネル記録ビデオを再生することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、マルチチャネル記録ビデオのビデオ画像及びオーディオを再生する。

【0250】

例えば、マルチチャネル記録ビデオを再生することを指示するためにユーザにより実行された操作は、図１２Aに示されるビデオ記録プレビューインタフェース内のサムネイル１２０１に対するユーザにより実行されたタップ操作であってよい。別の例では、マルチチャネル記録ビデオを再生することを指示するためにユーザにより実行された操作は、図１２Bに示されるギャラリ内のサムネイル１２０２に対するユーザにより実行されたタップ操作であってよい。

【0251】

マルチチャネル記録ビデオを再生することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、マルチチャネルビデオ記録処理で記録された複数のチャネルのビデオ画像及び複数のチャネルのオーディオに基づき、マルチチャネル記録ビデオを再生する。つまり、ビデオ再生中、携帯電話機は、マルチチャネルビデオ記録処理で記録されたビデオ画像及びオーディオを再生する。

【0252】

ビデオ再生中、携帯電話機は、ビデオ再生インタフェースを表示してよい。幾つかの実施形態では、ビデオ再生インタフェースは、チャネルのビデオ画像を含んでよい。つまり、携帯電話機は、チャネルのビデオ画像を再生してよい。オーディオ再生では、幾つかの技術的ソリューションで、ビデオ再生中に、携帯電話機は、デフォルトでパノラマオーディオを再生してよく、次に、ユーザの指示に従い他のオーディオを再生してよい。

【0253】

例えば、ビデオ再生中、ビデオ再生インタフェースは、複数のオーディオ切り換え制御を含んでよく、各オーディオ切り換え制御は、マルチチャネルビデオ記録処理で記録された１チャネルのオーディオに対応する。オーディオ切り換え制御に対してユーザにより実行されたタップ操作を検出した後に、携帯電話機は、オーディオ切り換え制御に対応するチャネルのオーディオを再生する。

【0254】

例えば、ビデオ再生中、携帯電話機は、図１３Aに示されるビデオ再生インタフェースを表示してよい。ビデオ再生インタフェースは、左側の第１表示領域内のビデオ画像１（これは、左ビデオ画像と呼ばれてよい）、及び右側の第２表示領域内のビデオ画像２（これは、右ビデオ画像と呼ばれてよい）を含む。ビデオ再生インタフェースは、オーディオ切り換え制御１３０１～１３０７を更に含んでよい。図１３Aに示すように、オーディオ切り換え制御１３０１は、現在選択されており、携帯電話機は、デフォルトでパノラマオーディオを再生する。図１３Bを参照する。オーディオ切り換え制御１３０６に対するユーザにより実行されたタップ操作を検出した後に、携帯電話機は、オーディオ切り換え制御１３０６に対応する右オーディオ１、つまり第２表示領域に対応するオーディオ１を再生してよい。右オーディオ１は、第２表示領域内の少女の音声である。

【0255】

別の例では、ビデオ再生中、携帯電話機は、図１４に示されるビデオ再生インタフェースを表示してよい。ビデオ再生インタフェースは、左側の第１表示領域内の左ビデオ画像、及び右側の第２表示領域内の右ビデオ画像を含む。ビデオ再生インタフェースは、複数のオーディオ切り換え制御を更に含んでよい。オーディオ切り換え制御１４０１に対するユーザにより実行されたタップ操作を検出した後に、携帯電話機は、オーディオ切り換え制御１４０１に対応する右オーディオ２、つまり第２表示領域に対応するオーディオ２を再生してよい。右オーディオ２は、ギターボーカリストの歌声、及び第２表示領域内のギターにより生成された音声である。

【0256】

例えば、ビデオ再生中、ビデオ再生インタフェースは、オーディオ切り換え制御を読み出すために使用されるプリセット制御を含んでよい。プリセット制御に対してユーザにより実行されたタップ操作を検出した後に、携帯電話機は、図１３A、図１３B、図１４、等に示される複数のオーディオ切り換え制御を表示してよい。オーディオ切り換え制御に対してユーザにより実行されたタップ操作を検出した後に、携帯電話機は、オーディオ切り換え制御に対応するチャネルのオーディオを再生する。

【0257】

幾つかの他の技術的ソリューションでは、ビデオ再生中、携帯電話機は、ビデオ再生インタフェースを表示してよく、オーディオを再生しない。ユーザの指示操作を検出した後に、携帯電話機は、ユーザにより指示されたオーディオを再生する。

【0258】

幾つかの他の実施形態では、ビデオ再生中、携帯電話機は、１つの表示領域内で１チャネルのビデオ画像のみを再生してよい。例えば、ビデオ再生中、携帯電話機は、デフォルトで全部の表示領域内で全部のチャネルのビデオ画像を再生し、デフォルトでパノラマオーディオを再生する。表示領域内で１チャネルのビデオ画像のみを表示することを指示するためにユーザにより実行された操作を検出した後に、携帯電話機は、そのチャネルのビデオ画像のみを表示してよい。例えば、携帯電話機は、ビデオ画像を拡大方法で又は全画面で表示してよく、ビデオ画像に対応するチャネルのオーディオを自動的に再生してよい。携帯電話機により自動的に再生されるチャネルのオーディオは、表示領域に対応する複数のチャネルのオーディオから、携帯電話機によりランダムに選択されたチャネルのビデオであってよい。代替として、携帯電話機は、オーディオ品質に基づき、表示領域に対応する複数のチャネルのオーディオをソートしてよく、携帯電話機により自動的に再生されるチャネルのオーディオは、最良のオーディオ品質を有するチャネルのオーディオである。次に、携帯電話機が、ユーザが表示領域に対応する別のチャネルのオーディオを指示したと検出すると、携帯電話機は、ユーザにより指示されたチャネルのオーディオを再生する。

【0259】

例えば、図１５Aを参照する。ビデオ再生中、携帯電話機は、全部のチャネルのビデオ画像、及び右オーディオ１を再生する。携帯電話機は、右側の第２表示領域内の全画面制御１５０１に対するユーザにより実行されたタップ操作を検出した後に、図１５Bに示すように、携帯電話機は、第２表示領域に対応する右ビデオ画像を全画面で表示し、右ビデオ画像に対応するチャネルのオーディオを自動的に再生する。継ぐ居て、制御１５０２に対してユーザにより実行されたタップ操作を検出した後に、携帯電話機は、第１表示領域内の左ビデオ画像を全画面で再生し、第１表示領域に対応するチャネルのオーディオを再生してよい。代替として、制御１０５３又は制御１５０４に対してユーザにより実行されたタップ操作を検出した後に、携帯電話機は、図１５Aに示される複数のチャネルのビデオ画像の表示を再開し、パノラマオーディオを自動的に再生してよい。

【0260】

前述の実施形態で記載したソリューションでは、ビデオ再生中、携帯電話機は、パノラマオーディオ、パノラマオーディオ＋、又は異なる表示領域に対応するオーディオを切り換え再生でき、ユーザに複数のオーディオ再生オプションを提供する。このように、オーディオは調整でき、マルチチャネルビデオ記録の間のユーザのオーディオ経験が向上する。

【0261】

更に、携帯電話機は、異なる表示領域に対応するオーディオを再生できる。その結果、再生されるオーディオは、ユーザが注目する表示領域内のビデオ画像とリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0262】

更に、携帯電話機は、表示領域内でリアルタイムに変更されるズーム倍率又は前面／背面属性パラメータのような特徴値に対応するオーディオを再生できる。その結果、オーディオは、ズーム倍率又は前面／背面属性パラメータのような特徴値に基づき変更されるビデオ画像とリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0263】

更に、図１２Cに示されるサムネイル１２０５に対するユーザにより実行されたタップ操作を検出した後に、携帯電話機は、単一チャネルのビデオ画像と、図１３Aに示される第１表示領域に対応するチャネルのオーディオと、を再生してよい。図１２Cに示されるサムネイル１２０６に対するユーザにより実行されたタップ操作を検出した後に、携帯電話機は、単一チャネルのビデオ画像と、図１３Aに示される第２表示領域に対応するチャネルのオーディオと、を再生してよい。再生されるビデオ画像は図１５Bに示されてよい。

【0264】

前述の機能を実装するために、電子装置は、各機能を実行する対応するハードウェア構造及び／又はソフトウェアモジュールを含むことが理解され得る。本明細書で開示された実施形態で説明した各々の例のアルゴリズムステップを参照して、本願は、ハードウェア又はハードウェアとコンピュータソフトウェアとの組み合わせの形式で実装されてよい。機能がハードウェア又はコンピュータソフトウェアにより駆動されるハードウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約に依存する。当業者は、実施形態参照して特定の適用毎に、記載の機能を実施するために異なる方法を使用してよいが、実装が本願の範囲を超えると考えられるべきではない。

【0265】

実施形態では、電子装置は、前述の方法の例に基づき機能モジュールに分割されてよい。例えば、各機能に対応する各機能モジュールは、分割を通じて得られてよく、又は２つ以上の機能が１つの処理モジュールに統合されてよい。統合されたモジュールは、ハードウェアの形式で実装されてよい。留意すべきことに、実施形態では、モジュールへの分割は一例であり、単なる論理的機能分割である。実際の実施中、別の分割方法が存在し得る。

【0266】

例えば、分割方法で、図１６に示すように、電子装置は、マルチチャネルビデオ記録モジュール、オーディオハードウェアモジュール、オーディオ処理モジュール、ビデオ再生モジュール、等を含んでよい。マルチチャネルビデオ記録モジュールは、カメラアプリケーションパッケージ（例えば、カメラAndroidアプリケーションパッケージ（Android application package, APK））、第１表示領域プレビューモジュール、第２表示領域プレビューモジュール、別の表示領域プレビューモジュール、等を含んでよい。オーディオハードウェアモジュールは、マイクロフォン及びアナログ－デジタル変換回路のようなコンポーネントを含んでよい。

【0267】

以下は、図１６に示す電子装置のモジュールの観点から、本願の実施形態で提供されるオーディオ処理方法を記載する。電子装置のモジュールにより実行される動作及び機能は、電子装置により実行される動作及び機能であることが理解され得る。モジュールに基づくオーディオ処理手順については、図１７A～図１７Cを参照する。モジュール間の相互作用関係の概略図については、図１８を参照する。

【0268】

図１７A～図１７Cを参照する。方法は、以下を含んでよい：ユーザがカメラを開くことを指示した後に、カメラアプリケーションパッケージはカメラアプリケーションを開始する。次に、ユーザが、マルチチャネルビデオ記録モードに入ることを指示した後に、カメラアプリケーションパッケージは、マルチチャネルビデオ記録モードに入る。マルチチャネルビデオ記録モードに入った後に、第１表示領域プレビューモジュールは、第１表示領域内にリアルタイムでプレビュー画像を表示してよく、第２表示領域プレビューモジュールは、第２表示領域内にリアルタイムでプレビュー画像を表示してよい。更に、マルチチャネルビデオ記録モードに入った後に、カメラアプリケーションパッケージは、マイクロフォンの能力に関して更に問い合わせて、電子装置が複数のチャネルのオーディオを記録する能力を有するかどうかを決定してよい。

【0269】

図１７A～図１７Cを参照する。方法は、以下を更に含んでよい：ユーザがビデオ記録を開始することを指示した後に、第１表示領域プレビューモジュールは、第１表示領域内にリアルタイムにビデオ記録処理におけるビデオ画像を表示してよく、第２表示領域プレビューモジュールは、第２表示領域内にリアルタイムにビデオ記録処理におけるビデオ画像を表示してよい。カメラアプリケーションパッケージは、複数のチャネルのビデオ画像に対応するビデオファイルを生成する。更に、ビデオ記録処理では、第１表示領域及び／又は第２表示領域に対応するズーム倍率が更に変更されてよい（つまりズーム）。

【0270】

図１７A～図１７Cを参照する。方法は、以下を更に含んでよい：ユーザがビデオ記録を開始することを指示した後に、オーディオハードウェアモジュール内のマイクロフォンは、周囲の全方向で音声信号をキャプチャし（つまり、音声ピックアップ）、音声信号をアナログオーディオ電気信号に変換してよい。オーディオハードウェアモジュール内のアナログ－デジタル変換回路は、アナログオーディオ電気信号を初期オーディオデータに変換してよい。オーディオハードウェアモジュールは、初期オーディオデータをオーディオ処理モジュールへ送信してよい。オーディオ処理モジュールは、初期オーディオデータに基づき、パノラマオーディオのオーディオファイルを生成する。

【0271】

図１７A～図１７Cを参照する。方法は、以下を更に含んでよい：第１プレビューモジュールは、オーディオ処理モジュールへ、第１表示領域に対応する第１特徴値の中でズーム倍率を送信してよい。カメラアプリケーションパッケージは、第１特徴値の中で別のパラメータをオーディオ処理モジュールへ送信してよい。オーディオ処理モジュールは、第１特徴値に基づき第１音声ピックアップ範囲を決定し、初期オーディオデータに基づき第１音声ピックアップ範囲内の音声を強め、初期オーディオデータに基づき第１音声ピックアップ範囲の外側の音声を弱める。更に、オーディオ処理モジュールは、第１音声ピックアップ範囲に基づき１つ以上の第１基準音声ピックアップ範囲を更に決定し、初期オーディオデータに基づき第１基準音声ピックアップ範囲内の音声を強め、初期オーディオデータに基づき第１基準音声ピックアップ範囲の外側の音声を弱めてよい。オーディオ処理モジュールは、取得したオーディオデータに対してマルチ音声効果処理を更に実行してよい。次に、オーディオ処理モジュールは、第１表示領域に対応する少なくとも１チャネルのオーディオのオーディオファイルを生成してよい。

【0272】

同様に、第２プレビューモジュールは、オーディオ処理モジュールへ、第２表示領域に対応する第２特徴値の中でズーム倍率を送信してよい。カメラアプリケーションパッケージは、第２特徴値の中で別のパラメータをオーディオ処理モジュールへ送信してよい。オーディオ処理モジュールは、第２特徴値に基づき第２音声ピックアップ範囲を決定し、初期オーディオデータに基づき第２音声ピックアップ範囲内の音声を強め、初期オーディオデータに基づき第２音声ピックアップ範囲の外側の音声を弱める。更に、オーディオ処理モジュールは、第２音声ピックアップ範囲に基づき１つ以上の第２基準音声ピックアップ範囲を更に決定し、初期オーディオデータに基づき第２基準音声ピックアップ範囲内の音声を強め、初期オーディオデータに基づき第２基準音声ピックアップ範囲の外側の音声を弱めてよい。オーディオ処理モジュールは、取得したオーディオデータに対してマルチ音声効果処理を更に実行してよい。次に、オーディオ処理モジュールは、第２表示領域に対応する少なくとも１チャネルのオーディオのオーディオファイルを生成してよい。

【0273】

更に、第１表示領域又は第２表示領域内のズーム倍率が変更されると、オーディオ処理モジュールは、パノラマオーディオ＋を更に生成してよい。

【0274】

オーディオ処理モジュールは、複数のチャネルのオーディオの生成したオーディオファイルを、カメラアプリケーションパッケージへ送信してよい。

【0275】

このように、電子装置は、パノラマオーディオ、パノラマオーディオ＋、及び各表示領域に対応するオーディオを記録してよい。その結果、ユーザは、異なるオーディオを再生するよう後に選択でき、マルチチャネルビデオ記録の間のユーザのオーディオ経験を向上する。

【0276】

更に、電子装置は、各表示領域に対応するオーディオを記録し、各表示領域内のビデオ画像と一致するオーディオをリアルタイムに記録してよい。その結果、異なる表示領域に対応するオーディオは、後に切り換えられ表示されることができ、再生されるオーディオはユーザが注目する表示領域内のビデオ画像にリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0277】

更に、電子装置は、表示領域内でリアルタイムに変更されるズーム倍率又は前面／背面属性パラメータのような特徴値に対応するオーディオを記録してよい。従って、ビデオ再生中、電子装置は、表示領域内でリアルタイムに変更されるズーム倍率又は前面／背面属性パラメータのような特徴値に対応するオーディオを再生できる。その結果、オーディオは、ズーム倍率又は前面／背面属性パラメータのような特徴値に基づき変更されるビデオ画像とリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0278】

図１７A～図１７Cを参照する。方法は、以下を更に含んでよい：カメラアプリケーションパッケージは、複数のチャネルのビデオ画像に対応するビデオファイル及び複数のチャネルのオーディオのオーディオファイルを、マルチチャネル記録ビデオファイルへと結合する。ユーザが、マルチチャネル記録ビデオを再生することを指示した後に、ビデオ再生モジュールは、ビデオ画像及びデフォルトオーディオを再生してよい。ユーザがオーディオを選択した後に、ビデオ再生モジュールは、ユーザにより選択されたビデオを再生してよい。

【0279】

このように、ビデオ再生中、電子装置は、パノラマオーディオ、パノラマオーディオ＋、又は異なる表示領域に対応するオーディオを切り換え再生でき、ユーザに複数のオーディオ再生オプションを提供する。このように、オーディオは調整でき、マルチチャネルビデオ記録の間のユーザのオーディオ経験が向上する。

【0280】

更に、電子装置は、異なる表示領域に対応するオーディオを再生できる。その結果、再生されるオーディオは、ユーザが注目する表示領域内のビデオ画像とリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0281】

更に、電子装置は、表示領域内でリアルタイムに変更されるズーム倍率又は前面／背面属性パラメータのような特徴値に対応するオーディオを切り換え再生できる。その結果、オーディオは、ズーム倍率又は前面／背面属性パラメータのような特徴値に基づき変更されるビデオ画像とリアルタイムに一致し、ユーザのオーディオ経験を向上する。

【0282】

幾つかの他の実施形態では、オーディオハードウェアモジュール内のマイクロフォンは回転されてよく、電子装置は、マイクロフォンを回転することにより、音声ピックアップ方向を調整し、オーディオ処理モジュールを用いて音声ピックアップ範囲を決定してよい。このケースでは、表示領域に対応するオーディオは、電子装置の全部のマイクロフォンの代わりに、電子装置の幾つかのマイクロフォンのみを用いてピックアップされてよい。

【0283】

幾つかの他の実施形態では、電子装置は、３個より多くのマイクロフォンを含んでよい。その結果、音声は、より多くの方向及びより多くの領域範囲についてキャプチャでき、音声ピックアップ範囲がより正確である。このように、異なる音声ピックアップ範囲のより良好な音声品質を有する音声が、その後生成される。更に、電子装置が、異なるタイプのオーディオ（例えば、パノラマオーディオ、又は異なる表示領域に対応するオーディオ）のための３個より多くのマイクロフォンを含むとき、電子装置は、異なるマイクロフォンの組合せを用いて対応する範囲の音声をピックアップできる。

【0284】

幾つかの他の実施形態では、本願の実施形態で提供されるオーディオ処理方法は、代替として、画像認識アルゴリズムと結合されてよい。認識されたオブジェクトについて、電子装置は、オブジェクトの従来のオーディオ特徴及び従来のオーディオモデルに基づき、更なる処理を実行して、オーディオ効果を向上してよい。図１９を参照する。ソリューションは概略的に以下を含んでよい：カメラは、ビデオ画像をキャプチャし、オブジェクトは画像認識アルゴリズムに従い認識され、オブジェクトの従来のオーディオモデル（例えば、楽器、自然風景（雨、風、及び雷）及び動物の声）が取得される。次に、本願の前述の実施形態におけるオーディオ処理方法が実行され、次にオーディオ効果が最適化される。

【0285】

例えば、画像認識アルゴリズムに従い、電子装置は、ビデオ画像内のオブジェクトを認識し、オブジェクトの音声を認識してよい。その結果、マイクロフォンによりキャプチャされた音声の中で認識されたオブジェクトの音声が保持されてよく、他の音声は抑制されてよく、オーディオ最適化処理等が実行されてよい。例えば、図１４に示されるバンド再生シナリオでは、右側の第２表示領域について、携帯電話機は、ビデオ画像内のオブジェクトがギタリスト及びギターを含むことを認識してよい。従って、携帯電話機は、第２表示領域に対応する第２ピックアップ範囲における第２信号から、ギタリストの歌声とギターの音声を認識し、ギタリストの歌声とギターの音声を保持しs、他の音声を抑制する。更に、携帯電話機により保持されたギタリストの歌声とギターの音声が歪んでいるか又は不完全な場合、携帯電話機は、人間の音声モデル及びギターの音声モデルに基づき最適化処理を更に実行してよい。

【0286】

画像アルゴリズムは、精度問題を融資、従来のオーディオモデルは、固定装置に対しては比較的実用的であり得るが、異常に生成された不規則な音声に対しては粗悪な効果しかなく、異常に生成された不規則な音声は固定的な音声モデルに一致し得ない。従って、歪みを防ぐために、処理できないオーディオセグメントは処理されず、精細な固定オーディオモデル認識アルゴリズムに従い認識でき、ノイズ低減最適化を向上する。認識されない音声は処理されず、元の音声が保持される。このソリューションは、良好なオーディオ－ビジュアル経験をユーザにもたらす。

【0287】

幾つかの他の実施形態では、従来のビデオ記録モード（つまり、単一チャネルビデオ記録モード）で、ビデオ画像を記録するとき、電子装置は、リアルタイムに変更されるズーム倍率のような特徴値に対応してオーディオを更に記録してよい。ビデオ再生中、電子装置は、ズーム倍率のような特徴値と一致するビデオ画像及びオーディオをリアルタイムに再生してよい。このように、電子装置により記録されるオーディオは、ユーザが注目する撮影範囲内のビデオ画像にリアルタイムに一致する。その結果、ユーザのオーディオ経験が向上できる。代替として、電子装置は、リアルタイムに変更されるズーム倍率のような特徴値に対応するオーディオ及びパノラマオーディオを記録してよい。代替として、電子装置は、リアルタイムに変更されるズーム倍率のような特徴値に対応するオーディオ、パノラマオーディオ、及びパノラマオーディオ＋を記録してよい。ビデオ再生中、ユーザは、異なるオーディオに切り換え、再生でき、オーディオ再生経験を向上する。

【0288】

本願の実施形態は、１つ以上のプロセッサ及び１つ以上のメモリを含む電子装置を更に提供する。１つ以上のメモリは、１つ以上のプロセッサに結合される。１つ以上のメモリは、コンピュータプログラムコードを格納するよう構成され、コンピュータプログラムコードはコンピュータ命令を含む。１つ以上のプロセッサがコンピュータ命令を実行すると、電子装置は、前述の関連する方法のステップを実行可能にされ、前述の実施形態におけるオーディオ処理方法を実施する。

【0289】

本願の実施形態は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体はコンピュータ命令を格納する。コンピュータ命令が電子装置上で実行されると、電子装置は、関連する方法のステップを実行可能にされ、前述の実施形態におけるオーディオ処理方法を実施する。

【0290】

本願の一実施形態は、コンピュータプログラムプロダクトを更に提供する。コンピュータプログラムがコンピュータ上で実行されると、コンピュータは、前述の関連するステップを実行可能にされ、前述の実施形態における電子装置により実行されるオーディオ処理方法を実施する。

【0291】

更に、本願の実施形態は、機器を更に提供する。機器は、具体的には、チップ、コンポーネント、又はモジュールであってよい。機器は、接続されるプロセッサとメモリとを含んでよい。メモリは、コンピュータ実行可能命令を格納するよう構成され、機器が実行すると、プロセッサは、メモリに格納されたコンピュータ実行可能命令を実行してよく、その結果、チップは前述の方法の実施形態における電子装置により実行されるオーディオ処理方法を実行する。

【0292】

実施形態において提供される電子装置、コンピュータ可読記憶媒体、コンピュータプログラムプロダクト又はチップは、以上に提供された対応する方法を実行するよう構成される。従って、達成できる有利な効果については、以上に提供された対応する方法における有利な効果を参照のこと。詳細はここで再び記載されない。

【0293】

前述の実装に関する記載は、便宜上及び簡単な説明のために、前述の機能モジュールへの分割は説明のための一例として取り上げられることを、当業者が理解することを可能にする。実際の適用では、前述の機能は、異なるモジュールに割り当てられ、要件に従い実装できる。言い換えると、機器の内部構造は、上述の機能の全部又は一部を実装するために、異なる機能モジュールに分割される。

【0294】

本願において提供された幾つかの実施形態では、理解されるべきことに、開示の機器、及び方法は他の方法で実装されてよい。例えば、記載の機器の実施形態は単なる例である。例えば、モジュール又はユニットへの分割は、単なる論理的機能分割であり、実際の実装の間には別の分割であってよい。例えば、複数のユニット又はコンポーネントは、結合され又は別の機器に統合されてよく、或いは、幾つかの機能は、無視され又は実行されなくてよい。更に、示された又は議論された相互結合又は直接結合又は通信接続は、幾つかのインタフェースを通じて実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的形式、機械的形式、又は他の形式で実装されてよい。

【0295】

別個の部分として記載されたユニットは、物理的に分離していてよく又はそうでなくてよい。ユニットとして示された部分は、１つ以上の物理的ユニットであってよく、１つの場所に置かれてよく、又は複数の異なる場所に分散されてよい。ユニットのうちの一部又は全部は、実施形態のソリューションの目的を達成するために、実際の要件に基づき選択されてよい。

【0296】

更に、本願の実施形態における機能ユニットは、１つの処理ユニットに統合されてよく、又は、ユニットの各々は物理的に単独で存在してよく、又は、２つ以上のユニットが１つのユニットに統合される。統合されたユニットは、ハードウェアの形式で実装されてよく、又はソフトウェア機能ユニットの形式で実装されてよい。

【0297】

統合されたユニットがソフトウェア機能ユニットの形式で実装され、独立した製品として販売され又は使用されるとき、統合されたユニットは、可読記憶媒体に格納されてよい。このような理解に基づき、基本的に本願の実施形態の技術的ソリューションは、又は従来技術に貢献する部分は、又は技術的ソリューションのうちの全部又は一部は、ソフトウェアプロダクトの形式で実装されてよい。ソフトウェアプロダクトは、記憶媒体に格納され、本願の実施形態で記載された方法のステップのうちの全部又は一部を実行するよう装置（これは、シングルチップマイクロコンピュータ、チップ、等であってよい）又はプロセッサ（processor）に指示するための幾つかの命令を含む。前述の記憶媒体は、プログラムコードを格納できる、USBフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ（read-only memory, ROM）、ランダムアクセスメモリ（random access memory, RAM）、磁気ディスク、又は光ディスクのような、任意の媒体を含む。

【0298】

前述の説明は、単に本願の特定の実装であり、本願の保護範囲を限定することを意図しない。本願で開示された技術的範囲の範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本願の保護範囲の中に包含されるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。

【図1】

【図2】

【図3】

【図4-1】

【図4-2】

【図5-1】

【図5-2】

【図6-1】

【図6-2】

【図7】

【図8】

【図9】

【図10】

【図11A-1】

【図11A-2】

【図11B-1】

【図11B-2】

【図11C】

【図11D】

【図12A】

【図12B】

【図12C】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図17C】

【図18】

【図19】