(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-14
(45)【発行日】2022-11-22
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
H04R 3/00 20060101AFI20221115BHJP
【ＦＩ】
H04R3/00 310
【請求項の数】
5
(21)【出願番号】P 2018021619
(22)【出願日】2018-02-09
(65)【公開番号】P2019140503
(43)【公開日】2019-08-22
【審査請求日】2020-12-22
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】関口 康平
(72)【発明者】
【氏名】湯山 雄太
(72)【発明者】
【氏名】熊谷 邦洋
【審査官】辻 勇貴
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０３２５０２８（ＵＳ，Ａ１）
【文献】特開２００８－０６１１３７（ＪＰ，Ａ）
【文献】特開２００９－２６０４５８（ＪＰ，Ａ）
【文献】特開２００３－２８３５９９（ＪＰ，Ａ）
【文献】特開２０１４－０６０６９０（ＪＰ，Ａ）
【文献】特開２００１－２３８２９８（ＪＰ，Ａ）
【文献】特開２０１１－０４４８８４（ＪＰ，Ａ）
【文献】特開２０１１－０２３８６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｒ ３／００－３／１４
Ｈ０４Ｓ １／００－７／００
(57)【特許請求の範囲】
【請求項1】
コンテンツ信号を、目的音である主成分と、該目的音以外の副成分とに分離する分離部と、前記主成分を出力するスピーカと、
前記副成分を他装置に送信する送信部と、
を備えた情報処理装置であって、
前記目的音は、セリフもしくは歌詞の音声成分、または効果音を含み、
前記副成分は、前記音声成分および前記効果音以外の成分であり、
前記情報処理装置は、受付部及び信号処理部をさらに備え、
前記受付部は、ユーザから自装置までの距離、及び該ユーザから前記他装置までの距離の入力を受付け、
前記信号処理部は、前記自装置及び前記他装置の位置に応じて前記コンテンツ信号を補正し、
前記主成分は、前記副成分よりも相対的に前記ユーザに近い位置で再生され、
前記副成分は、前記主成分よりも相対的に前記ユーザから離れた位置で再生される、
情報処理装置。
【請求項2】
前記信号処理部は、前記ユーザから前記自装置までの距離及び前記ユーザから前記他装置までの距離の比に応じて前記コンテンツ信号を補正する、請求項１に記載の情報処理装置。
【請求項3】
マイクをさらに備え、前記スピーカは、テスト音を出力し、
前記送信部は、前記他装置へテスト信号を送信し、
前記他装置は、テスト音を出力し、
前記マイクは、前記スピーカ又は前記他装置から出力されたテスト音を取得し、
前記ユーザから前記自装置までの距離及び前記ユーザから前記他装置までの距離
の比を測定する、
請求項２に記載の情報処理装置。
【請求項4】
コンテンツ信号を、目的音である主成分と、該目的音以外の副成分とに分離し、前記主成分をスピーカから出力し、
前記副成分を他装置に送信する、
情報処理方法であって、
前記目的音は、セリフもしくは歌詞の音声成分、または効果音を含み、
前記副成分は、前記音声成分および前記効果音以外の成分であり、
前記情報処理方法は、ユーザから自装置までの距離、及び該ユーザから前記他装置までの距離の入力を受付け、
前記情報処理方法は、前記自装置及び前記他装置の位置に応じて前記コンテンツ信号を補正し、
前記主成分は、前記副成分よりも相対的に前記ユーザに近い位置で再生され、
前記副成分は、前記主成分よりも相対的に前記ユーザから離れた位置で再生される、
情報処理方法。
【請求項5】
コンテンツ信号を、目的音である主成分と、該目的音以外の副成分とに分離し、前記主成分をスピーカから出力し、
前記副成分を他装置に送信する処理を、
情報処理装置に実行させる情報処理プログラムであって、
前記目的音は、セリフもしくは歌詞の音声成分、または効果音を含み、
前記副成分は、前記音声成分および前記効果音以外の成分であり、
前記情報処理プログラムは、ユーザから自装置までの距離、及び該ユーザから前記他装置までの距離の入力を受付ける処理を前記情報処理装置に実行させ、
前記情報処理プログラムは、前記自装置及び前記他装置の位置に応じて前記コンテンツ信号を補正する処理を前記情報処理装置に実行させ、
前記主成分は、前記副成分よりも相対的に前記ユーザに近い位置で再生され、
前記副成分は、前記主成分よりも相対的に前記ユーザから離れた位置で再生される、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ信号を処理する情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、無線携帯電話端末の内蔵スピーカと、該無線携帯電話端末とイヤホンジャックを介して接続されたスピーカとから音を放音する無線携帯電話端末及びそれに用いるスピーカ制御方法が開示されている。特許文献１のスピーカ制御方法においては、臨場感を出すために、メインの音楽を内蔵スピーカＬｃｈ、内蔵スピーカＲｃｈから出力し、反響音や残存音等を外部スピーカＬｃｈ、外部スピーカＲｃｈから出力する制御を行う。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００３－２８３５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１のスピーカ制御方法においては、メインの音楽と、反響音や残存音等とが内部と外部とのスピーカに分けられているだけの簡易な設定であるため、各スピーカから出力される音源は同じである。このため、別の音源が別の場所から出力されないため、立体的には再生できないおそれがある。
【0005】
そこで、本発明の目的は、従来にない立体感を実現できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明に係る情報処理装置は、コンテンツ信号を、目的音である主成分と、該目的音以外の副成分とに分離する分離部と、前記主成分を出力するスピーカと、前記副成分を他装置に送信する送信部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、従来にない立体感を実現できる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
図１は、第１実施形態に係る携帯端末を用いたオーディオシステムの使用を説明するための図である。図２は、第１実施形態に係る携帯端末の構成を示したブロック図である。図３は、第１実施形態に係る携帯端末における情報処理の機能的なブロック図である。
【0010】
図１に示すように、オーディオシステム１は、携帯端末２０及び無線スピーカ１１を備えている。携帯端末２０は、内部スピーカ１２を備えている。なお、携帯端末２０は、本発明に係る「情報処理装置」の一例である。また、無線スピーカ１１は、本発明の「他装置」の一例である。
【0011】
携帯端末２０は、一般的にユーザＵが持ち運びするものである。このため、第１実施形態においては、携帯端末２０は、無線スピーカ１１よりユーザＵの直近にある状態を想定して説明する。
【0012】
携帯端末２０は、例えば、スマートフォン、タブレット又はパソコン等である。携帯端末２０は、ネットワーク内の各機器を操作する。携帯端末２０及び無線スピーカ１１は、Wi－Fi（登録商標）規格又はBluetooth（登録商標）規格等の無線信号を入出力して、オーディオデータを送受信する。携帯端末２０は、携帯端末２０自体に内蔵されている内部スピーカ１２へオーディオデータを送信する。これにより、無線スピーカ１１及び内部スピーカ１２は、それぞれが受信したオーディオデータを再生する。なお、無線スピーカ１１の代わりに、有線接続された有線スピーカを用いることも可能である。
【0013】
図２に示すように、携帯端末２０は、ＣＰＵ２１と、メモリ２２と、受付部２３と、ディスプレイ２４と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２６と、ネットワークＩ／Ｆ２６と、を備えている。ネットワークＩ／Ｆ２６は、本発明に係る「送信部」の一例であり、ＤＳＰ２５は、本発明に係る「分離部」の一例である。
【0014】
ネットワークＩ／Ｆ２６は、Wi－Fi（登録商標）規格、Bluetooth（登録商標）規格等の無線信号を入出力する。ネットワークＩ／Ｆ２６により、携帯端末２０は、無線スピーカ１１との通信が可能となる。
【0015】
受付部２３は、ユーザＵによる操作を受付ける。受付部２３は、操作ボタンであってもよいし、タッチパネルであってもよい。ディスプレイ２４は、携帯端末２０に内蔵のディスプレイである。また、本実施形態においては、ディスプレイ２４にタッチパネルが積層されている。
【0016】
メモリ２２は、ＲＡＭ及びＲＯＭである。メモリ２２は、ＣＰＵ２１が実行するプログラム、演算処理結果、及びネットワークＩ／Ｆ２６が受信する情報、等を記憶する。また、メモリ２２は、コンテンツデータを記憶している。なお、コンテンツデータは、メモリ２２に記憶されたものに限らず、ネットワークＩ／Ｆ２６を介してサーバ上から取得したものであってもよい。
【0017】
第１実施形態においては、コンテンツデータとして映画コンテンツを扱う場合について説明する。映画コンテンツは、セリフ、効果音、ＢＧＭ、環境音等を含む。なお、映画コンテンツは、コンテンツデータの一例であり、映画コンテンツのみに限られない。
【0018】
ＣＰＵ２１は、メモリ２２からプログラムを読み出し、読み出したプログラムを実行する。ＤＳＰ２５は、信号処理部２８を備える。信号処理部２８の処理については後で詳細に述べる。
【0019】
また、携帯端末２０は、Ｄ／Ａコンバータ３２と、ＡＭＰ４２と、内部スピーカ１２と、を備える。ＣＰＵ２１は、ＤＳＰ２５から供給されたデジタル信号をＤ／Ａコンバータ３２に入力する。Ｄ／Ａコンバータ３２は、供給されたデジタル信号をアナログ信号に変換し、変換後の信号をＡＭＰ４２に入力する。ＡＭＰ４２は、供給されたアナログ信号を増幅し、増幅後の信号を内部スピーカ１２に出力する。内部スピーカ１２はＡＭＰ４２から供給される信号に応じて放音する。
【0020】
次に、ネットワークＩ／Ｆ２６を介して携帯端末２０が映画コンテンツを取得した場合について説明する。ネットワークＩ／Ｆ２６が取得した映画コンテンツは、ＤＳＰ２５へ入力される。ＤＳＰ２５は、入力された映画コンテンツをデコードし、オーディオ信号を抽出する。ＤＳＰ２５は、オーディオ信号を、主成分と副成分とに分離する。オーディオ信号は、本発明に係る「コンテンツ信号」の一例である。
【0021】
ここで、主成分とは、オーディオ信号における目的音である。例えば、オーディオ信号が映画コンテンツである場合、主成分は、音声成分であるセリフ若しくは歌詞等、又は効果音等である。一方、副成分とは、オーディオ信号における目的音以外の成分である。例えば、オーディオ信号が映画コンテンツである場合、副成分は、セリフ又は効果音以外のＢＧＭ等である。
【0022】
オーディオ信号の主成分と副成分との分離は、例えば、独立成分分析（ＩＣＡ：Independent Component Analysis）又は非負値行列因子分解（ＮＭＦ：Nonnegative Matrix Factorization）等の既知の手法を用いて行う。なお、オーディオ信号の分離は、オーディオ信号を主成分と副成分とに分離できればよく、例えばＩＣＡ及びＮＭＦ等の手法を組み合わせたものを用いて行ってもよい。また、いくつかのガウス分布を線形結合させた混合ガウス分布を用いた混合ガウスモデル（ＧＭＭ：Gaussian. Mixture Model）による機械学習において、周波数領域の特徴量を解析することでも、分離が可能となる。これにより、ＤＳＰ２５は、オーディオ信号を主成分のセリフ又は効果音等と、副成分のＢＧＭ等とに分離することができる。
【0023】
分離された主成分は、携帯端末２０におけるスピーカ１２に出力されて放音される。一方、分離された副成分は、無線スピーカ１１に出力されて放音される。セリフ、歌詞、又は効果音等の音がユーザＵに近い位置で再生され、ＢＧＭ等の音がユーザＵから離れた位置で再生される。これにより、オーディオシステム１は、ユーザＵにセリフ、歌詞、又は効果音等の音を直近に、ＢＧＭ等の音を遠くに聞かせることができる。このように、従来にはないコンテンツ音の再生手法を実現することにより、より立体的に奥行のある音を再生することができる。
【0024】
次に、ユーザＵから携帯端末２０及びユーザＵから無線スピーカ１１までの距離に応じて、信号処理部２８がオーディオデータを補正する場合について説明する。図３は、ユーザＵが受付部へ入力をする際の画面の例を示す図である。ここでは、図１に示すように、ユーザＵの聴取位置から無線スピーカ１１までの距離をＤ１、ユーザＵから携帯端末２０までの距離をＤ２として説明する。
【0025】
図３に示すように、ＣＰＵ２１は、携帯端末２０のディスプレイ２４に、ユーザＵがユーザＵから携帯端末２０及びユーザＵから無線スピーカ１１までの距離の入力をする画面を表示する。受付部２３は、ユーザＵから携帯端末２０及びユーザＵから無線スピーカ１１までの距離の入力をユーザＵから受付ける。距離の入力は、ユーザＵから携帯端末２０までの距離Ｄ２及びユーザＵから無線スピーカ１１までの距離Ｄ１の比（Ｄ２：Ｄ１）である。ここで、距離の入力は、実寸の距離から算出されたものに限られず、ユーザＵからの見た目の距離の比であってもよい。これにより、ユーザＵは見た目でおおよその比を簡単に入力することができる。
【0026】
ＤＳＰ２５は、ユーザＵから携帯端末２０までの距離及びユーザＵから無線スピーカ１１までの距離の比（Ｄ２：Ｄ１）に応じて、主成分と副成分とに分離されたオーディオ信号を補正する。オーディオ信号の補正は、例えば、音量調整、及びタイミング調整である。
【0027】
音量調整は、無線スピーカ１１から放音される音量と、携帯端末２０の内部スピーカ１２から放音される音量との調整である。ユーザＵから遠い方のレベルを、ユーザＵからの距離の比に応じて増加する。タイミング調整は、距離の比（Ｄ２：Ｄ１）によって生じる、ユーザＵへ到達する音のずれを補正するためのものである。これにより、ユーザＵへ到達する音のずれがなくなると、ユーザＵに与える音のずれから生じる違和感を減少させることができる。なお、距離の入力は、距離の比に限らず実際の距離を入力してもよい。また、ユーザＵから携帯端末２０までの距離を予め所定の推定距離Ｄ２を設定しておくことにより、ユーザＵから無線スピーカ１１までの距離Ｄ１のみの入力で済むため、ユーザの利便性を向上させることができる。
【0028】
図４は、第１実施形態に係るオーディオシステム１の動作を示すフローチャートである。オーディオシステム１の動作により本発明の情報処理方法が実現される。
【0029】
図４に示すように、オーディオシステム１においては、携帯端末２０のＤＳＰ２５は、ユーザＵにより選択されたオーディオデータを、目的音である主成分と、目的音以外の副成分とに分離する。すなわち、ＤＳＰ２５は、オーディオデータに含まれる各成分が主成分であるか否かに基づきオーディオデータを分離する（ｓ１１）。
【0030】
ＤＳＰ２５において分離された成分が主成分である場合（ｓ１１：ＹＥＳ）、ＣＰＵ２１は、主成分を内部スピーカ１２へ出力する（ｓ１２）。携帯端末２０の内部スピーカ１２は、主成分を放音する（ｓ１３）。一方、ＤＳＰ２５において分離された成分が主成分ではない副成分の場合（ｓ１１：ＮＯ）、ＣＰＵ２１は、副成分を無線スピーカ１１へ送信する（ｓ１４）。無線スピーカ１１は、入力された副成分を出力する（ｓ１５）。これにより、セリフ、歌詞、又は効果音等の音がユーザＵに近い内部スピーカ１２で再生され、ＢＧＭ等の音がユーザＵから離れた無線スピーカ１１で再生される。したがって、情報処理方法は、従来にはないコンテンツ音の再生手法を実現することにより、より立体的に奥行のある音を再生することができる。
【0031】
次に、第２実施形態に係る携帯端末について説明する。図５は、第２実施形態に係る携帯端末の構成を示したブロック図である。図５に示すように、第２実施形態に係る携帯端末３０は、内蔵マイク３１及びＡ／Ｄコンバータ３３を備える。内蔵マイク３１は、音を収音し、収音した音をアナログ信号としてＡ／Ｄコンバータ３３に入力する。Ａ／Ｄコンバータ３３は、供給されたアナログ信号をデジタル信号に変換し、変換後の信号を信号処理部２８に入力する。
【0032】
携帯端末２０のネットワークＩ／Ｆ２６は、無線スピーカ１１へテスト信号を送信する。無線スピーカ１１は、受信したテスト信号を基にテスト音を出力する。
【0033】
携帯端末２０の内蔵マイク３１は、無線スピーカ１１が出力したテスト音を取得する。内蔵マイク３１が取得する内部スピーカ１２が出力したテスト音のズレをＤＳＰ２５で解析を行う。ＤＳＰ２５は、得られたテスト音のズレから携帯端末２０から無線スピーカ１１までの距離Ｄ１を推定する。
【0034】
推定された距離をオーディオデータの補正に適応させることにより、さらにＤＳＰ２５におけるオーディオデータの補正を最適化することができる。例えば、推定されたＤ１の距離が１５０ｃｍの場合、携帯端末２０からユーザＵまでの距離Ｄ２が１５ｃｍであると予め設定されていれば、距離の比（Ｄ２：Ｄ１）は、１：１０となる。この比をオーディオデータの補正に適応させることができる。
【0035】
次に、第３実施形態に係るオーディオシステムについて説明する。図６は、第３実施形態に係る携帯端末を用いたオーディオシステムの使用を説明するための図である。図６に示すように、第３実施形態に係るオーディオシステム６１は、外部マイク６２をさらに備える点以外はオーディオシステム１と同様である。第３実施形態に係るオーディオシステム６１の説明において、オーディオシステム１と同様の点については説明を省略する。
【0036】
オーディオシステム６１は、外部マイク６２を備えている。外部マイク６２は、無線又は有線により携帯端末２０との通信が可能である。オーディオシステム６１は、外部マイク６２を用いてオーディオデータを補正する。
【0037】
携帯端末２０は、内部スピーカ１２からテスト音を出力する。携帯端末２０のネットワークＩ／Ｆ２６は、無線スピーカ１１へテスト信号を送信する。無線スピーカ１１は、受信したテスト信号を基にテスト音を出力する。外部マイク６２は、無線スピーカ１１が出力したテスト音と、内部スピーカ１２が出力したテスト音と、をそれぞれ取得する。外部マイク６２が取得する内部スピーカ１２が出力したテスト音と、無線スピーカ１１が出力したテスト音とのズレをＤＳＰ２５で解析を行う。
【0038】
ＤＳＰ２５の解析により無線スピーカ１１からユーザＵまでの距離と、携帯端末２０からユーザＵまでの距離とが測定される。これにより、ユーザＵから携帯端末２０までの距離Ｄ２及びユーザＵから無線スピーカ１１までの距離Ｄ１の比（Ｄ２：Ｄ１）がさらに正確に得られる。このため、得られた比をオーディオデータの補正に適応させることにより、ＤＳＰ２５におけるオーディオデータの補正を実際の使用状況に応じて最適化することができる。なお、外部マイク６２のみだけでなく、内蔵マイク３１及び外部マイク６２の双方を用いて、オーディオデータの補正を行ってもよい。
【0039】
次に、変形例に係るオーディオシステムについて説明する。図７は、変形例に係る携帯端末を用いたオーディオシステムの使用を説明するための図である。図７に示すように、変形例に係るオーディオシステム７１は、無線スピーカ１１の代わりに携帯端末２００を用いる点以外はオーディオシステム１と同様である。変形例に係るオーディオシステム７１の説明において、オーディオシステム１と同様の点については説明を省略する。
【0040】
オーディオシステム７１は、携帯端末２０及び携帯端末２００を備える。携帯端末２００は、内部スピーカ２１２を備える。変形例において、携帯端末２０は、携帯端末２００よりユーザＵの聴取位置に近い位置に配置されている。ここで、ユーザＵの聴取位置から携帯端末２００までの距離をＤ３、ユーザＵから携帯端末２０までの距離をＤ４とする。ユーザＵは、例えば、携帯端末２０を身近に、携帯端末２００を遠くに配置することができる。このように、携帯端末２０及び携帯端末２００を配置することにより、携帯端末２０の内部スピーカ１２と携帯端末２００の内部スピーカ２１２の位置をユーザＵの聴取位置からそれぞれ異なった距離に配置することができる。これにより、従来にはないコンテンツ音の再生手法を実現することにより、より立体的に奥行のある音を再生することができる。
【0041】
なお、本実施形態及び変形例において、無線スピーカ１１又は携帯端末２００はそれぞれ一つであったが、必ずしも一つには限らず、複数備えられていてもよい。これにより、さらに広がりのある音場を形成することができる。
【0042】
なお、本実施形態及び変形例において、無線スピーカ１１はユーザからみて前方、すなわちユーザからみて携帯端末２００の先に備えられたが、必ずしも前方には限らず、ユーザの後方又は左右横方向に備えられていてもよい。これにより、さらに広がりのある音場を形成することができる。
【0043】
なお、コンテンツ信号は、オーディオ信号に限られず、その他の信号を含んでいてもよい。その他の信号とは、例えば、光、振動等が挙げられる。変形例に係るオーディオシステム７１において、携帯端末２００から、再生するコンテンツに応じた色の光を発生させる。これにより、ユーザは、再生するコンテンツに対して、視覚的にも臨場感を得ることができる。
【0044】
本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0045】
１，６１，７１…オーディオシステム
１１…無線スピーカ（他装置）
１２…内部スピーカ（スピーカ）
２０…携帯端末（情報処理装置）
２３…オーディオＩ／Ｏ（送信部）
２４…受付部
２６…ＤＳＰ（分離部）
２８…信号処理部
３１…内蔵マイク
６２…外部マイク（マイク）
１１…無線スピーカ（他装置）
１２…内部スピーカ（スピーカ）
２０…携帯端末（情報処理装置）
２３…オーディオＩ／Ｏ（送信部）
２４…受付部
２６…ＤＳＰ（分離部）
２８…信号処理部
３１…内蔵マイク
６２…外部マイク（マイク）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】