特許第6875484号(P6875484)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社Cygamesの特許一覧

特許6875484コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム
<>
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000002
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000003
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000004
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000005
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000006
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000007
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000008
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000009
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000010
  • 特許6875484-コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6875484
(24)【登録日】2021年4月26日
(45)【発行日】2021年5月26日
(54)【発明の名称】コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム
(51)【国際特許分類】
   H04R 3/00 20060101AFI20210517BHJP
   A63F 13/60 20140101ALI20210517BHJP
   G10K 15/02 20060101ALI20210517BHJP
【FI】
   H04R3/00 310
   A63F13/60
   G10K15/02
【請求項の数】6
【全頁数】18
(21)【出願番号】特願2019-193202(P2019-193202)
(22)【出願日】2019年10月24日
(65)【公開番号】特開2021-69017(P2021-69017A)
(43)【公開日】2021年4月30日
【審査請求日】2020年8月18日
【早期審査対象出願】
(73)【特許権者】
【識別番号】511249637
【氏名又は名称】株式会社Cygames
(74)【代理人】
【識別番号】110000925
【氏名又は名称】特許業務法人信友国際特許事務所
(72)【発明者】
【氏名】倉林 修一
【審査官】 大石 剛
(56)【参考文献】
【文献】 国際公開第2017/179539(WO,A1)
【文献】 特開2010−068041(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63F 13/60
G10K 15/02
H04R 3/00
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
1以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御機能と、
前記サウンド演出制御機能により出力されるオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御機能と、
前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出機能と、
外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理機能と、
前記音声デバイス情報において、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、前記第一定義ファイルまたは前記第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記サウンド演出制御機能に読み込ませる音声デバイス制御機能と、
を実現させるためのコンテンツ再生プログラム。
【請求項2】
前記音声デバイス変更検出機能は、前記音声データ経路制御機能を監視して、前記音声データ経路制御機能に接続される前記音声デバイスの接続状態に変化が生じたことを検出する機能であり
前記音声デバイス制御機能は、前記音声デバイス変更検出機能により前記音声デバイスの接続状態の変化が検出されたことを示すトリガを受信して、前記音声デバイス確認処理機能に問い合わせ要求を送信し、前記音声デバイス確認処理機能から受信した前記音声デバイス情報に応じた前記第一定義ファイルまたは前記第二定義ファイルを前記サウンド演出制御機能に読み込ませる機能である、
請求項1に記載のコンテンツ再生プログラム。
【請求項3】
更に、所望のコンテンツを再生するコンテンツ再生処理機能と、
前記コンテンツ再生処理機能から発生する画面情報を表示部に送信すると共に、操作情報を受け、前記コンテンツ再生処理機能の起動処理、停止処理、フォアグラウンド実行処理及びバックグラウンド実行処理を行う、入出力制御機能と、
前記入出力制御機能が前記コンテンツ再生処理機能の起動処理及び/またはフォアグラウンド実行処理を行ったことを検出して、前記音声デバイス制御機能にトリガを送信する初期化処理機能と、
を実現させるための、請求項2に記載のコンテンツ再生プログラム。
【請求項4】
1以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御部と、
前記サウンド演出制御部により出力されるオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御部と、
前記音声データ経路制御部を監視して、前記音声データ経路制御部に接続される前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出部と、
外部から受信した問い合わせ要求に従い、前記音声データ経路制御部に接続されているアクティブな前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理部と、
前記音声デバイス変更検出部が前記音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信して、前記音声デバイス確認処理部に問い合わせ要求を送信し、前記音声デバイス確認処理部から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御部に読み込ませる音声デバイス制御部と、を備え、
前記サウンド演出制御部は、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一または第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記オーディオデータストリームを出力する
コンテンツ再生装置。
【請求項5】
1以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出ステップと、
前記サウンド演出ステップが出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御ステップと、
前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出ステップと、
外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理ステップと、
前記音声デバイスの接続状態に変化が生じたことを示すトリガと前記音声デバイス情報を受信して、前記サウンド演出ステップにおいて、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一または第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記オーディオデータストリームを出力するステップと、を含む
コンテンツ再生方法。
【請求項6】
コンテンツ再生装置と、前記コンテンツ再生装置を制御するコンテンツ再生制御サーバとを有するコンテンツ再生システムであって
前記コンテンツ再生装置は、
1以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御部と、
前記サウンド演出制御部が出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御部と、
前記音声データ経路制御部を監視して、前記音声データ経路制御部に接続される前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出部と、
外部から受信した問い合わせ要求に従い、前記音声データ経路制御部に接続されているアクティブな前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理部と、を具備し、
前記コンテンツ再生制御サーバは、
前記コンテンツ再生装置から、前記音声デバイス変更検出部が前記音声デバイスの接続状態に変化が生じたことを示すトリガを受信して、前記コンテンツ再生装置の前記音声デバイス確認処理部に問い合わせ要求を送信し、前記音声デバイス確認処理部から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御部に読み込ませる音声デバイス制御部と、を備え
前記コンテンツ再生装置の前記サウンド演出制御部は、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一定義ファイルまたは第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記オーディオデータストリームを出力する
コンテンツ再生システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声による演出を行うコンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムに関する。
【背景技術】
【0002】
出願人は、ゲームプログラム及びゲームサービスを開発し、頒布している。近年では、ゲーム専用機向けのゲームプログラムより、スマートフォン向けのゲームプログラムあるいはゲームサービスの需要が増えている。このようなゲームは、ゲームキャラクタ(以下、単に「キャラクタ」と略)がユーザの操作に従って動くアクションゲームの要素のみならず、キャラクタが対話することでストーリーが進行するノベルゲームの要素、アニメーション動画、webブラウザ等の機能要素を統合した、複合的なコンテンツ再生機能を有する、コンテンツ再生サービスとしての側面を有する。
【0003】
このようなスマートフォン向けのゲームが成熟していくに連れて、ゲームの背景音楽(BGM:Background Music、類似語として劇伴、サウンドトラック等)及び効果音を含めた「サウンド(sound)」が、ユーザをゲームの世界観に惹き込むための重要な演出要素として、多くのユーザに認知され始めている。またこのような需要に対し、出願人を含む多くのゲームメーカが、ゲームサウンドの高品質化に力を入れている。
【0004】
特許文献1には、音声再生オブジェクトの生成と破壊が繰り返されることでCPUの演算処理負荷が大きくなった場合でも、音声再生の処理効率を向上させることができるプログラム、情報処理装置、及び情報処理方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第6482712号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
今日、スマートフォンはゲーム専用機を上回る普及率に達しており、市場規模の観点から見るとゲーム専用機に代わるゲーム実行環境として極めて重要である。しかしながら、パソコンに比肩する演算能力を有し、なおかつ小型化及び高密度化を実現するスマートフォンの内蔵スピーカは小口径であり、大口径のスピーカやヘッドフォンに比べると再生能力は不足すると言わざるを得ない。
【0007】
その一方で、スマートフォンはヘッドフォンや外部オーディオ機器を接続するための手段が複数存在するので、音質に拘るユーザは自発的にスマートフォンにヘッドフォン等を接続して、ゲームを楽しんでいる。すなわち、内蔵スピーカで再生されるゲームサウンドと、ヘッドフォン等の外付け音響機器(External Sound Devices)で再生されるゲームサウンドの印象は、再生される高音領域と低音領域の幅、音の細かいニュアンスの再現性の違いなどから生じる、迫力や臨場感の点で大きく異なっている。
以上のことから、コンテンツ再生環境としてのスマートフォンにおいて、内蔵スピーカには内蔵スピーカに適したサウンド環境を、外付け音響機器には外付け音響機器に適したサウンド環境を、それぞれ実現することが望ましい。
【0008】
本発明は係る課題に鑑みてなされたものであり、サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のコンテンツ再生プログラムは、1以上のサウンドファイルを読み込んで、サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御機能と、サウンド演出制御機能により出力されるオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御機能と、音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出機能と、外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理機能と、をコンピュータに実現させる。
更に、本発明のコンテンツ再生プログラムは、音声デバイス情報において、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一定義ファイルまたは第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな音声デバイスに適したサウンドファイルを選択して、サウンド演出制御機能に読み込ませる音声デバイス制御機能をコンピュータに実現させる。
【発明の効果】
【0010】
本発明により、サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
図1】本発明の第一の実施形態に係るコンテンツ再生装置と周辺環境を示す概略図である。
図2】コンテンツ再生装置のハードウェア構成を示すブロック図である。
図3】コンテンツ再生装置のソフトウェア機能を示すブロック図である。
図4】ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部の処理の流れを示すフローチャートである。
図5】音声デバイス変更トリガを検出した時における、コンテンツ再生処理部の処理の流れを示すフローチャートである。
図6】ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。
図7】ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。
図8】ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。
図9】音声デバイスが外部オーディオ機器と内蔵スピーカである場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
図10】本発明の第二の実施形態に係るコンテンツ再生装置と周辺環境を示す概略図である。
【発明を実施するための形態】
【0012】
ゲームにおけるサウンドは、BGMを鳴らしながらゲームの効果音やキャラクタの台詞を同時に再生する等、複数の音源が同時に発音している。つまり、ゲームにおけるサウンドの処理には、複数のデジタルオーディオファイルをデコードしてデジタルオーディオストリームデータに変換し、それらにイコライジング処理を施し、さらに適切なミキシング処理を施す、という処理が必要になる。ゲーム開発においてこのような複雑な処理を実装することは時間と費用が嵩む。一方で、サウンドの処理は定型的な処理であるため、特許文献1に開示されるように、出願人を含む多くのゲームメーカは、サウンドの処理をサードパーティ製のサウンドミドルウェアに任せている。
【0013】
従来のコンシューマゲームは、TV等の優れたコンテンツ再生環境が固定的に設けられていることを前提として制作されており、スマートフォンやタブレットPC等の端末特有の、内蔵スピーカと外付け音響機器を選択的に利用できるコンテンツ再生環境を想定していない。また、スマートフォンやタブレットPC等においても、内蔵スピーカと外付け音響機器の切り替えを検出して、自動でサウンドファイルの選択やイコライザを自動的に切り替える機能を有するゲームは未だ制作されていない。
【0014】
そこで本発明は、ゲームシステムがサウンドの再生環境(内蔵スピーカかそれとも外付け音響機器か)を監視し、最終的なサウンドの出力先に応じて、適したサウンドファイルとイコライザやミキサ等のDSP設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする。
【0015】
本発明によれば、例えば、ヘッドフォン使用時のイコライザ設定(例えば重低音を強調したもの)と、内蔵スピーカ使用時のイコライザ設定(例えば中高域を強調したもの)を別々に用意する。ユーザが内蔵スピーカを使用する場合は、全体の中高域を強調して、ノイズ環境下でも聞き取りやすいサウンド再生イコライジングを選択することができる。また、ユーザがヘッドフォンやイヤフォンを使用する場合は、BGMの重低音を強調したサウンド再生イコライジングに動的に切り替えることができる。
【0016】
また同様に、ヘッドフォン使用時の音源ファイル(例えば重低音を含んだもの)と、内蔵スピーカ使用時の音源ファイル(例えば高音のみでメロディーを構成したもの)を別々に用意する。これにより、ユーザが内蔵スピーカを使用する場合は、全体の高音を強調してノイズ環境下でも聞き取りやすいサウンドファイルと、キャラクタのボイスを強調したイコライザ設定やミキサ設定を選択することができる。
【0017】
[第一の実施形態:コンテンツ再生装置101:全体構成]
図1は、本発明の第一の実施形態に係るコンテンツ再生装置101と周辺環境を示す概略図である。
スマートフォンはゲームプログラムを読み込んで、コンテンツ再生装置101として機能する。ユーザはコンテンツ再生装置101のタッチパネルディスプレイ101aを操作して、ゲームに興じる。
【0018】
図1に示すように、コンテンツ再生装置101は、サーバ102からインターネット103経由で、広域無線通信の基地局104あるいはは無線LANルータ105を通してゲームプログラムをダウンロードして、実行する。
コンテンツ再生装置101は、ゲームプログラムを実行すると、内蔵スピーカ106でゲームコンテンツにおける音声や音楽等のサウンドを発する。また、ヘッドフォン107、スピーカやアンプ等の外部オーディオ機器が有線であるケーブル108または無線で接続されている場合には、これらの外部オーディオ機器から同様にサウンドを発する。
【0019】
[第一の実施形態:コンテンツ再生装置101:ハードウェア構成]
図2はコンテンツ再生装置101のハードウェア構成を示すブロック図である。
周知のコンピュータであるコンテンツ再生装置101は、バス209に接続されているCPU201、ROM202、RAM203、LCD等である表示部204、静電式タッチパネルである操作部205、広域無線通信部206、無線LANインターフェース207、及び不揮発性ストレージ208を備える。
バス209にはこの他に、DSP210、D/A変換器211、USBまたはLightning(登録商標)等のシリアルインターフェース(以下「シリアルI/F」と略)212、Bluetooth(登録商標)等の近距離無線通信部213が接続されている。
【0020】
不揮発性ストレージ208には、ゲームのBGM、ゲームの効果音、キャラクタの台詞等が収録された複数のサウンドファイルが格納されている。これら複数のサウンドファイルは、DSP210及び/またはCPU201に読み込まれてデコードされる。デコードされたサウンドデータストリームは、イコライジングが施され、ミキシングするデジタル信号処理が行われた後、現在アクティブな音声デバイスに送られる。
【0021】
例えば、現在アクティブな音声デバイスが内蔵スピーカ106であれば、複数のサウンドファイルがD/A変換器211に送られる。現在アクティブな音声デバイスが外部アナログヘッドフォン214であれば、複数のサウンドファイルがD/A変換器211に送られ、外部オーディオ端子215からアナログオーディオ信号が出力される。なお、外部オーディオ端子215(ミニステレオジャック)には図示しないスイッチが内蔵されており、このスイッチのオン・オフ状態がバス209を通じて稼働するOS等のプログラムによって把握される。
【0022】
また、現在アクティブな音声デバイスが外部デジタルヘッドフォン216であれば、複数のサウンドファイルがUSBまたはLighting(登録商標)であるシリアルI/F212に送られる。外部デジタルヘッドフォン216はD/A変換器217を内蔵し、D/A変換器217はヘッドフォンユニット218を駆動する。
【0023】
現在アクティブな音声デバイスがBluetooth(登録商標)ヘッドフォンやBluetooth(登録商標)オーディオインターフェース等の近距離無線オーディオ機器219であれば、複数のサウンドファイルが近距離無線通信部213に送られる。近距離無線オーディオ機器219は近距離無線通信部220とD/A変換器221を内蔵する。近距離無線通信部220は近距離無線通信部213から受信した電波からデジタルオーディオデータを復調する。復調されたデジタルオーディオデータはD/A変換器221によってアナログ信号に変換され、D/A変換器221はヘッドフォンユニット222を駆動する。
【0024】
[第一の実施形態:コンテンツ再生装置101:ソフトウェア機能]
図3はコンテンツ再生装置101のソフトウェア機能を示すブロック図である。
OSである入出力制御部301は、操作部205の操作情報を解釈し、必要に応じてコンテンツ再生処理部302に操作情報を引き渡す。
また、入出力制御部301は、コンテンツ再生処理部302が出力する画面表示データを表示部204に引き渡す。
【0025】
入出力制御部301は、複数のアプリケーションプログラムのフォアグラウンド/バックグラウンド実行を管理し、フォアグラウンドに指定されたプログラムにはその旨を示すトリガを与える。なお、ここで、フォアグラウンド状態とは、タッチパネルディスプレイに表示され、ユーザが操作可能なアプリケーションプログラムを指し、バックグランド状態とは、他のアプリケーションと同時実行しているものの直接的に操作できない他のアプリケーションプログラムを指す。
【0026】
コンテンツ再生処理部302は、ゲームプログラムの本体である。
コンテンツ再生処理部302は、シナリオデータ等に基づくゲームキャラクタの表示部204への表示と動作の制御、動画ファイルの再生、サウンドファイルの再生、テキストデータの表示等、種々のコンテンツをユーザの操作等に応じた表示部204へ表示または再生を実行する。
【0027】
コンテンツ再生処理部302は、初期化処理部303と音声デバイス制御部304を含む。
初期化処理部303は、コンテンツ再生処理部302の起動時とフォアグラウンド復帰時に、OSである入出力制御部301からのトリガに呼応して起動され、所定の処理を実行する。
音声デバイス制御部304は、初期化処理部303からのトリガと、入出力制御部301の機能の一部である音声デバイス変更検出部305からのトリガを受けると、音声デバイスの確認を行い、サウンド演出制御部306に適切な定義ファイルの指定を行う。
【0028】
図3中、第一定義ファイル310は現在アクティブな音声デバイスが内蔵スピーカ106である場合に使用する定義ファイルである。第二定義ファイル311は現在アクティブな音声デバイスが内蔵スピーカ106以外である場合に使用する定義ファイルである。
【0029】
入出力制御部301は、その機能の一部として、音声デバイス変更検出部305と、音声デバイス確認処理部307を含む。
音声デバイス変更検出部305は、音声データ経路制御部308をポーリングして、音声デバイスの変更を検出し、トリガを生成する。
音声デバイス確認処理部307は、コンテンツ再生処理部302の音声デバイス制御部304から送られる音声デバイス情報の要求に応じて音声データ経路制御部308にアクセスして、現在アクティブな音声デバイス情報を取得し、要求元である音声デバイス制御部304に送る。
【0030】
サウンドミドルウェアであるサウンド演出制御部306は、コンテンツ再生処理部302から指定された定義ファイルを読み込んだ上で、コンテンツ再生処理部302から発される命令に従い、サウンドファイル群309から必要なサウンドファイルを読み出す。そして、読み出したサウンドファイルのデコード及び再生処理、サウンドストリームデータに対するイコライジング処理を実行する。これらの処理は、図2に示すCPU201及びDSP210の演算リソースを利用して実現される。サウンド演出制御部306は、これらの演算処理の結果として、統合サウンドストリームデータを生成する。
【0031】
サウンド演出制御部306が出力する統合サウンドストリームデータは、OSの機能の一部である音声データ経路制御部308に送られる。
音声データ経路制御部308は、現在アクティブな音声デバイスに対し、選択的に統合サウンドストリームデータを送る。外部音声デバイスが何も接続されていない時は、D/A変換器211を通じて内蔵スピーカ106に統合サウンドストリームデータを送る。但し、OSの機能によってミュートが設定されている場合は、内蔵スピーカ106に対する統合サウンドストリームデータの出力は行わない。
【0032】
図3に示すように、音声データ経路制御部308には、複数の外部音声デバイスが接続され得る。
外部アナログヘッドフォン214は、ミニステレオジャックよりなる外部オーディオ端子215に接続される。音声データ経路制御部308から出力される統合サウンドストリームデータは、D/A変換器211に送られて、アナログオーディオ信号に変換される。D/A変換器211から出力されるアナログオーディオ信号は、外部オーディオ端子215を通じて、外部アナログヘッドフォン214に出力される。外部オーディオ端子215にはスイッチが内蔵されており、このスイッチのオン・オフ状態は、音声データ経路制御部308によって把握される。
【0033】
外部デジタルヘッドフォン216は、シリアルI/F212に接続されている。音声データ経路制御部308から出力される統合サウンドストリームデータは、シリアルI/F212を通じて外部デジタルヘッドフォン216に内蔵されるD/A変換器217に送られて、アナログオーディオ信号に変換される。D/A変換器217から出力されるアナログオーディオ信号は、アナログヘッドフォンユニット218に出力される。
【0034】
Bluetooth(登録商標)ヘッドフォンやBluetooth(登録商標)オーディオインターフェース等の近距離無線オーディオ機器219は、近距離無線通信部213と無線通信にて双方向通信が確立される。その上で、音声データ経路制御部308から出力される統合サウンドストリームデータは、近距離無線通信部213から近距離無線オーディオ機器219に内蔵される近距離無線通信部220を経てD/A変換器221に供給され、D/A変換器221によってアナログオーディオ信号に変換される。D/A変換器221から出力されるアナログオーディオ信号は、アナログヘッドフォンユニット222あるいは図示しないオーディオアンプ等に出力される。
【0035】
Android(登録商標)やiOS(登録商標)等のスマートフォン用OSは、マルチタスクOSであり、複数のアプリケーションプログラムを同時に実行可能である。その一方で、ユーザが直接操作可能なアプリケーションプログラムはタッチパネルディスプレイに表示されるが、他のプログラムは一部の例外を除いて表示されないので直接操作することができない。
なお、既に述べたように、タッチパネルディスプレイ全面に表示され、操作可能なアプリケーションプログラムをフォアグラウンド状態と呼び、同時実行しているものの直接的に操作できない他のアプリケーションプログラムをバックグラウンド状態と呼ぶ。
【0036】
本発明の実施形態に係るコンテンツ再生装置101を実現するコンテンツ再生処理部302はゲームプログラム本体であり、種々の操作が可能なフォアグラウンド状態ではサウンド出力を行うが、逆に、種々の操作が不可能なバックグラウンド状態では、BGM鑑賞機能を装備するゲームプログラム等、一部の例外を除き、基本的にはサウンド出力を行わない。
また、コンテンツ再生処理部302は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に、それまでサウンド出力を行わなかった状態から、サウンド出力を行う状態に変化する。したがってコンテンツ再生処理部302は、これらの状況においてサウンド出力を実行する音声デバイスを確認する必要がある。そこでコンテンツ再生処理部302は、起動時とフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、定義ファイルに基づいて音声デバイスに適したサウンドファイルを用いてサウンド演出制御部306の設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、定義ファイルに基づいて変更された音声デバイスに適したサウンドファイルを用いたサウンド演出制御部306の設定を行う。
【0037】
[第一の実施形態:コンテンツ再生装置101:全体の処理の流れ]
図4は、ゲーム起動時及びフォアグランド復帰における、コンテンツ再生処理部302の処理の流れを示すフローチャートである。
処理を開始すると(S401)、コンテンツ再生処理部302は初期化処理部303を起動して、所定の初期化処理を実行する(S402)。
その後、コンテンツ再生処理部302は初期化処理部303を通じて音声デバイス制御部304を起動する。
音声デバイス制御部304は、現在アクティブな音声デバイスを確認するために、入出力制御部301の音声デバイス確認処理部307に、現在アクティブな音声デバイス情報を問い合わせる(S403)。
【0038】
もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ106であれば(S404のYES)、コンテンツ再生処理部302は第一定義ファイルをサウンド演出制御部306に読み込むよう指示する(S405)。
もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ106以外であれば(S404のNO)、コンテンツ再生処理部302は第二定義ファイルをサウンド演出制御部306に読み込むよう指示する(S406)。
以上で、ゲーム起動時及びフォアグランド復帰時の一連の処理を終了する(S407)。
【0039】
図5は、音声デバイス変更トリガの検出時における、コンテンツ再生処理部302の処理の流れを示すフローチャートである。
音声デバイス制御部304が、音声デバイス変更検出部305が発するトリガを検出した場合には(S501)、コンテンツ再生処理部302は音声デバイス制御部304を起動する。
音声デバイス制御部304は、現在アクティブな音声デバイスを確認するために、入出力制御部301の音声デバイス確認処理部307に、現在アクティブな音声デバイス情報を問い合わせる(S502)。
【0040】
もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ106であれば(S503のYES)、コンテンツ再生処理部302は第一定義ファイルをサウンド演出制御部306に読み込むよう指示する(S504)。
もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ106以外であれば(S503のNO)、コンテンツ再生処理部302は第二定義ファイルをサウンド演出制御部306に読み込むよう指示する(S505)。
【0041】
以上で、音声デバイス変更トリガの検出時の一連の処理を終了するが(S506)、図5のステップS502〜S505の処理は、ゲーム起動時及びフォアグラウンド復帰時における図4に示すステップS403〜S406の処理と同じである。すなわち、ゲーム起動時及びフォアグラウンド復帰時(図4)と音声デバイス変更トリガの検出時(図5)の処理は、ステップS402に示す初期化処理を除くと同じ処理になる。
【0042】
図6は、ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部302の処理の流れを示すタイミングチャートである。図4に対応する。また、この図6は例えばAndroid(登録商標)とiOS(登録商標)で実行されうる処理を含む。
ユーザが操作部205を操作することにより(S601)、操作部205から生成される操作情報は、OSである入出力制御部301によってゲーム起動処理またはフォアグラウンド復帰処理となる(S602)。
【0043】
入出力制御部301からゲーム起動処理またはフォアグラウンド復帰処理によって発生するトリガは、コンテンツ再生処理部302に送られる。このトリガは、コンテンツ再生処理部302の内部で初期化処理部303に送られる。更にこのトリガは、初期化処理部303から音声デバイス制御部304に転送される。
入出力制御部301から初期化処理部303を通じてトリガを受信した音声デバイス制御部304は、入出力制御部301の音声デバイス確認処理部307に音声デバイス確認処理を指示する(S603)。
【0044】
音声デバイス確認処理部307は、音声データ経路制御部308に問い合わせを行う。音声デバイス確認処理部307は、音声データ経路制御部308から取得した音声デバイス情報に基づいて音声デバイス確認処理を行い、現在アクティブな音声デバイスを示す音声デバイス情報を音声デバイス制御部304に返送する(S604)。
音声デバイス制御部304は、音声デバイス確認処理部307から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定する。そして、サウンド演出制御部306に指定した定義ファイルの読み込みを指示する(S605)。
【0045】
サウンド演出制御部306は音声デバイス制御部304から指定された定義ファイルを読み込み、サウンドファイル名、イコライザ設定、ミキサ設定等を行う(S606)。そして、音声デバイス制御部304からの要求に従いサウンド処理を開始する(S607)。
【0046】
図7は、ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部302の処理の流れを示すタイミングチャートである。但し、図7は例えばスマートフォンのOSがAndroid(登録商標)の場合を含む。
ゲームプログラム本体であるコンテンツ再生処理部302はコンテンツ再生処理を実行し続けている。この時、コンテンツ再生処理部302の音声デバイス制御部304はコンテンツ再生処理に伴ってサウンド演出制御部306にサウンド処理命令を発行し続ける(S701)。サウンド演出制御部306はこれを受けて、サウンド処理を実行し続ける(S702)。
そのような状況において、入出力制御部301の音声デバイス変更検出部305は音声データ経路制御部308に対して、音響機器の着脱等の変化をリアクティブ(Reactive)に検出する(S703)。
【0047】
・アナログヘッドフォンのミニステレオプラグがミニステレオジャックに差し込まれた、
・外部デジタルヘッドフォン216がシリアルI/F212に接続された、
・近距離無線オーディオ機器219がペアリング処理を完遂した、
・或いはこれら外部オーディオ機器が取り外された
の、何れかが行われたことにより、音声データ経路制御部308が音声デバイスの変更処理を行うと(S704)、音声デバイス変更検出部305はこの変更処理を検出し、音声デバイス変更トリガをコンテンツ再生処理部302の音声デバイス制御部304へ送信する(S705)。その後、音声デバイス変更検出部305は再び音響機器の着脱等の変化をリアクティブに検出する(S706)。
【0048】
コンテンツ再生処理部302の音声デバイス制御部304は、音声デバイス変更検出部305からトリガを受信すると、入出力制御部301の音声デバイス確認処理部307に音声デバイス確認処理を指示する(S707)。
音声デバイス確認処理部307は、音声データ経路制御部308に問い合わせを行う(S708)。音声データ経路制御部308は音声デバイス確認処理部307に対し、音声デバイス名を回答する(S709)。
音声デバイス確認処理部307は、音声データ経路制御部308から音声デバイス名を取得すると、コンテンツ再生処理部302の音声デバイス制御部304へ音声デバイス名を返送する(S710)。
【0049】
音声デバイス制御部304は、音声デバイス確認処理部307から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定し、サウンド演出制御部306に指定した定義ファイルの読み込みを指示する(S711)。
サウンド演出制御部306は音声デバイス制御部304から指定された定義ファイルを読み込むと、サウンドファイル名、イコライザ設定、ミキサ設定等の再設定を行う(S712)。再設定が完了したら、サウンド演出制御部306は新たな設定に基づくサウンド処理を実行する(S713)。
【0050】
図8は、ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部302の処理の流れを示すタイミングチャートである。但し、図8は例えばスマートフォンのOSがiOS(登録商標)の場合を含む。
ゲームプログラム本体であるコンテンツ再生処理部302はコンテンツ再生処理を実行し続けている。この時、音声デバイス制御部304はコンテンツ再生処理に伴ってサウンド演出制御部306にサウンド処理命令を発行し続ける(S801)。サウンド演出制御部306はこれを受けて、サウンド処理を実行し続ける(S802)。
そのような状況において、入出力制御装置301の音声デバイス変更検出部305は音声データ経路制御部308に対して、音響機器の着脱等の変化をリアクティブに検出する(S803)。
【0051】
・アナログヘッドフォンのミニステレオプラグがミニステレオジャックに差し込まれた、
・外部デジタルヘッドフォン216がシリアルI/F212に接続された、
・近距離無線オーディオ機器219がペアリング処理を完遂した、
・或いはこれら外部オーディオ機器が取り外された
の、何れかが行われたことにより、音声データ経路制御部308が音声デバイスの変更処理を行うと(S804)、音声デバイス変更検出部305はこの変更処理を検出し、音声デバイス変更トリガ及び音声デバイス情報を音声デバイス制御部304へ送信する(S805)。その後、音声デバイス変更検出部305は再び音響機器の着脱等の変化をリアクティブに検出する(S806)。
【0052】
コンテンツ再生処理部302の音声デバイス制御部304は音声デバイス変更検出部305から音声デバイス変更トリガ及び音声デバイス情報を受信すると、音声デバイス変更検出部305から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定し(S807)、サウンド演出制御部306に指定した定義ファイルの読み込みを指示する(S808)。
【0053】
サウンド演出制御部306は音声デバイス制御部304から指定された定義ファイルを読み込むと、サウンドファイル名、イコライザ設定、ミキサ設定等の再設定を行う(S809)。再設定が完了したら、サウンド演出制御部306は新たな設定に基づくサウンド処理を実行する(S810)。
【0054】
[第一の実施形態:コンテンツ再生装置101:設定例]
図9Aは、音声デバイスが外部オーディオ機器である場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
例えば、ヘッドフォン使用時のイコライザ設定では、図9Aのように125Hzを中心に中低域を強調すると共に、8kHz以上を強調するゲインにて設定する。この設定により、高音から低音までを格好良く再生することができる。
【0055】
図9Bは、音声デバイスが内蔵スピーカ106である場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
一方で、内蔵スピーカ106使用時のイコライザ設定では、図9Bのようにキャラクタの音声を強調するべく、500Hz及び1kHzを中心に中音域を強調したゲインにて設定する。この設定により、キャラクタのボイスの魅力を内蔵スピーカ106でも的確に再生することができる。
【0056】
また、図示はしないが、音声デバイスが外部オーディオ機器である場合と、内蔵スピーカ106である場合とでは、異なるミキサの設定を用いることが望ましい。
汎用機器であるスマートフォンの内蔵スピーカ106の性能は、ヘッドフォン等の音声再生に特化した専用機器に比べて低い場合が多い。このため、スマートフォンの内蔵スピーカ106で再生されるゲームサウンドと、ヘッドフォン等の外付け音響機器で再生されるゲームサウンドの印象は、再生される高音領域と低音領域の幅、音の細かいニュアンスの再現性の違いなどから生じる、迫力や臨場感の点で大きく異なっている。
【0057】
戦闘ゲームにおいて複数のキャラクタが敵キャラクタに攻撃を仕掛ける際に、技の名称(技名)を叫ぶシチュエーションがある。メインキャラクタの音声は大きな音量で発音させ、他のキャラクタの音声はメインキャラクタよりも小さな音量で発音させる。この時、他のキャラクタの音量を、ゲーム上の戦闘フィールドにおける距離に応じて変化させることで、ゲームに臨場感を与えることが可能になる。
しかし、内蔵スピーカ106ではこの臨場感を再現することが困難であるばかりでなく、キャラクタの音声を小さくし過ぎてしまうとBGM等の他のサウンドに埋もれる可能性が高い。
【0058】
そこで、音声デバイスが外部オーディオ機器である場合は、サブキャラクタの音量を戦闘フィールドにおける距離に応じて変化させる。一方、音声デバイスが内蔵スピーカ106である場合は、サブキャラクタの音量を戦闘フィールドにおける距離によらず、一律にメインキャラクタの音量の例えば70%程度に固定化する。
【0059】
[第二の実施形態:コンテンツ再生装置101:全体構成]
例えば、広域無線通信の規格が現在の4Gから5Gと呼ばれる第5世代移動通信システムに代わると、単位時間当たりの通信データ量が拡大すると共に、通信の遅延(Latency:レイテンシ)も低減することが期待できる。そのような通信環境が実現すると、スマートフォン上のゲームアプリケーションプログラムも軽量化され、大半の処理をサーバ102上で実行し、画面データ等の演算結果がリアルタイムでサーバ102からスマートフォンに送信される環境が現実化すると考えられる。
このようなゲーム環境になると、本発明の第一の実施形態に係るコンテンツ再生装置101の一部の機能、例えば音声デバイス制御部304の機能をサーバ102に移設することも可能である。
【0060】
図10は本発明の第二の実施形態に係るコンテンツ再生装置1001と周辺環境を示す概略図である。
スマートフォンはゲームプログラムを読み込んで、コンテンツ再生装置1001として機能する。
ゲームプログラムは、コンテンツ再生制御サーバ1002からインターネット103経由で、広域無線通信の基地局104あるいはは無線LANルータ105を通してゲームプログラムをダウンロードして、実行される。
スマートフォンは、内蔵スピーカ106でゲームコンテンツにおける音声や音楽等のサウンドを発する。また、外部のヘッドフォンで同様にサウンドを発する。
【0061】
図10に示すように、コンテンツ再生制御サーバ1002は、音声デバイス制御部304を内包しているものとする。
音声デバイス制御部304は、コンテンツ再生装置1001から音声デバイス変更検出部305が音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信すると、コンテンツ再生装置1001の音声デバイス確認処理部307に問い合わせ要求を送信する。そして、音声デバイス確認処理部307から受信した音声デバイス情報に応じた定義ファイルを、サウンド演出制御部306に読み込ませる制御指示を、コンテンツ再生装置1001に送信する。
【0062】
音声デバイス制御部304がコンテンツ再生制御サーバ1002に存在するため、コンテンツ再生装置1001は単体ではコンテンツ再生機能を完全には実現することができない。コンテンツ再生装置1001はコンテンツ再生制御サーバ1002と通信することで、コンテンツ再生機能を有するコンテンツ再生システム1003となる。
以上の構成で、コンテンツ再生システム1003は第一の実施形態に係るコンテンツ再生装置101と同様の作用効果を得ることが可能である。
【0063】
以上、第一の実施形態にて説明したコンテンツ再生装置101及び第二の実施形態にて説明したコンテンツ再生システム1003はそれぞれ、サウンド演出制御部306、音声データ経路制御部308、音声デバイス変更検出部305、音声デバイス確認処理部307及び音声デバイス制御部304を具備する。これらサウンド演出制御部306が実現するサウンド演出制御機能、音声データ経路制御部308が実現する音声データ経路制御機能、音声デバイス変更検出部305が実現する音声デバイス変更検出機能、音声デバイス確認処理部307が実現する音声デバイス確認処理機能、音声デバイス制御部304が実現する音声デバイス制御機能は、スマートフォン等のコンピュータにおいてコンテンツ再生装置101を構成するコンテンツ再生プログラムによって実現される。
【0064】
また、コンテンツ再生処理部302は、所望のコンテンツを再生するコンテンツ再生処理機能を実現し、入出力制御部301はコンテンツ再生処理機能から発生する画面情報を表示部に送信すると共に、操作情報を受け、コンテンツ再生処理機能の起動処理、停止処理、フォアグラウンド実行処理及びバックグラウンド実行処理を行う入出力制御機能を実現する。また、初期化処理部303は、入出力制御機能がコンテンツ再生処理機能の起動処理及び/またはフォアグラウンド実行処理を行ったことを検出して、音声デバイス制御機能にトリガを送信する初期化処理機能を実現する。
【0065】
なお、本発明の実施形態に係るコンテンツ再生装置101及びコンテンツ再生システム1003では、サウンドファイルの選択、イコライザ設定、ミキサ設定を音声デバイスに応じて切り替えるが、変更する設定はこれに限らない。例えば、エコーやディレイ、コーラス等のサウンドエフェクトも音声デバイスに応じて変更可能にしてもよい。
【0066】
また、図3では内蔵スピーカ106の用途である第一定義ファイル310と、内蔵スピーカ106以外の用途である第二定義ファイル311を開示したが、定義ファイルの数はもっと多くてもよい。例えば、市販のヘッドフォンの周波数特性に応じた定義ファイルを用意し、任意の手段でヘッドフォンの機種名を取得したらそれに応じて最適な定義ファイルを選択する構成にしてもよい。
【0067】
更に、本発明の実施形態に係るコンテンツ再生装置101及びコンテンツ再生システム1003では、スマートフォンを対象に説明したが、本発明が実施可能なデバイスはスマートフォンに限られない。本発明は音声再生デバイスを接続可能なデジタルデバイスであれば、携帯型ゲーム機やパーソナルコンピュータ等でも実施可能である。
【0068】
本発明の実施形態では、コンテンツ再生装置101及びコンテンツ再生システム1003と、これを実現するコンテンツ再生プログラムを開示した。
コンテンツ再生処理部302は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、音声デバイスに適した設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、変更された音声デバイスに適した設定を行う。これにより、音声デバイスに応じてゲーム製作者の意図した音響により近い再生が可能になる。
【0069】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【符号の説明】
【0070】
101…コンテンツ再生装置、101a…タッチパネルディスプレイ、102…サーバ、103…インターネット、104…基地局、105…無線LANルータ、106…内蔵スピーカ、107…ヘッドフォン、108…ケーブル、201…CPU、202…ROM、203…RAM、204…表示部、205…操作部、206…広域無線通信部、207…無線LANインターフェース、208…不揮発性ストレージ、209…バス、210…DSP、211…D/A変換器、212…シリアルインターフェース、213…近距離無線通信部、214…外部アナログヘッドフォン、215…外部オーディオ端子、216…外部デジタルヘッドフォン、217…D/A変換器、218…ヘッドフォンユニット、219…近距離無線オーディオ機器、220…近距離無線通信部、221…D/A変換器、222…ヘッドフォンユニット、301…入出力制御部、302…コンテンツ再生処理部、303…初期化処理部、304…音声デバイス制御部、305…音声デバイス変更検出部、306…サウンド演出制御部、307…音声デバイス確認処理部、308…音声データ経路制御部、309…サウンドファイル群、310…第一定義ファイル、311…第二定義ファイル、1001…コンテンツ再生装置、1002…コンテンツ再生制御サーバ、1003…コンテンツ再生システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10