知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132049
(43)【公開日】2024-09-30
(54)【発明の名称】プログラム、およびゲーム装置
(51)【国際特許分類】
H04N 5/073 20060101AFI20240920BHJP
A63F 13/54 20140101ALI20240920BHJP
【ＦＩ】
H04N5/073 B
A63F13/54
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023042684
(22)【出願日】2023-03-17
(71)【出願人】
【識別番号】000129149
【氏名又は名称】株式会社カプコン
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】田村 宏史
(72)【発明者】
【氏名】北川 貴大
(57)【要約】
【課題】ユーザに違和感を覚えさせることなく音声と映像とを同期させる。
【解決手段】コンピュータ５６を、音声を再生する音声処理部５６２と、映像を再生する映像処理部５６３と、音声と映像とを同期させる同期部５６４、として機能させる。同期部５６４は、音声と映像との同期にずれが生じたときに、音声の音量が閾値以下の箇所、または映像の輝度または明度が閾値以下の箇所で、音声と映像との同期のずれを補正するプログラム。
【選択図】図１
【解決手段】コンピュータ５６を、音声を再生する音声処理部５６２と、映像を再生する映像処理部５６３と、音声と映像とを同期させる同期部５６４、として機能させる。同期部５６４は、音声と映像との同期にずれが生じたときに、音声の音量が閾値以下の箇所、または映像の輝度または明度が閾値以下の箇所で、音声と映像との同期のずれを補正するプログラム。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータを、
音声を再生する音声処理部と、
映像を再生する映像処理部と、
前記音声と前記映像とを同期させる同期部、
として機能させ、
前記同期部は、
前記音声と前記映像との同期にずれが生じたときに、前記音声の音量が閾値以下の箇所、または前記映像の輝度または明度が閾値以下の箇所で、前記音声と前記映像との同期のずれを補正する
プログラム。
音声を再生する音声処理部と、
映像を再生する映像処理部と、
前記音声と前記映像とを同期させる同期部、
として機能させ、
前記同期部は、
前記音声と前記映像との同期にずれが生じたときに、前記音声の音量が閾値以下の箇所、または前記映像の輝度または明度が閾値以下の箇所で、前記音声と前記映像との同期のずれを補正する
プログラム。
【請求項2】
請求項１のプログラムにおいて、
前記同期部は、前記音声に再生のタイミングを示す第１タイムスタンプと、前記映像に再生のタイミングを示す第２タイムスタンプと、の差が所定値以上の場合に、前記第１タイムスタンプと前記第２タイムスタンプとの差が減少するように、前記音声と前記映像との同期のずれを補正する
プログラム。
前記同期部は、前記音声に再生のタイミングを示す第１タイムスタンプと、前記映像に再生のタイミングを示す第２タイムスタンプと、の差が所定値以上の場合に、前記第１タイムスタンプと前記第２タイムスタンプとの差が減少するように、前記音声と前記映像との同期のずれを補正する
プログラム。
【請求項3】
請求項１のプログラムにおいて、
前記同期部は、
前記映像が前記音声に対して遅延している場合には、前記音声の音量が閾値以下の箇所で前記音声の再生を遅らせる、または前記映像の輝度または明度が閾値以下の箇所で遅延時間に応じて前記映像のフレームをスキップし
前記音声が前記映像に対して遅延している場合には、前記映像の輝度または明度が閾値以下の箇所で前記映像の再生を遅らせる、または前記音声の音量が閾値以下の箇所で遅延時間に応じて前記音声のフレームをスキップすることにより、前記音声と前記映像との同期のずれを補正する
プログラム。
前記同期部は、
前記映像が前記音声に対して遅延している場合には、前記音声の音量が閾値以下の箇所で前記音声の再生を遅らせる、または前記映像の輝度または明度が閾値以下の箇所で遅延時間に応じて前記映像のフレームをスキップし
前記音声が前記映像に対して遅延している場合には、前記映像の輝度または明度が閾値以下の箇所で前記映像の再生を遅らせる、または前記音声の音量が閾値以下の箇所で遅延時間に応じて前記音声のフレームをスキップすることにより、前記音声と前記映像との同期のずれを補正する
プログラム。
【請求項4】
請求項１から請求項３のいずれか１つのプログラムを記憶した記憶部と、
ゲームプログラムを実行する制御部と、
を備えたゲーム装置。
ゲームプログラムを実行する制御部と、
を備えたゲーム装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、およびゲーム装置に関する。
【背景技術】
【0002】
音声信号と映像信号とのずれを抑制する装置がある。（例えば特許文献１を参照）。特許文献１の例では、音声信号と映像信号とがずれた場合に、音声信号の読み出し周波数を変更することにより、音声信号と映像信号とのずれを抑制する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－９８８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
音声と映像との同期を補正するタイミングによっては音飛び等が発生し、ユーザが違和感を覚えることがある。
【0005】
本開示の目的は、ユーザに違和感を覚えさせることなく音声と映像との同期を補正することにある。
【課題を解決するための手段】
【0006】
第１の態様は、コンピュータを、
音声を再生する音声処理部と、
映像を再生する映像処理部と
前記音声と前記映像とを同期させる同期部、
として機能させ、
前記同期部は、
前記音声と前記映像との同期にずれが生じたときに、前記音声の音量が閾値以下の箇所、または前記映像の輝度または明度が閾値以下の箇所で、前記音声と前記映像との同期のずれを補正する
プログラムである。
音声を再生する音声処理部と、
映像を再生する映像処理部と
前記音声と前記映像とを同期させる同期部、
として機能させ、
前記同期部は、
前記音声と前記映像との同期にずれが生じたときに、前記音声の音量が閾値以下の箇所、または前記映像の輝度または明度が閾値以下の箇所で、前記音声と前記映像との同期のずれを補正する
プログラムである。
【0007】
第１の態様において、
前記同期部は、前記音声に再生のタイミングを示す第１タイムスタンプと、前記映像に再生のタイミングを示す第２タイムスタンプと、の差が所定値以上の場合に、前記第１タイムスタンプと前記第２タイムスタンプとの差が減少するように、前記音声と前記映像との同期のずれを補正してもよい。
前記同期部は、前記音声に再生のタイミングを示す第１タイムスタンプと、前記映像に再生のタイミングを示す第２タイムスタンプと、の差が所定値以上の場合に、前記第１タイムスタンプと前記第２タイムスタンプとの差が減少するように、前記音声と前記映像との同期のずれを補正してもよい。
【0008】
第１の態様において、
前記同期部は、
前記映像が前記音声に対して遅延している場合には、前記音声の音量が閾値以下の箇所で前記音声の再生を遅らせる、または前記映像の輝度または明度が閾値以下の箇所で遅延時間に応じて前記映像のフレームをスキップし
前記音声が前記映像に対して遅延している場合には、前記映像の輝度または明度が閾値以下の箇所で前記映像の再生を遅らせる、または前記音声の音量が閾値以下の箇所で遅延時間に応じて前記音声のフレームをスキップすることにより、前記音声と前記映像との同期のずれを補正してもよい。
前記同期部は、
前記映像が前記音声に対して遅延している場合には、前記音声の音量が閾値以下の箇所で前記音声の再生を遅らせる、または前記映像の輝度または明度が閾値以下の箇所で遅延時間に応じて前記映像のフレームをスキップし
前記音声が前記映像に対して遅延している場合には、前記映像の輝度または明度が閾値以下の箇所で前記映像の再生を遅らせる、または前記音声の音量が閾値以下の箇所で遅延時間に応じて前記音声のフレームをスキップすることにより、前記音声と前記映像との同期のずれを補正してもよい。
【0009】
第２の態様は、前記態様のプログラムを記憶した記憶部と、
ゲームプログラムを実行する制御部と、
を備えたゲーム装置である。
ゲームプログラムを実行する制御部と、
を備えたゲーム装置である。
【発明の効果】
【0010】
本開示によれば、ユーザに違和感を覚えさせることなく、音声と映像との同期を補正することにある。
【図面の簡単な説明】
【0011】
【図1】ゲーム装置の構成を示すブロック図である。
【発明を実施するための形態】
【0012】
［実施形態］
以下、プログラム、ゲーム装置の実施形態について説明する。
以下、プログラム、ゲーム装置の実施形態について説明する。
【0013】
このゲームでは、ユーザがゲームプレイ中に所定の条件を満たしたときに、動画（以下、カットシーンともいう）が再生される。例えば、プレイヤキャラクタが敵キャラクタに遭遇した場合やプレイヤキャラクタが所定の地点に到達した場合、所定のカットシーンが再生される。カットシーンでは、音声データと映像データとが同期して再生される。
【0014】
《ゲーム装置の構成》
〈ハードウェアの構成〉
図１は、ゲーム装置５の構成を示すブロック図である。ゲーム装置５は、ユーザの操作に基づいて所定のゲームを実行する。ゲーム装置５には、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。
〈ハードウェアの構成〉
図１は、ゲーム装置５の構成を示すブロック図である。ゲーム装置５は、ユーザの操作に基づいて所定のゲームを実行する。ゲーム装置５には、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。
【0015】
ゲーム装置５には、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、XBox（登録商標）、PlayStation Vita（登録商標）、Nintendo Switch（登録商標）などの、市販の装置を利用できる。
【0016】
ゲーム装置５では、インストールされたゲームプログラムおよびゲームデータに基づいてゲームが進行する。ゲーム装置５同士も、通信ネットワーク（図示を省略）または近距離無線通信装置（図示せず）を用いて、互いにデータ通信を行うことができる。
【0017】
ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。
【0018】
ネットワークインターフェース５１は、例えば、他のゲーム装置５や外部のサーバ装置（図示を省略）との間で各種データを送受信するために、前記通信ネットワークに通信可能に接続される。
【0019】
グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、プレイヤキャラクタおよび仮想空間における各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２はディスプレイ６１（例えば液晶ディスプレイ）と接続されている。動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。
【0020】
オーディオ処理部５３は、スピーカ６２と接続されている。オーディオ処理部５３は、制御部５６の指示に従ってデジタルのゲーム音声を再生する。具体的には、オーディオ処理部５３は、制御部５６が出力した音声データをアナログ信号に変換し、スピーカ６２に出力する。
【0021】
オーディオ処理部５３は、３次元的な音の再生を行うために、多チャンネルの音声出力ができるように構成されている。それに合わせて、ゲーム装置５には、複数のスピーカ６２が接続されている。これらのスピーカ６２は、３次元的な音の再生ができるように、聴取者（例えばゲームのプレイヤ）の左右、前後、上方などに配置される場合がある。
【0022】
操作部５４は、コントローラ６３と接続されている。操作部５４は、信号をコントローラ６３との間で送受信する。ゲームのプレイヤは、コントローラ６３のボタン等の各種操作子を操作することで、ゲーム装置５に信号（命令やデータなど）を入力する。
【0023】
記憶部５５は、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭなどで構成される。記憶部５５には、ゲームデータ、ゲームプログラムを含む各種プログラムなどが格納されている。ゲームデータとしては、ゲーム媒体やユーザのアカウント情報などを例示できる。また、記憶部５５には、音声データおよび映像データが格納されている。
【0024】
制御部５６は、ゲーム装置５の動作を制御する。制御部５６は、ＣＰＵ（マイクロコンピュータ）、および半導体メモリを備えている。半導体メモリには、ＣＰＵを動作させるためのプログラムやデータなどが格納される。
【0025】
〈制御部５６の機能的構成〉
制御部５６は、プログラムを実行することによって、ゲーム進行部５６１、音声処理部５６２、映像処理部５６３、同期部５６４として機能する（図１参照）。
制御部５６は、プログラムを実行することによって、ゲーム進行部５６１、音声処理部５６２、映像処理部５６３、同期部５６４として機能する（図１参照）。
【0026】
－ゲーム進行部５６１－
ゲーム進行部５６１は、ユーザ（ここではゲームのプレイヤ）の操作に応じて、仮想空間内でプレイヤキャラクタＣ１を動作させる。ゲーム進行部５６１は、ノンプレイヤキャラクタや所定のオブジェクト（例えば乗り物など）も仮想空間内で動作させる。
ゲーム進行部５６１は、ユーザ（ここではゲームのプレイヤ）の操作に応じて、仮想空間内でプレイヤキャラクタＣ１を動作させる。ゲーム進行部５６１は、ノンプレイヤキャラクタや所定のオブジェクト（例えば乗り物など）も仮想空間内で動作させる。
【0027】
ゲーム進行部５６１は、例えばAI（artificial intelligence）によってノンプレイヤキャラクタや所定のオブジェクトの動作を制御する。ゲーム進行部５６１は、プレイヤキャラクタＣ１やノンプレイヤキャラクタの動作に応じて、ゲームを進行させる。
【0028】
ゲーム進行部５６１は、ユーザの指示に応じて、音声を再生することを示す信号（以下、音声信号という）を音声処理部５６２に出力する。また、ゲーム進行部５６１は、ユーザの指示に応じて、映像を再生することを示す信号（以下、映像信号という）を映像処理部５６３に出力する。
【0029】
このゲームでは、ゲーム進行部５６１が、状況に応じてカットシーンの再生を指示する。カットシーンを再生する場合、ゲーム進行部５６１は、カットシーンに係る音声信号を処理部５６２に出力する。また、ゲーム進行部５６１は、カットシーンに係る映像信号を映像処理部５６３に出力する。
【0030】
－音声処理部５６２－
このプログラムでは、種々の音声データが予め用意されている。音声処理部５６２は、ゲームの進行に応じて、音声データを再生する。具体的に音声処理部５６２は、ゲームの進行に応じて音声データを選択し、選択した音声データをオーディオ処理部５３に出力する。
このプログラムでは、種々の音声データが予め用意されている。音声処理部５６２は、ゲームの進行に応じて、音声データを再生する。具体的に音声処理部５６２は、ゲームの進行に応じて音声データを選択し、選択した音声データをオーディオ処理部５３に出力する。
【0031】
音声処理部５６２は、音声データを出力する際に、オーディオ処理部５３に、その音量を指示する。オーディオ処理部５３は、音声処理部５６２が出力した音声データを、指示された音量のアナログ信号に変換し、スピーカ６２に出力する。
【0032】
このプログラムでは、音声処理部５６２が出力する音声データには、音声を再生するタイミングを示す第１タイムスタンプが含まれる。第１タイムスタンプには、音声のどの部分をどのタイミングで再生するかの情報が含まれる。音声処理部５６２は、第１タイムスタンプに応じたタイミングで音声を再生するように、オーディオ処理部５３に指示する。
【0033】
この例では、音声を再生するタイミングが、第１タイムスタンプによって、１ミリ秒毎に設定されている。音声処理部５６２は、第１タイムスタンプに基づいて、再生中の音声が再生開始から何ミリ秒経過しているかを特定する。
【0034】
音声処理部５６２は、ゲーム進行部５６１からカットシーンに係る音声信号が入力されると、カットシーンに係る音声データ（以下、シーン音声データという）を出力する。音声処理部５６２は、第１タイムスタンプに基づいて、出力しているシーン音声データがカットシーンの開始からＴ１ミリ秒経過しているかを特定する。音声処理部５６２は、Ｔ１ミリ秒経過していることを示す信号（以下、音声同期信号という）を、同期部５６４に出力する。
【0035】
音声処理部５６２は、後述する同期部５６４からの指示に応じて、シーン音声データを編集する。音声処理部５６２は、同期部５６４からの指示に応じて、編集したシーン音声データをオーディオ処理部５３に出力する。
【0036】
－映像処理部５６３－
このプログラムでは、種々の映像データが予め用意されている。映像処理部５６３は、ゲームの進行に応じて、映像データを再生する。具体的に映像処理部５６３は、ゲームの進行に応じて映像データを選択し、選択した映像データをグラフィック処理部５２に出力する。
このプログラムでは、種々の映像データが予め用意されている。映像処理部５６３は、ゲームの進行に応じて、映像データを再生する。具体的に映像処理部５６３は、ゲームの進行に応じて映像データを選択し、選択した映像データをグラフィック処理部５２に出力する。
【0037】
映像処理部５６３は、映像データを出力する際に、グラフィック処理部５２に、その輝度および明度を指示する。グラフィック処理部５２は、映像処理部５６３が出力した映像データを、指示された輝度および明度でディスプレイ６１に出力する。
【0038】
このプログラムでは、映像処理部５６３が出力する映像データには、映像を再生するタイミングを示す第２タイムスタンプが含まれる。第２タイムスタンプには、映像のどの部分をどのタイミングで再生するかの情報が含まれる。映像処理部５６３は、第２タイムスタンプに応じたタイミングで、映像を再生するように、グラフィック処理部５２に指示する。
【0039】
この例では、映像を再生するタイミングが、第２タイムスタンプにより、１ミリ秒毎に設定されている。映像処理部５６３は、第１タイムスタンプに基づいて、再生中の映像が再生開始から何ミリ秒経過しているかを特定する。
【0040】
映像処理部５６３は、ゲーム進行部５６１からカットシーンに係る映像信号が入力されると、カットシーンに係る映像データ（以下、シーン映像データという）を出力する。映像処理部５６３は、第２タイムスタンプに基づいて、出力しているシーン映像データがカットシーンの開始からＴ２ミリ秒経過しているかを特定する。映像処理部５６３は、Ｔ２ミリ秒経過していることを示す信号（以下、映像同期信号という）を、同期部５６４に出力する。
【0041】
映像処理部５６３は、後述する同期部５６４からの指示に応じて、シーン映像データを編集する。映像処理部５６３は、同期部５６４からの指示に応じて、編集したシーン映像データをグラフィック処理部５２に出力する。
【0042】
－同期部５６４－
同期部５６４は、音声処理部５６２が出力する、音声データの情報を取得する。同期部５６４が、音声データから取得する情報としては、音声の音量を例示できる。
同期部５６４は、音声処理部５６２が出力する、音声データの情報を取得する。同期部５６４が、音声データから取得する情報としては、音声の音量を例示できる。
【0043】
同期部５６４は、映像処理部５６３が出力する、映像データの情報を取得する。同期部５６４が、映像データから取得する情報としては、映像の輝度、映像の明度を例示できる。
【0044】
同期部５６４には、音声同期信号と映像同期信号とが入力される。同期部５６４は、音声同期信号と映像同期信号に基づいて、Ｔ１とＴ２とを比較する。同期部５６４は、Ｔ１＞Ｔ２の場合に、映像が音声に対して遅延していると判定する。同期部５６４は、Ｔ１＜Ｔ２の場合に、音声が映像に対して遅延していると判定する。
【0045】
同期部５６４は、シーン音声データとシーン映像データとのずれを補正するか否かの判定を行う。同期部５６４は、Ｔ１とＴ２との差（第１タイムスタンプと第２スタンプとの差）が所定値以上の場合に、同期のずれを補正すると判定する。同期部５６４は、同期のずれを補正すると判定した場合に、シーン音声またはシーン映像の編集を、音声処理部５６２または映像処理部５６３に指示する。
【0046】
同期部５６４は、シーン音声データとシーン映像データとのずれを補正すると判定した場合に、シーン音声データの編集する箇所を判定する。同期部５６４は、シーン音声データの音量が「閾値」以下か否かを判定する。同期部５６４は、シーン音声データの音量が「閾値」以下の箇所で、シーン音声データを編集すると判定する。
【0047】
同期部５６４は、シーン音声データとシーン映像データとのずれを補正すると判定した場合に、シーン映像データの編集する箇所を判定する。同期部５６４は、シーン映像の輝度または明度が「閾値」以下か否かを判定する。同期部５６４は、シーン映像データの輝度または明度が「閾値」以下の箇所で、シーン映像データを編集すると判定する。
【0048】
このプログラムでは、同期部５６４は、シーン音声データとシーン映像データとの同期を補正するために、音声処理部５６２または映像処理部５６３に編集を指示する。この例では、同期部５６４が指示する編集として、以下の（Ａ）～（Ｄ）の４つの編集が設定されている。
【0049】
（Ａ）：シーン音声データの再生を遅らせる
（Ｂ）：シーン映像データのフレームをスキップする
（Ｃ）：シーン映像データの再生を遅らせる
（Ｄ）：シーン音声データのフレームをスキップする
同期部５６４は、同期のずれを補正すると判定した場合には、編集（Ａ）～（Ｄ）のいずれかを指示する。同期部５６４は、編集（Ａ），（Ｄ）は音声処理部５６２に、編集（Ｂ），（Ｃ）は映像処理部５６３に指示する。
（Ｂ）：シーン映像データのフレームをスキップする
（Ｃ）：シーン映像データの再生を遅らせる
（Ｄ）：シーン音声データのフレームをスキップする
同期部５６４は、同期のずれを補正すると判定した場合には、編集（Ａ）～（Ｄ）のいずれかを指示する。同期部５６４は、編集（Ａ），（Ｄ）は音声処理部５６２に、編集（Ｂ），（Ｃ）は映像処理部５６３に指示する。
【0050】
＜映像が音声に対して遅延している場合＞
同期部５６４は、映像が音声に対して遅延している場合には、編集（Ａ）または編集（Ｂ）の指示を行う。例えば、同期部５６４は、ユーザの設定に応じて、編集（Ａ）および編集（Ｂ）のいずれか一方を選択する。同期部５６４は、第１タイムスタンプと第２タイムスタンプとの差に基づいて、音声に対する映像の遅延時間がＴ１－Ｔ２ミリ秒であると判定する。
同期部５６４は、映像が音声に対して遅延している場合には、編集（Ａ）または編集（Ｂ）の指示を行う。例えば、同期部５６４は、ユーザの設定に応じて、編集（Ａ）および編集（Ｂ）のいずれか一方を選択する。同期部５６４は、第１タイムスタンプと第２タイムスタンプとの差に基づいて、音声に対する映像の遅延時間がＴ１－Ｔ２ミリ秒であると判定する。
【0051】
－（Ａ）：シーン音声データの再生を遅らせる－
同期部５６４は、Ｔ１＞Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン音声データの音量が閾値以下の箇所で、シーン音声データの再生を遅らせると判定する。同期部５６４は、シーン音声データの再生を遅らせると判定した場合に、編集（Ａ）を音声処理部５６２に指示する。
同期部５６４は、Ｔ１＞Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン音声データの音量が閾値以下の箇所で、シーン音声データの再生を遅らせると判定する。同期部５６４は、シーン音声データの再生を遅らせると判定した場合に、編集（Ａ）を音声処理部５６２に指示する。
【0052】
同期部５６４は、シーン音声データの再生を遅らせるために、シーン音声データに無音データを追加するように、音声処理部５６２に指示する。ここでの「無音データ」とは、音量が閾値以下のデータのことである。この例では、遅延時間に応じた無音データを、シーン音声データの音量が閾値以下の箇所に追加する。音声処理部５６２は、同期部５６４の指示に応じて、シーン音声データを出力する代わりに、遅延時間に応じた無音データをオーディオ処理部５３に出力する。
【0053】
音声処理部５６２が、無音データを出力する間、シーン音声データ出力が停止され第１タイムスタンプの増加が停止する。これにより、Ｔ１とＴ２との差が減少する。
【0054】
－（Ｂ）：シーン映像データのフレームをスキップする－
同期部５６４は、Ｔ１＞Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン映像データの輝度または明度が閾値以下になる箇所で、シーン映像データのフレームをスキップすると判定する。同期部５６４は、シーン映像データのフレームをスキップすると判定した場合に、編集（Ｂ）を映像処理部５６３に指示する。
同期部５６４は、Ｔ１＞Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン映像データの輝度または明度が閾値以下になる箇所で、シーン映像データのフレームをスキップすると判定する。同期部５６４は、シーン映像データのフレームをスキップすると判定した場合に、編集（Ｂ）を映像処理部５６３に指示する。
【0055】
同期部５６４は、シーン映像データのフレームをスキップさせるように、映像処理部５６３に指示する。この例では、シーン映像データの輝度または明度が閾値以下の箇所で、遅延時間に応じてフレームをスキップする。映像処理部５６３は、同期部５６４の指示に応じて、遅延時間に応じてフレームをスキップしたシーン映像データを、グラフィック処理部５２に出力する。
【0056】
映像処理部５６３が、シーン映像データのフレームをスキップすると、第２タイムスタンプはスキップしたフレーム分増加する。これにより、Ｔ１とＴ２との差が減少する。
【0057】
＜音声が映像に対して遅延している場合＞
同期部５６４は、音声が映像に対して遅延している場合には、編集（Ｃ）または編集（Ｄ）の指示を行う。例えば、同期部５６４は、ユーザの設定に応じて、編集（Ｃ）および編集（Ｄ）のいずれか一方を選択する。同期部５６４は、第１タイムスタンプと第２タイムスタンプとの差に基づいて、映像に対する音声の遅延時間がＴ２－Ｔ１ミリ秒であると判定する。
同期部５６４は、音声が映像に対して遅延している場合には、編集（Ｃ）または編集（Ｄ）の指示を行う。例えば、同期部５６４は、ユーザの設定に応じて、編集（Ｃ）および編集（Ｄ）のいずれか一方を選択する。同期部５６４は、第１タイムスタンプと第２タイムスタンプとの差に基づいて、映像に対する音声の遅延時間がＴ２－Ｔ１ミリ秒であると判定する。
【0058】
－（Ｃ）：シーン映像データの再生を遅らせる－
同期部５６４は、Ｔ１＜Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン映像データの輝度または明度が閾値以下の箇所で、シーン映像データの再生を遅らせると判定する。同期部５６４は、シーン映像データの再生を遅らせると判定した場合に、編集（Ｃ）を映像処理部５６３に指示する。
同期部５６４は、Ｔ１＜Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン映像データの輝度または明度が閾値以下の箇所で、シーン映像データの再生を遅らせると判定する。同期部５６４は、シーン映像データの再生を遅らせると判定した場合に、編集（Ｃ）を映像処理部５６３に指示する。
【0059】
同期部５６４は、シーン映像データの再生を遅らせるために、シーン映像データに暗黒データを追加するように、映像処理部５６３に指示する。ここでの「暗黒データ」とは、輝度または明度が閾値以下のデータのことである。具体的には、黒一色の画像である。この例では、遅延時間に応じた暗黒データを、シーン映像データの輝度または明度が閾値以下の箇所に追加する。映像処理部５６３は、同期部５６４の指示に応じて、シーン映像データを出力する代わりに、遅延時間に応じた暗黒データをグラフィック処理部５２に出力する。
【0060】
映像処理部５６３が、暗黒データを出力する間、第２タイムスタンプの増加は停止する。これにより、Ｔ１とＴ２との差が減少する。
【0061】
－（Ｄ）：シーン音声データの再生をスキップする－
同期部５６４は、Ｔ１＜Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン音声データの音量が閾値以下になる箇所で、シーン音声データのフレームをスキップすると判定する。同期部５６４は、シーン音声データのフレームをスキップすると判定した場合に、編集（Ｄ）を音声処理部５６２に指示する。
同期部５６４は、Ｔ１＜Ｔ２かつＴ１とＴ２との差が所定値以上の場合に、シーン音声データの音量が閾値以下になる箇所で、シーン音声データのフレームをスキップすると判定する。同期部５６４は、シーン音声データのフレームをスキップすると判定した場合に、編集（Ｄ）を音声処理部５６２に指示する。
【0062】
同期部５６４は、シーン音声データのフレームをスキップさせるように、音声処理部５６２に指示する。この例では、シーン音声データの音量が閾値以下の箇所で、遅延時間に応じてフレームをスキップする。音声処理部５６２は、同期部５６４の指示に応じて、遅延時間に応じてフレームをスキップしたシーン音声データを、オーディオ処理部５３に出力する。
【0063】
音声処理部５６２が、シーン音声データのフレームをスキップすると、第１タイムスタンプはスキップしたフレーム分増加する。これにより、Ｔ１とＴ２との差が減少する。
【0064】
《動作例》
ゲームが開始されると、ゲーム進行部５６１は、ユーザ（ここではゲームのプレイヤ）のコントローラ６３の操作に応じて、ゲームを進行させる。ゲームが進行すると、カットシーンの再生が開始する。
ゲームが開始されると、ゲーム進行部５６１は、ユーザ（ここではゲームのプレイヤ）のコントローラ６３の操作に応じて、ゲームを進行させる。ゲームが進行すると、カットシーンの再生が開始する。
【0065】
同期部５６４は、カットシーンの再生が開始すると、以下の処理を行う。
【0066】
（１）音声または映像が遅延しているか否かの判定
（２）第１タイムスタンプと第２タイムスタンプとの差が所定値以上か否かの判定
（３）音声の音量が閾値以下であるか否かの判定
（４）映像の輝度または明度が閾値以下であるか否かの判定
（５）映像と音声との同期のずれを補正
例えば、カットシーンの再生中に、音声処理部５６２（映像処理部５６３）の処理に遅延が生じたと仮定する。音声処理部５６２（映像処理部５６３）の処理の遅延により、シーン音声データとシーン映像データとの同期がずれたと仮定する。これらの仮定の下で、カットシーンが再生されているものとする。
（２）第１タイムスタンプと第２タイムスタンプとの差が所定値以上か否かの判定
（３）音声の音量が閾値以下であるか否かの判定
（４）映像の輝度または明度が閾値以下であるか否かの判定
（５）映像と音声との同期のずれを補正
例えば、カットシーンの再生中に、音声処理部５６２（映像処理部５６３）の処理に遅延が生じたと仮定する。音声処理部５６２（映像処理部５６３）の処理の遅延により、シーン音声データとシーン映像データとの同期がずれたと仮定する。これらの仮定の下で、カットシーンが再生されているものとする。
【0067】
同期部５６４には、音声処理部５６２から音声同期信号が、映像処理部５６３から映像同期信号が入力される。同期部５６４は、音声同期信号と映像同期信号とに基づいて、Ｔ１とＴ２とを比較する。同期部５６４は、Ｔ１＞Ｔ２（Ｔ１＜Ｔ２）の場合に、シーン映像データがシーン音声データ（シーン音声データがシーン映像データ）に対して遅延していると判定する。
【0068】
同期部５６４は、Ｔ１とＴ２との差を計算する。同期部５６４は、Ｔ１とＴ２との差が所定値以上である場合に、同期のずれを補正すると判定する。
【0069】
同期部５６４は、カットシーンの音量、輝度および明度を取得する。同期部５６４は、カットシーンの音量が閾値以下であるか否かを判定する。また、同期部５６４は、カットシーンの輝度または明度が閾値以下であるか否かを判定する。同期部５６４は、カットシーンの音量、輝度および明度のいずれか１つが閾値以下であると判定したときに、編集（Ａ）～（Ｄ）のいずれかを指示する。
【0070】
同期部５６４の編集（Ａ）～（Ｄ）のいずれかの指示に応じて、音声処理部５６２または映像処理部５６３がシーン音声データまたはシーン映像データを編集する。これにより、シーン音声データとシーン映像データとの同期のずれが補正される。
【0071】
以上をまとめると、コンピュータ（制御部５６）を、音声を再生する音声処理部５６２と、映像を再生する映像処理部５６３と、音声と映像とを同期させる同期部５６４として機能させ、同期部５６４は、音声と映像との同期にずれが生じたときに、音声の音量が閾値以下の箇所、または映像の輝度または明度が閾値以下の箇所で、音声と映像との同期のずれを補正するプログラムである。
【0072】
《本実施形態の効果》
このプログラムでは、映像と音声との同期がずれた場合に、音量、輝度および明度のいずれか１つが閾値以下の場合に、映像と音声との同期のずれが補正される。例えば、音量が大きい場合に、音声を編集すると、ユーザが音声の編集に気づきやすい。また、輝度または明度が高い場合に、映像を編集すると、ユーザが映像の編集に気づきやすい。
このプログラムでは、映像と音声との同期がずれた場合に、音量、輝度および明度のいずれか１つが閾値以下の場合に、映像と音声との同期のずれが補正される。例えば、音量が大きい場合に、音声を編集すると、ユーザが音声の編集に気づきやすい。また、輝度または明度が高い場合に、映像を編集すると、ユーザが映像の編集に気づきやすい。
【0073】
本プログラムでは、音量が閾値以下の場合には、音声データを編集することにより、輝度または明度が閾値以下の場合には、映像データを編集することにより、映像と音声との同期のずれを補正する。このため、ユーザが、音声または映像の編集に気づきにくく、ユーザの違和感を抑制しながら、音声と映像との同期を補正できる。
【0074】
［その他の実施形態］
音声および映像は、必ずしも予め用意しておく必要はない。音声および映像は、何らかのデータないしは情報を基に、その都度、合成したり生成したりしてもよい。
音声および映像は、必ずしも予め用意しておく必要はない。音声および映像は、何らかのデータないしは情報を基に、その都度、合成したり生成したりしてもよい。
【0075】
同期部５６４は、カットシーンにおいて、シーン音声データの音量が閾値以下の箇所と、シーン映像データの輝度または明度が閾値以下の箇所と、どちらが先に再生されるかを判定してもよい。同期部５６４は、音量（輝度または明度）が閾値以下の箇所が先に再生されると判定した場合に、シーン音声データ（シーン映像データ）の編集を指示するとしてもよい。
【0076】
同期部５６４は、Ｔ１とＴ２との差（第１タイムスタンプと第２スタンプとの差）が所定値以上の場合に、同期のずれを補正すると判定するとしたが、「所定値」は常に同じ値が設定されていてもよい。また、「所定値」は、ゲームの状況によって変化してもよいし、音声データや映像データの種類ごとに異なっていてもよい。
【0077】
音声の音量に係る「閾値」は、常に同じに設定されていてもよい。また、音声の音量に係る「閾値」は、ゲームの状況によって変化してもよいし、音声データの種類ごとに異なっていてもよい。
【0078】
映像の輝度および明度に係る「閾値」は、常に同じに設定されていてもよい。また、映像の輝度および明度に係る「閾値」は、ゲームの状況によって変化してもよいし、映像データの種類ごとに異なっていてもよい。
【0079】
上記実施形態において、ゲームのカットシーンにおけるシーン音声データとシーン映像データとの同期のずれの補正として説明したが、これに限定されない。音声データと映像データとをタイムスタンプを利用して同期させるものであれば適用できる。具体的には、ゲームの映像とゲームの環境音や効果音とを同期させるためにも適用できる。また、ゲームに係る映像・音声には限定されない。音声と動画とがストリーミングによってやり取りされる、ビデオ通話や動画配信等にも適用できる。
【0080】
上記実施形態において、音声データの再生を遅らせる編集を、無音データを追加する編集として説明したが、これに限定されない。音声データの再生を遅らせる編集は、例えば、音声データの再生速度を遅らせる編集でもよいし、音声データを一時停止させる編集でもよいし、音声データを巻き戻す編集でもよいし、音声データをループ再生する編集でもよい。要は、第１タイムスタンプの増加を、第２タイムスタンプの増加に比べて遅らせる編集であればよい。
【0081】
上記実施形態において、映像データの再生を遅らせる編集を、暗闇データを追加する編集として説明したが、これに限定されない。映像データの再生を遅らせる編集は、例えば、映像データの再生速度を遅らせる編集でもよいし、映像データを一時停止させる編集でもよいし、映像データを巻き戻す編集でもよいし、映像データをループ再生する編集でもよい。要は、第２タイムスタンプの増加を、第１タイムスタンプの増加に比べて遅らせる編集であればよい。
【0082】
上記実施形態において、映像データが音声データに対して遅延している場合に、同期部５６４が編集（Ａ）または編集（Ｂ）の指示を行うと説明したが、これに限定されない。同期部５６４は、編集（Ａ）と編集（Ｂ）とを同時に指示してもよい。これにより、Ｔ１とＴ２との差が小さくなればよい。
【0083】
上記実施形態において、音声データが映像データに対して遅延している場合に、同期部５６４が編集（Ｃ）または編集（Ｄ）の指示を行うと説明したが、これに限定されない。同期部５６４は、編集（Ｃ）と編集（Ｄ）とを同時に指示してもよい。これにより、Ｔ１とＴ２との差が小さくなればよい。
【0084】
上記実施形態において、編集（Ａ）を指示された音声処理部５６２が、Ｔ１－Ｔ２ミリ秒の再生時間の無音データを追加すると説明したが、これに限定されない。Ｔ１－Ｔ２よりも短い再生時間の無音データを追加してもよい。また、複数の音量が閾値よりも小さい箇所にＴ１－Ｔ２よりも短い時間の無音データを追加してもよい。
【0085】
上記実施形態において、編集（Ｃ）を指示された映像処理部５６３が、Ｔ２－Ｔ１ミリ秒の再生時間の暗黒データを追加すると説明したが、これに限定されない。Ｔ２－Ｔ１ミリ秒よりも短い再生時間の暗黒データを追加してもよい。また、複数の輝度または明度が閾値以下の箇所にＴ２－Ｔ１ミリ秒よりも短い再生時間の暗黒データを追加してもよい。
【0086】
本プログラムによる処理は、ユーザ用装置（ゲーム装置５）が接続されたサーバ装置で行ってもよいし、ユーザ用装置とサーバ装置とで分担してもよい。この形態は、オンラインゲーム用のゲームプログラムとして本プログラムを実装する場合に想定される形態である。
【0087】
これらの他の実施形態を採用した場合においても、本態様の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。
【符号の説明】
【0088】
5 ゲーム装置
55 記憶部
56 制御部（コンピュータ）
561 ゲーム進行部
562 音声処理部
563 映像処理部
564 同期部
55 記憶部
56 制御部（コンピュータ）
561 ゲーム進行部
562 音声処理部
563 映像処理部
564 同期部
【図1】
