特許 6853909 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6853909

(24)【登録日】2021年3月16日

(45)【発行日】2021年3月31日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210322BHJP

【ＦＩ】

   H04N7/18 U

【請求項の数】10

【全頁数】14

(21)【出願番号】特願2020-154705(P2020-154705)

(22)【出願日】2020年9月15日

【審査請求日】2020年10月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】厚地 政明

(72)【発明者】

【氏名】林 隆一郎

(72)【発明者】

【氏名】鶴見 純一

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１０−１６１４９３（ＪＰ，Ａ）

【文献】 特開２００７−３１１９４２（ＪＰ，Ａ）

【文献】 特開２０１５−１９５５４１（ＪＰ，Ａ）

【文献】 特開平０４−２３７２８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ７／１７３

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するデータ取得部と、
前記複数の音データのうち少なくとも一部の音データに含まれている音のうち、所定の音以外の音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する表示態様決定部と、
前記表示態様決定部が決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させる表示制御部と、
を有する画像処理装置。

【請求項2】

前記表示態様決定部は、前記少なくとも一部の音データに対応する音の大きさに基づいて前記表示態様を決定する、
請求項１に記載の画像処理装置。

【請求項3】

前記表示態様決定部は、前記複数の音データのうち、第１音データに対応する第１撮像画像データの前記表示部における表示サイズよりも、第１音データよりも大きな音に対応する第２音データに対応する第２撮像画像データの前記表示サイズが大きくなるように前記表示態様を決定する、
請求項２に記載の画像処理装置。

【請求項4】

前記表示態様決定部は、前記少なくとも一部の音データに対応する音の内容に基づいて前記表示態様を決定する、
請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記撮像画像データには、当該撮像画像データが取得された撮像装置を識別するための撮像装置識別情報が含まれており、前記音データには、当該音データが取得された装置を識別するための音声装置識別情報が含まれており、
前記表示態様決定部は、前記音声装置識別情報と、前記複数の撮像装置それぞれを特定するための前記撮像装置識別情報とが関連付けられた関連情報を参照することにより、前記表示態様を決定する、
請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記撮像画像データには、当該撮像画像データが取得された位置を示す第１位置情報が含まれており、前記音データには、当該音データが取得された位置を示す第２位置情報が含まれており、
前記表示態様決定部は、前記第１位置情報が示す位置から最も近い位置に対応する前記第２位置情報に対応する前記音データの状態に基づいて前記表示態様を決定する、
請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記データ取得部は、前記複数の撮像装置それぞれに設けられた指向性マイクロフォンにより取得された前記複数の音データを取得する、
請求項１から６のいずれか一項に記載の画像処理装置。

【請求項8】

複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するデータ取得部と、
前記複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する表示態様決定部と、
前記表示態様決定部が決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させる表示制御部と、
を有し、
前記撮像画像データには、当該撮像画像データが取得された位置を示す第１位置情報が含まれており、前記音データには、当該音データが取得された位置を示す第２位置情報が含まれており、
前記表示態様決定部は、前記第１位置情報が示す位置から最も近い位置に対応する前記第２位置情報に対応する前記音データの状態に基づいて前記表示態様を決定する、画像処理装置。

【請求項9】

コンピュータが、
複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するステップと、
前記複数の音データのうち少なくとも一部の音データに含まれている音のうち、所定の音以外の音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定するステップと、
決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させるステップと、
を実行する画像処理方法。

【請求項10】

コンピュータを、
複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するデータ取得部と、
前記複数の音データのうち少なくとも一部の音データに含まれている音のうち、所定の音以外の音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する表示態様決定部と、
前記表示態様決定部が決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させる表示制御部と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、画像を表示できる端末に、複数のカメラで撮像された複数の動画を配信し、端末に複数の動画を表示する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１−２８９５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の端末は、予め定められた配置またはユーザが任意に設定した配置で複数の動画を表示していた。しかし、複数の動画のいずれかにおいて、多くのユーザの関心を惹きつけるような注目シーンが配信されても、ユーザが他の動画を閲覧している場合には当該シーンを見逃してしまう可能性があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、動画の内容に適した表示態様でユーザが複数の動画を閲覧できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の画像処理装置は、複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するデータ取得部と、前記複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する表示態様決定部と、前記表示態様決定部が決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させる表示制御部と、を有する。

【0007】

前記表示態様決定部は、前記少なくとも一部の音データに対応する音の大きさに基づいて前記表示態様を決定してもよい。

【0008】

前記表示態様決定部は、前記複数の音データのうち、第１音データに対応する第１撮像画像データの前記表示部における表示サイズよりも、第１音データよりも大きな音に対応する第２音データに対応する第２撮像画像データの前記表示サイズが大きくなるように前記表示態様を決定してもよい。

【0009】

前記表示態様決定部は、前記少なくとも一部の音データに対応する音の内容に基づいて前記表示態様を決定してもよい。

【0010】

前記撮像画像データには、当該撮像画像データが取得された撮像装置を識別するための撮像装置識別情報が含まれており、前記音データには、当該音データが取得された装置を識別するための音声装置識別情報が含まれており、前記表示態様決定部は、前記音識別情報と、前記複数の撮像装置それぞれを特定するための前記撮像装置識別情報とが関連付けられた関連情報を参照することにより、前記表示態様を決定してもよい。

【0011】

前記撮像画像データには、当該撮像画像データが取得された位置を示す第１位置情報が含まれており、前記音データには、当該音データが取得された位置を示す第２位置情報が含まれており、前記表示態様決定部は、前記第１位置情報が示す位置から最も近い位置に対応する前記第２位置情報に対応する前記音データの状態に基づいて前記表示態様を決定してもよい。

【0012】

前記表示態様決定部は、前記音データに含まれている音のうち、所定の音以外の音の状態に基づいて前記表示態様を決定してもよい。

【0013】

前記データ取得部は、前記複数の撮像装置それぞれに設けられた指向性マイクロフォンにより取得された前記複数の音データを取得してもよい。

【0014】

本発明の第２の態様の画像処理方法は、コンピュータが、複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するステップと、前記複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定するステップと、決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させるステップと、を実行する。

【0015】

本発明の第３の態様のプログラムは、コンピュータを、複数の撮像装置が所定の領域を撮影することにより生成した複数の撮像画像データと、前記複数の撮像装置が前記所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するデータ取得部と、前記複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、前記複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する表示態様決定部と、前記表示態様決定部が決定した表示態様で前記特定撮像画像データを表示させるように前記複数の撮像画像データを表示部に表示させる表示制御部と、として機能させる。

【発明の効果】

【0016】

本発明によれば、動画の内容に適した表示態様でユーザが複数の動画を閲覧できるようになるという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】複数のカメラが競技場に設置されている状態を示す模式図である。

【図2】複数のカメラが作成した複数の撮像画像データに基づく画像がディスプレイに表示された状態を示す図である。

【図3】画像処理システムのシステム構成図である。

【図4】サーバの構成を示す図である。

【図5】複数のカメラ、サーバ及びユーザ端末の動作シーケンスを示す図である。

【図6】ユーザ端末の構成を示す図である。

【図7】第２の実施形態における複数のカメラ、サーバ及びユーザ端末の動作シーケンスを示す図である。

【発明を実施するための形態】

【0018】

［画像処理システムＳの概要］
図１及び図２は画像処理システムＳの概要を説明するための図である。画像処理システムＳは、それぞれ異なるアングルから所定の領域を撮影する複数の撮像装置であるカメラＣ（図１においてはＣ１〜Ｃ５）が出力した複数の撮像画像データに基づく画像を、画像を見る人（以下、「ユーザ」という）が使用するディスプレイに同時に表示するシステムである。カメラＣは、例えば競技が開催されている競技場、又はイベントが開催されているイベント会場に設置されており、所定の領域は、それぞれのカメラＣが撮影可能な領域である。本明細書において、複数のカメラＣ１〜Ｃ５のそれぞれを区別する必要がない場合、カメラＣと称することがある。

【0019】

図１は、複数のカメラＣ１〜Ｃ５が競技場に設置されている状態を示す模式図である。図２は、複数のカメラＣ１〜Ｃ５が作成した複数の撮像画像データに基づく画像がディスプレイに表示された状態を示す図である。撮像画像データは、例えば動画像であるが、静止画像であってもよい。

【0020】

画像処理システムＳは、複数のカメラＣ１〜Ｃ５のそれぞれの位置で取得された音の状態に基づいて、ディスプレイに表示する画像の態様を変化させることができるという特徴を有する。音の状態は、例えば音の大きさ、音の内容又は音の周波数のように、カメラＣが撮影している領域の状態と関連性がある情報により表される。画像処理システムＳにおいては、例えば、大きな音が取得された位置のカメラＣで撮影された画像が、ディスプレイにおいて他の画像よりも目立つように表示される。例えば、大きな音が取得された位置のカメラＣで撮影された画像が、他の画像よりも大きく表示されたり、特別な枠で囲まれた状態で表示されたりする。

【0021】

図２（ａ）は、ディスプレイにおける複数の領域Ｒ１〜Ｒ５のそれぞれに、カメラＣ１〜Ｃ５で撮影された画像が表示されている状態を示している。図２（ａ）においては、カメラＣ１で撮影された画像が、最も大きい領域Ｒ１に表示されており、他の画像は、領域Ｒ１よりも小さな領域Ｒ２〜Ｒ５に表示されている。

【0022】

図２（ｂ）は、図２（ａ）の状態の後に、カメラＣ５で取得された音が、他のカメラＣ１〜Ｃ４で取得された音よりも大きい場合にディスプレイに表示された画像の例を示している。図２（ｂ）においては、図２（ａ）において領域Ｒ１に表示されていたカメラＣ１で撮影された画像に代わって、カメラＣ５で撮影された画像が領域Ｒ１に表示されている。画像処理システムＳにおいては、このように、大きく表示される画像が、撮影された位置において取得された音の状態によって変化するので、例えば大きな歓声が起きた位置に近い位置で撮影された画像が大きく表示される。その結果、多くのユーザの関心を惹きつけるような注目シーンをユーザが見逃しにくくなる。

【0023】

図３は、画像処理システムＳのシステム構成図である。画像処理システムＳは、複数のカメラＣ（Ｃ１〜Ｃ５）と、サーバ１と、ユーザ端末２とを有する。複数のカメラＣ、サーバ１及びユーザ端末２は、ネットワークＮを介して各種のデータを送受信する。ネットワークＮは、インターネット又は携帯電話網等を含む。

【0024】

サーバ１は、ネットワークＮを介して、複数のカメラＣそれぞれから撮像画像データと音データを取得する。サーバ１は、取得した音データが示す音の状態に基づいて、ユーザ端末２に表示させる際の表示態様を他の画像と異なる表示態様にするべき撮像画像データを決定する。サーバ１は、決定した表示態様で複数の撮像画像データに基づく画像をユーザ端末２に表示させるようにユーザ端末２を制御する画像処理装置の一例である。

【0025】

ユーザ端末２は、サーバ１から配信される複数の撮像画像データに基づく複数の画像を表示するディスプレイを有する端末であり、例えば、スマートフォン、タブレット又はパーソナルコンピュータである。ユーザ端末２の台数は任意である。画像処理システムＳにおいては、例えば、ユーザ端末２がサーバ１から複数の撮像画像データ及び少なくとも１つの音データの配信を受けて、配信された複数の撮像画像データを同時に表示するが、ユーザ端末２は、サーバ１を介することなく複数のカメラＣから複数の撮像画像データ及び少なくとも１つの音データを取得し、少なくとも１つの音データが示す音の状態に基づく表示態様で複数の撮像画像データに基づく画像をディスプレイに表示してもよい。

【0026】

＜第１実施形態＞
まず、サーバ１が表示態様を決定する実施形態について説明する。この場合、ユーザ端末２は、サーバ１から指示された表示態様に基づいて複数の撮像画像データに基づく複数の画像をディスプレイに表示する。

【0027】

［サーバ１の構成］
図４は、サーバ１の構成を示す図である。サーバ１は、通信部１１と、記憶部１２と、制御部１３とを有する。制御部１３は、データ取得部１３１、表示態様決定部１３２及び表示制御部１３３を有する。

【0028】

通信部１１は、ネットワークＮを介して複数のカメラＣ及びユーザ端末２との間でデータを送受信するための通信インターフェースを有する。通信部１１は、複数のカメラＣから受信した複数の撮像画像データ及び音データをデータ取得部１３１に入力する。また、通信部１１は、表示制御部１３３から入力された配信用の撮像画像データ及び音データを、ネットワークＮを介してユーザ端末２へと送信する。

【0029】

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶している。また、記憶部１２は、通信部１１が受信した複数の撮像画像データを一時的に記憶する。

【0030】

制御部１３は、例えばＣＰＵ（Central Processing Unit）を有しており、記憶部１２に記憶されたプログラムを実行することにより、データ取得部１３１、表示態様決定部１３２及び表示制御部１３３として機能する。

【0031】

データ取得部１３１は、通信部１１を介して、複数のカメラＣが所定の領域を撮影することにより生成した複数の撮像画像データと、複数の撮像装置が所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得する。データ取得部１３１は、例えば複数のカメラＣそれぞれに設けられた指向性マイクロフォンにより取得された複数の音データを取得する。複数のカメラＣが競技場に設置されている場合、観客席の歓声に基づいて、目立つように表示される撮像画像データが選択されるように、データ取得部１３１は、カメラＣが撮影する向きと反対向きに指向性を有するマイクロフォンにより取得された複数の音データを取得してもよい。

【0032】

データ取得部１３１は、カメラＣが出力した撮像画像データと、カメラＣの位置において取得された音に対応する音データとを同時に取得してもよく、共通の識別情報が付された撮像画像データと音データとを別々に取得してもよい。データ取得部１３１は、取得した撮像画像データ及び音データを表示態様決定部１３２に入力する。データ取得部１３１は、取得した撮像画像データ及び音データを記憶部１２に記憶させてもよい。

【0033】

表示態様決定部１３２は、複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する。特定撮像画像データは、撮像画像データに関連付けてデータ取得部１３１が取得した音データに対応する音の状態が、他の撮像画像データに関連付けられた音データに対応する音の状態と異なる特徴を有する撮像画像データである。

【0034】

表示態様決定部１３２は、このような特定撮像画像データの表示態様を、他の撮像画像データよりもユーザが見る確率が高まるようにする。表示態様決定部１３２は、例えば、特定撮像画像データを他の撮像画像データよりも大きな表示態様に決定したり、特別な枠を付けた表示態様に決定したりする。図２に示した例の場合、表示態様決定部１３２は、領域Ｒ１に特定撮像画像データが表示されるように表示態様を決定する。表示態様決定部１３２は、特定撮像画像データを表示する領域に、他の撮像画像データを表示する領域と異なる色の枠を表示するようにしたり、枠を点滅させるようにしたりしてもよい。表示態様決定部１３２は、特定撮像画像データを表示する領域に、他の撮像画像データを表示する領域には表示されないマークを表示させてもよい。

【0035】

表示態様決定部１３２は、少なくとも一部の音データに対応する音の大きさに基づいて表示態様を決定する。この場合、特定撮像画像データに対応する音の状態は、例えば大歓声の音を含む状態であり、他の撮像画像データに対応する音よりも大きなレベルの状態である。一例として、表示態様決定部１３２は、複数の音データのうち、第１音データに対応する第１撮像画像データの表示サイズよりも、第１音データよりも大きな音に対応する第２音データに対応する第２撮像画像データの表示サイズが大きくなるように表示態様を決定する。表示態様決定部１３２がこのように動作することで、大歓声が取得された位置のカメラＣが出力した撮像画像データをユーザが視認しやすくなるので、ユーザが注目すべきシーンをユーザが見逃しにくくなる。

【0036】

表示態様決定部１３２は、所定の閾値以上の音量に対応する撮像画像データを特定撮像画像データとして、他の撮像画像データの表示態様と異なる表示態様にしてもよい。所定の閾値以上は、例えばユーザにより設定された値、又は大歓声の音量に対応する値である。複数の撮像画像データが特定撮像画像データに該当する場合、表示態様決定部１３２は、複数の特定撮像画像データを他の撮像画像データの表示態様と異なる表示態様にしてもよい。表示態様決定部１３２がこのように動作することで、ユーザが注目すべき画像が複数ある場合に、ユーザが複数の画像を見ることができる。

【0037】

表示態様決定部１３２は、少なくとも一部の音データに対応する音の内容に基づいて表示態様を決定してもよい。例えば、表示態様決定部１３２は、音データに含まれている音のうち、所定の音以外の音の状態に基づいて表示態様を決定する。表示態様決定部１３２は、音声認識をしたり、音の性状を解析したりすることにより、音データが示す音の内容が、ユーザが注目すべきシーンが撮影された位置と関係ない所定の音（例えば場内アナウンスの声又は外来音）であるか否かを判定する。表示態様決定部１３２は、音データが示す音の内容が、ユーザが注目すべきシーンが撮影された位置と関係ないと判定した場合、このような音データが示す音が、他の位置で取得された音よりも大きいとしても、このような音に対応する撮像画像データを他の撮像画像データと異なる表示態様にしない。

【0038】

一方、表示態様決定部１３２は、特定の音の内容が、ユーザが注目すべきシーンが撮影された位置と関係する内容（例えば大歓声の声）である場合、他の位置で取得された歓声以外の音よりも小さいとしても、特定の音に対応する撮像画像データを他の撮像画像データよりも目立つ表示態様にする。表示態様決定部１３２がこのように動作することで、ユーザが注目する必要がない画像が目立つように表示されてしまうことを防げる。

【0039】

撮像画像データには、撮像画像データが取得されたカメラＣを識別するための撮像装置識別情報が含まれており、音データには、音データが取得された音声装置（例えばマイクロフォン）を識別するための音声装置識別情報が含まれていてもよい。この場合、表示態様決定部１３２は、記憶部１２に記憶された、音声装置識別情報と撮像装置識別情報とが関連付けられた関連情報を参照することにより、撮像画像データに対応する音データを特定する。そして、特定した音データが示す音の状態に基づいて、表示態様を決定する。表示態様決定部１３２がこのように動作することで、カメラＣに内蔵されていない外部マイクロフォンで音データが取得された場合であっても、音の状態に基づく表示態様にすることができる。

【0040】

撮像画像データには、当該撮像画像データが取得された位置を示す第１位置情報が含まれており、音データには、当該音データが取得された位置を示す第２位置情報が含まれていてもよい。この場合、表示態様決定部１３２は、第１位置情報が示す位置から最も近い位置に対応する第２位置情報に対応する音データの状態に基づいて表示態様を決定する。

【0041】

すなわち、表示態様決定部１３２は、第２位置情報が含まれた複数の音データをデータ取得部１３１が取得した場合に、撮像画像データを出力したカメラＣから最も近い位置に設置されたマイクロフォンで取得された音データが示す音の状態に基づいて表示態様を決定する。表示態様決定部１３２がこのように動作することで、複数の外部マイクロフォンで音データが取得された場合であっても、最も適した音の状態に基づく表示態様にすることができるので、適切な表示態様にすることができる。

【0042】

表示制御部１３３は、表示態様決定部１３２が決定した表示態様で、複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データを表示させるように複数の撮像画像データをユーザ端末２のディスプレイに表示させるようにユーザ端末２を制御する。表示制御部１３３は、例えば、最も大きな歓声を示す音データに対応する撮像データに、特定撮像画像データであることを示すフラグを付した状態で当該撮像データをユーザ端末２に送信することで、ユーザ端末２が、特定撮像画像データに対応する画像をユーザが注目しやすいように表示できるようにする。表示制御部１３３は、表示態様決定部１３２が決定した表示態様で構成された画面のデータをユーザ端末２に送信することにより、表示態様決定部１３２が決定した表示態様で特定撮像画像データをユーザ端末２に表示させてもよい。

【0043】

［画像処理システムＳにおける動作シーケンス］
図５は、複数のカメラＣ、サーバ１及びユーザ端末２の動作シーケンスを示す図である。複数のカメラＣは、サーバ１に対して撮像画像データ及び音データを送信する。表示態様決定部１３２は、データ取得部１３１が取得した音データが示す音の状態を特定し（Ｓ１１）、特定した音の状態に基づいて、複数の撮像画像データに対応する複数の画像の表示態様を決定する（Ｓ１２）。表示制御部１３３は、表示態様決定部１３２が決定した表示態様に対応する画面データを作成し（Ｓ１３）、作成した画面データと音データとを関連付けてユーザ端末２に送信する。ユーザ端末２は、サーバ１から受信した画面データに基づく画面をディスプレイに表示する（Ｓ１４）。

【0044】

複数のカメラＣ、サーバ１及びユーザ端末２は、複数のカメラＣが撮像画像データ及び音データを送信している間、図５に示す処理を繰り返す。複数のカメラＣ、サーバ１及びユーザ端末２がこのように動作することで、ユーザ端末２が、図２（ｂ）に示したように、多くのユーザの関心を惹きつけるような注目シーンをユーザが見やすいようにディスプレイに表示することができる。

【0045】

＜第２の実施形態＞
第１の実施形態においては、サーバ１が音の状態に基づいて表示態様を決定したが、ユーザ端末２が表示態様を決定してもよい。この場合、サーバ１は、複数のカメラＣとユーザ端末２との間で撮像画像データを中継する中継装置として機能する。

【0046】

図６は、ユーザ端末２の構成を示す図である。ユーザ端末２は、表示部２０と、通信部２１と、記憶部２２と、制御部２３とを有する。制御部２３は、データ取得部２３１、表示態様決定部２３２及び表示制御部２３３を有する。

【0047】

表示部２０は、複数の撮像画像データに基づく画像を表示するディスプレイである。表示部２０は、表示制御部２３３が作成した画面データを表示する。

【0048】

通信部２１は、ネットワークＮを介してサーバ１から撮像画像データ及び音データを受信するための通信インターフェースである。通信部２１は、受信した撮像画像データ及び音データをデータ取得部２３１に入力する。

【0049】

記憶部２２は、ＲＯＭ及びＲＡＭを含む記憶媒体である。記憶部２２は、制御部２３が実行するプログラムを記憶している。記憶部２２は、通信部２１が受信した撮像画像データ及び音データを一時的に記憶してもよい。

【0050】

制御部２３は、例えばＣＰＵを有しており、記憶部２２に記憶されたプログラムを実行することにより、データ取得部２３１、表示態様決定部２３２及び表示制御部２３３として機能する。

【0051】

データ取得部２３１は、第１実施形態に係るサーバ１が有するデータ取得部１３１と同等の動作を実行する。例えば、データ取得部２３１は、通信部２１を介して、複数のカメラＣが所定の領域を撮影することにより生成した複数の撮像画像データと、複数の撮像装置が所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得する。データ取得部２３１は、取得した撮像画像データ及び音データを表示態様決定部２３２に入力する。

【0052】

表示態様決定部２３２は、第１実施形態に係るサーバ１が有する表示態様決定部１３２と同等の動作を実行する。例えば、表示態様決定部２３２は、複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する。表示態様決定部２３２は、データ取得部１３１が実行する他の動作も実行することができる。表示態様決定部２３２は、決定した表示態様を表示制御部２３３に通知する。

【0053】

表示制御部２３３は、第１実施形態に係るサーバ１が有する１３３と同等の動作を実行する。例えば、表示制御部２３３は、表示態様決定部２３２が決定した表示態様で、複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データを表示させるように複数の撮像画像データを表示部２０に表示させる。表示制御部２３３は、例えば、表示態様決定部２３２が決定した表示態様に基づいて図２に示したような画面のデータを作成し、作成したデータを表示部２０に送信することにより、図２に示したような画面を表示部２０に表示させる。

【0054】

図７は、第２の実施形態における複数のカメラＣ、サーバ１及びユーザ端末２の動作シーケンスを示す図である。複数のカメラＣは、サーバ１に対して撮像画像データ及び音データを送信する。サーバ１は、受信した撮像画像データ及び音データを、予め登録された一以上のユーザ端末２に対して配信する。

【0055】

ユーザ端末２の表示態様決定部２３２は、データ取得部２３１が取得した音データが示す音の状態を特定し（Ｓ２１）、特定した音の状態に基づいて、複数の撮像画像データに対応する複数の画像の表示態様を決定する（Ｓ２２）。表示制御部２３３は、表示態様決定部２３２が決定した表示態様に対応する画面データを作成し（Ｓ２３）、作成した画面データを表示部２０に表示させる（Ｓ２４）。

【0056】

複数のカメラＣ、サーバ１及びユーザ端末２は、複数のカメラＣが撮像画像データ及び音データを送信している間、図７に示す処理を繰り返す。複数のカメラＣ、サーバ１及びユーザ端末２がこのように動作することで、ユーザ端末２が、図２（ｂ）に示したように、多くのユーザの関心を惹きつけるような注目シーンをユーザが見やすいようにディスプレイに表示することができる。

【0057】

［画像処理システムＳによる効果］
以上説明したように、画像処理システムＳにおいては、サーバ１又はユーザ端末２が、複数のカメラＣが出力した複数の撮像画像データ及び複数の音データを取得すると、複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する。そして、ユーザ端末２は、図２（ｂ）に示したように、例えば大きな歓声を含む音データに対応する撮像画像データを、他の撮像画像データよりも大きく表示する。画像処理システムＳがこのように構成されていることで、例えばユーザが注目すべき画像をユーザが見逃すことがないように、動画の内容に適した表示態様でユーザが複数の動画を閲覧できるようになる。

【0058】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0059】

１ サーバ
２ ユーザ端末
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 表示部
２１ 通信部
２２ 記憶部
２３ 制御部
１３１ データ取得部
１３２ 表示態様決定部
１３３ 表示制御部
２３１ データ取得部
２３２ 表示態様決定部
２３３ 表示制御部

【要約】      （修正有）

【課題】動画の内容に適した表示態様でユーザが複数の動画を閲覧できる画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】サーバ１は、複数のカメラが所定の領域を撮影することにより生成した複数の撮像画像データと、複数のカメラが所定の領域を撮影している複数の位置で取得された複数の音データと、を関連付けて取得するデータ取得部１３１と、複数の音データのうち少なくとも一部の音データが示す音の状態に基づいて、複数の撮像画像データのうち特定の撮像画像データである特定撮像画像データの表示態様を決定する表示態様決定部１３２と、表示態様決定部１３２が決定した表示態様で特定撮像画像データを表示させるように複数の撮像画像データをユーザ端末のディスプレイに表示させる表示制御部１３３と、を有する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】