特許 7253302 情報処理システム、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-03-29

(45)【発行日】2023-04-06

(54)【発明の名称】情報処理システム、プログラム及び情報処理方法

(51)【国際特許分類】

   H04N 13/296 20180101AFI20230330BHJP

   H04N 13/111 20180101ALI20230330BHJP

   H04N 13/239 20180101ALI20230330BHJP

   H04N 13/398 20180101ALI20230330BHJP

   H04N 13/122 20180101ALI20230330BHJP

【ＦＩ】

H04N13/296

H04N13/111

H04N13/239

H04N13/398

H04N13/122

【請求項の数】 8

(21)【出願番号】P 2023025850

(22)【出願日】2023-02-22

【審査請求日】2023-02-22

(31)【優先権主張番号】P 2022181577

(32)【優先日】2022-11-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】522444472

【氏名又は名称】株式会社ＡＳＥＤ Ｌａｂ．

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】相川 洋輝

(72)【発明者】

【氏名】若原 誠之

(72)【発明者】

【氏名】太田 啓路

(72)【発明者】

【氏名】冨尾 太朗

(72)【発明者】

【氏名】清水 康則

(72)【発明者】

【氏名】土居 史昭

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１２－１８６７４６（ＪＰ，Ａ）

【文献】特開平８－１９１４１９（ＪＰ，Ａ）

【文献】国際公開第２０１９／００３５５６（ＷＯ，Ａ１）

【文献】特開２００７－３２３５８３（ＪＰ，Ａ）

【文献】特開平１０－２８３４６９（ＪＰ，Ａ）

【文献】特開２０１２－１２９７６６（ＪＰ，Ａ）

【文献】特開２０１１－０７１９２８（ＪＰ，Ａ）

【文献】特開２０２１－０９２９９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２１／００

Ｈ０４Ｎ ７／１８

Ｇ０２Ｂ ３０／００

Ｇ０３Ｂ ３５／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

情報処理システムであって、
制御部を有し、
前記制御部は、
第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、前記第１撮像装置とは異なる第２撮像装置によって連続撮像された、前記所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得し、ここで前記第１画像データ及び前記第２画像データは、複数のフレームを含む２次元の画像データで、
所定の同期処理を用いて、前記第１画像データと前記第２画像データとを同期させ、
同期された前記第１画像データと前記第２画像データとに基づいて、撮像中の前記所定対象を３次元で視認可能な３次元用画像データを出力し、ここで前記３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差が補正され、前記第１画像データ及び前記第２画像データは、前記所定対象を俯瞰するように補正されたデータである、
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記同期処理は、画像処理によって行われる処理であり、
前記制御部は、
前記画像処理によって、前記第１画像データにおける１つのフレームと撮像時刻が略同一の、前記第２画像データにおける１つのフレームを特定することで、前記第１画像データと前記第２画像データとを同期させる、
情報処理システム。

【請求項3】

請求項２に記載の情報処理システムにおいて、
前記制御部は、
前記第１画像データ又は前記第２画像データにおいて、少なくとも１つのフレームの欠損が検出された場合、欠損した前記フレームである第１フレームの、直前の第２フレームを前記第１フレームの時刻においても取得する、
情報処理システム。

【請求項4】

請求項１に記載の情報処理システムにおいて、
前記制御部は、
前記第１画像データ及び前記第２画像データを合成した画像をユーザインタフェースに表示させ、
前記ユーザインタフェースは、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、
情報処理システム。

【請求項5】

請求項４に記載の情報処理システムにおいて、
前記制御部は、
前記第１画像データと前記第２画像データとのそれぞれについてグリッドを表示させ、ここで前記グリッドは、前記グリッドの交点を移動させることで、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、
情報処理システム。

【請求項6】

請求項１に記載の情報処理システムにおいて、
前記同期処理は、画像処理によって行われる処理であり、前記画像処理は、前記第１画像データ及び前記第２画像データにおいて、共通の動きの情報が検出されたことをもって同時刻と判定する処理である、
情報処理システム。

【請求項7】

プログラムであって、
コンピュータを、請求項１～６のいずれか１つに記載の情報処理システムの前記制御部として機能させるためのプログラム。

【請求項8】

情報処理システムが実行する情報処理方法であって、
請求項１～６のいずれか１つに記載の情報処理システムの前記制御部が実行する各処理を備える、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

従来の技術において、二台以上の複数のカメラの動作を同期制御し、立体映像を生成するために必要な映像情報を取得可能な映像同期撮影システムの提供を課題とし、第一クロック信号を発生させる第一クロック発生器と、第二クロック信号を発生させる第二クロック発生器と、第一撮影ユニットと、第一クロック信号または第二クロック信号に切換えて第二撮影ユニットに出力する切換出力部と、第一撮影ユニットと同一内部回路で形成された第二撮影ユニットと、第一撮影ユニットからの第一映像情報及び第二撮影ユニットからの第二映像情報の入力を受付け、位相差を判定する位相比較ユニットと、映像情報等の位相が一致すると、第一撮影ユニット及び第二撮影ユニットに第一クロック信号を出力させて動作制御を同期させる同期制御部とを具備する撮像システムが開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－１００９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明では上記事情を鑑み、クロック信号を使用せずに２台のカメラの画像データを同期させ、３次元用画像データを出力することと、魚眼レンズを使用するカメラ等の種々のカメラを２台用いて、リアルタイムに、所定対象の状況を俯瞰視点かつ３次元で視認することと、フレーム欠損が発生した場合であっても、欠損が発生したフレームの直前のフレームにより補完するため、リアルタイム性を損ねないことと、３次元用画像データを出力するにあたって、複雑な情報処理を必要としないため、サーバ装置及び情報表示装置のメモリキャッシュの使用も少なくすることと、のうち少なくとも何れか１つを達成することが可能な技術を提供することとした。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を有する。制御部は、第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、第１撮像装置とは異なる第２撮像装置によって連続撮像された、所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得する。第１画像データ及び第２画像データは、複数のフレームを含む２次元の画像データである。所定の同期処理を用いて、第１画像データと第２画像データとを同期させる。同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力する。３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、第１画像データ及び第２画像データの少なくとも一方に含まれる収差が補正される。

【0006】

本開示によれば、クロック信号を使用せずに２台のカメラの画像データを同期させ、３次元用画像データを出力することと、魚眼レンズを使用するカメラ等の種々のカメラを２台用いて、リアルタイムに、所定対象の状況を俯瞰視点かつ３次元で視認することと、フレーム欠損が発生した場合であっても、欠損が発生したフレームの直前のフレームにより補完するため、リアルタイム性を損ねないことと、３次元用画像データを出力するにあたって、複雑な情報処理を必要としないため、サーバ装置及び情報表示装置のメモリキャッシュの使用も少なくすることと、のうち少なくとも何れか１つを達成することが可能な技術を提供することとした。

【図面の簡単な説明】

【0007】

【図1】情報処理システム１のシステム構成の一例を示す図である。

【図2】サーバ装置２のハードウェア構成の一例を示す図である。

【図3】情報表示装置３のハードウェア構成の一例を示す図である。

【図4】情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。

【図5】第１画像データ及び第２画像データの同期及びフレームの欠損に関する情報処理のイメージの一例を示す図である。

【図6】取得した画像情報に対して実行される画像加工の流れの一例を示す図である。

【図7】取得した画像情報に対して実行される画像加工の流れの一例を示す図である。

【図8】取得した画像情報に対して実行される画像加工の流れの一例を示す図である。

【図9】取得した画像情報に対して実行される画像加工の流れの一例を示す図である。

【図10】取得した画像情報に対して実行される画像加工の流れの一例を示す図である。

【図11】取得した画像情報に対して実行される画像加工の流れの一例を示す図である。

【発明を実施するための形態】

【0008】

［実施形態］
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0009】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させて情報表示装置でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0010】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0011】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0012】

１．情報処理システム１のシステム構成
まず、図１を参照しながら本実施形態の情報処理システム１のシステム構成について説明する。

【0013】

図１は、情報処理システム１のシステム構成の一例を示す図である。図１が示すように、情報処理システム１は、サーバ装置２、情報表示装置３と、第１撮像装置４－１と、第２撮像装置４－２と、ネットワークＮと、被写体Ｓとを含む。サーバ装置２は、ネットワークＮを介して、情報表示装置３と通信可能に構成される。これにより、サーバ装置２及び情報表示装置３は、相互に様々な情報を送信又は受信することができる。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。したがって、サーバ装置２単体又は情報表示装置３単体であっても情報処理システム１に例示されるシステムに含まれる。

【0014】

情報表示装置３は、左右に異なる偏光板を備える専用の眼鏡を必要とせずに、又は専用の眼鏡を通して視ることにより、３次元に映像を出力可能な３Ｄディスプレイであってもよい。この情報表示装置３は、テーブルの卓上に映像を出力するテーブル型のディスプレイ、任意の箇所に映像を映し出すプロジェクター、表示面が任意の傾斜角を有するディスプレイ等を含む。また、情報表示装置３は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型コンピュータ、スマートフォン等であってもよい。また、情報表示装置３は、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報表示装置３の種類に応じて使い分けて実施することが好ましい。なお、サーバ装置２及び情報表示装置３は、情報処理装置の一例であり、本実施形態に限定されるものではない。

【0015】

第１撮像装置４－１及び第２撮像装置４－２は、それぞれ外界の光学的な情報を画像として撮像可能に構成される。第１撮像装置４－１及び第２撮像装置４－２は、ユ－ザが３次元用画像データを視認するにあたってのユーザの左目用の画像とユーザの右目用の画像とをそれぞれ生成する装置である。第１撮像装置４－１及び第２撮像装置４－２は、サーバ装置２と直接接続されてもよいが、ネットワークＮを介して、サーバ装置２と接続されてもよい。

【0016】

第１撮像装置４－１及び第２撮像装置４－２は、時系列に撮像された画像の集合体として第１画像データ及び第２画像データをそれぞれ生成するように構成される。第１画像データ及び第２画像データは、複数のフレームを含む２次元の画像データである。ここで第１画像データ及び第２画像データは、ＭＰＥＧ４、ＡＶＩ、ＭＯＶ、ＦＬＶ、ＷＭＶ、ＭＰＥＧ２等の形式のデータである。本実施形態では、第１画像データ及び第２画像データは、ＭＰＥＧ４の形式のデータである。また、第１撮像装置４－１及び第２撮像装置４－２は、生成した第１画像データ及び第２画像データをサーバ装置２に転送可能に構成される。第１撮像装置４－１及び第２撮像装置４－２には、任意のカメラが使用される。例えば、第１撮像装置４－１及び第２撮像装置４－２は、視点回転が可能なカメラ、全天球カメラ等の正距円筒図法を用いるカメラ、１８０度、２０６度、２３５度等の画角の魚眼レンズを有する魚眼カメラ、３６０度カメラ、広角のレンズを使用するカメラ等であってもよい。本実施形態では、第１撮像装置４－１及び第２撮像装置４－２は、魚眼カメラである。すなわち、第１画像データ及び第２画像データは、魚眼カメラによって撮像された画像データである。

【0017】

被写体Ｓは、第１撮像装置４－１及び第２撮像装置４－２に撮像される対象であり、スポーツに使用される競技場である。なお、第１撮像装置４－１及び第２撮像装置４－２は、一定の視差を有するように既知の距離を有して設置されるとよい。

【0018】

２．ハードウェア構成
次に、図２及び図３を参照しながら本実施形態のサーバ装置２及び情報表示装置３のハードウェア構成について説明する。

【0019】

２．１．サーバ装置２のハードウェア構成
図２は、サーバ装置２のハードウェア構成の一例を示す図である。図２に示されるように、サーバ装置２は、制御部２１と、記憶部２２と、通信部２３とを備え、これらの構成要素がサーバ装置２の内部において通信バスを介して電気的に接続されている。サーバ装置２は、実施形態に係る処理を実行する。

【0020】

制御部２１は、サーバ装置２に関連する全体動作の処理及び制御を行う。本実施形態では、制御部２１は、画像処理及び画像加工に特化したＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。また、制御部２１は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）であってもよい。制御部２１が、記憶部２２に記憶された所定のプログラムを読み出し、プログラムに基づき処理を実行することによって、サーバ装置２に係る種々の機能、例えば、後述する図４～図１１に示される処理が実現される。なお、制御部２１は単一であることに限定されず、機能ごとに複数の制御部２１を有するように実施してもよい。また、それらの組合せであってもよい。

【0021】

記憶部２２は、前述の記載により定義される様々な情報を記憶する。記憶部２２は、ＧＰＵキャッシュ等のメモリキャッシュであってもよい。また、記憶部２２は，制御部２１によって実行されるサーバ装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、制御部２１によって実行されるサーバ装置２に係る種々のプログラム、変数及び制御部２１がプログラムに基づき処理を実行する際に用いるデータ等を記憶している。記憶部２２は、記憶媒体の一例である。

【0022】

通信部２３は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ／４Ｇ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、サーバ装置２は、通信部２３を介して、外部から種々の情報を通信してもよい。

【0023】

２．２．情報表示装置３のハードウェア構成
図３は、情報表示装置３のハードウェア構成の一例を示す図である。図３に示されるように、情報表示装置３は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、を有し、これらの構成要素が情報表示装置３の内部において通信バスを介して電気的に接続されている。情報表示装置３は、実施形態に係る処理を実行する。情報表示装置３の制御部３１、記憶部３２及び通信部３３については、サーバ装置２の制御部２１、記憶部２２及び通信部２３を参照されたい。

【0024】

入力部３４は、情報表示装置３の筐体に含まれてもよいし、外付けされてもよい。例えば、入力部３４は、出力部３５と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することが可能である。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３４がユーザによってなされた操作に基づく入力を受け付ける。当該入力が命令信号として、通信バスを介して制御部３１に転送され、制御部３１が必要に応じて所定の制御又は演算を実行しうる。

【0025】

出力部３５は、情報表示装置３の表示部として機能する。出力部３５は、例えば、情報表示装置３の筐体に含まれてもよいし、外付けされてもよい。出力部３５は、ユーザが操作可能なグラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。

【0026】

３．情報処理システム１の動作の流れ
本実施形態の情報処理システム１で実行される好ましい情報処理の一例を説明する。

【0027】

本明細書において、「取得」とは、データ等を他の装置から受信する態様と、データ等を自ら生成する態様との両方を含む概念である。

【0028】

３．１ 情報処理の概要
本節では、前述した情報処理システム１の情報処理方法について説明する。図４は、情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。具体的には、図４を示しながら、第１撮像装置４－１及び第２撮像装置４－２にて第１画像データ及び第２画像データを取得し、サーバ装置２で第１画像データ及び第２画像データに対して情報処理を行い、情報表示装置３から３次元用画像データを出力するまでの情報処理の流れについて説明する。

【0029】

（アクティビティＡ１）
まず、左目に対応する第１撮像装置４－１は、連続撮像することによって、所定対象を被写体Ｓに含む第１画像データを取得する。右目に対応する第２撮像装置４－２は、連続撮像することによって、所定対象を被写体Ｓに含む第２画像データを取得する。

【0030】

（アクティビティＡ２）
続いて、第１撮像装置４－１は、サーバ装置２に第１画像データを送信する。第２撮像装置４－２は、サーバ装置２に第２画像データを送信する。

【0031】

（アクティビティＡ３）
続いて、サーバ装置２は、第１画像データ及び第２画像データを、第１撮像装置４－１及び第２撮像装置４－２からそれぞれ受け付ける。制御部２１は、リアルタイム処理可能な動画フォーマットの第１画像データ及び第２画像データを、メモリキャッシュとしての記憶部２２に記憶させる。ある観点によると、制御部２１は、第１撮像装置４－１によって連続撮像された、所定対象を被写体Ｓに含む第１画像データと、第１撮像装置４－１とは異なる第２撮像装置４－２によって連続撮像された、所定対象を被写体Ｓに含む第２画像データとをそれぞれ継続的に取得する。

【0032】

（アクティビティＡ４）
続いて、制御部２１は、所定の同期処理を用いて、第１画像データと第２画像データとを同期させる。ここで、所定の同期処理は、第１画像データ及び第２画像データに含まれる時刻のデータを用いたタイムコード方式により行われてもよい。また、所定の同期処理は、画像処理によって行われる処理であってもよい。画像処理である場合、制御部２１は、メモリキャッシュに記憶された、第１画像データと第２画像データとに基づいて画像処理を実行する。所定の画像処理は、例えば、第１画像データ及び第２画像データにおいて、システムを利用して共通の動きを確認し、共通の動きの情報が検出されたこと等をもって同時刻と判定する処理である。この所定の画像処理をサッカーコートに行う場合、共通の動きの情報は、３次元用に変換されかつ重ね合わせられた第１画像データの画像と第２画像データの画像とに基づいて、ボール等の物の位置又は選手、審判等の人の位置から確認される。更に所定の同期処理は、ＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）等を使用する信号処理によるものを含んでもよい。所定の同期処理は、第１画像データと第２画像データとを同期させることができる方法であればよく、上述した方法に限定されるものではない。

【0033】

（アクティビティＡ５）
続いて、制御部２１は、第１画像データ及び第２画像データに含まれる複数のフレームのうち、フレームに欠損があるかを判定する。フレームに欠損が検出された場合、制御部２１は、アクティビティＡ６に処理を進める。フレームに欠損が検出されない場合、制御部２１は、アクティビティＡ７に処理を進める。

【0034】

（アクティビティＡ６）
続いて、フレームに欠損が検出された場合、制御部２１は、フレームの欠損の補完を行う。制御部２１は、アクティビティＡ７に処理を進める。

【0035】

（アクティビティＡ７）
続いて、制御部２１は、第１画像データ及び第２画像データを平面に展開する。なお、制御部２１は、用いるカメラに応じて、アクティビティＡ７の処理を省略してもよい。例えば、制御部２１は、広角のレンズを使用するカメラを用いることにより予め平面に展開する必要のない場合は、アクティビティＡ７の処理を省略することがある。一方で、制御部２１は、魚眼カメラを用いることにより平面への展開が必要ある場合は、アクティビティＡ７の処理を実効する。

【0036】

（アクティビティＡ８）
続いて、制御部２１は、所定対象を俯瞰するように補正された第１画像データ及び第２画像データを出力する。

【0037】

（アクティビティＡ９）
続いて、制御部２１は、予めなされた設定又はユーザによる入力に応じて、第１画像データ及び第２画像データの少なくとも一方に含まれる収差を補正する。

【0038】

（アクティビティＡ１０）
続いて、制御部２１は、同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力する。制御部２１は、情報表示装置３に３次元用画像データを送信する。

【0039】

（アクティビティＡ１１）
続いて、制御部３１は、サーバ装置２から３次元用画像データを受け付ける。

【0040】

（アクティビティＡ１２）
最後に、制御部３１は、同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力部３５から出力する。

【0041】

以上アクティビティＡ１～Ａ１２が、第１撮像装置４－１及び第２撮像装置４－２にて第１画像データ及び第２画像データを取得し、サーバ装置２で第１画像データ及び第２画像データに対して情報処理を行い、情報表示装置３から３次元用画像データを出力するまでの情報処理の流れである。情報処理システム１は、ストリーミングで画像データを出力する。情報処理システム１は、画像を取得する度に、１つの画像あたり１秒前後で、アクティビティＡ１～Ａ１２の情報処理を実行する。これにより、ユーザは、情報表示装置３を介して、リアルタイムで３次元用画像データを視認することができる。

【0042】

３．２ 情報処理の詳細
次に、図５～図１１を用いて、上記概説した情報処理の詳細部分を説明する。

【0043】

図５は、第１画像データ及び第２画像データの同期及びフレームの欠損に関する情報処理のイメージの一例を示す図である。図５には、図４のアクティビティＡ３～Ａ６に対応する情報処理のイメージが示されている。これらの情報処理は、ＧＰＵキャッシュ上で行われる。

【0044】

制御部２１は、フレーム単位で右目、左目用２台のカメラの映像の同期を行う。第１画像データ及び第２画像データは、それぞれ１フレーム目～８フレーム目の画像データを含んでいる。ここで、第２画像データの３フレーム目の画像データに欠損した欠損フレームＤｆが含まれている。制御部２１は、画像処理によって、第１画像データにおける１つのフレームと撮像時刻が略同一の、第２画像データにおける１つのフレームを特定することで、第１画像データと第２画像データとを同期させる。

【0045】

その後、制御部２１は、第２画像データの３フレーム目の欠損、すなわち欠損フレームＤｆが検出された場合、欠損フレームＤｆである３フレーム目の、直前の２フレーム目を３フレーム目の時刻においても取得する。ここで、３フレーム目は、第１フレームであり、２フレーム目は、第２フレームである。

【0046】

その後、制御部２１は、３フレーム目の画像データを出力せずに、２フレーム目の画像データを連続して出力する。好ましくは、欠損している第２画像データだけではなく、欠損していない第１画像データにおいても同様に、３フレーム目の画像データを出力せずに、２フレーム目の画像データを連続して出力するとよい。このようにすることで、右目用の画像データと左目用の画像データとを整合させ、ユーザに視認させる３次元用画像データの正確性を担保することができる。

【0047】

図６～１１は、取得した画像情報に対して実行される画像加工の流れの一例を示す図である。図６～図１１には、図４のアクティビティＡ７～Ａ１０に対応する第１撮像装置４－１で取得した第１画像データの加工に関する情報処理のイメージが示されている。これらの情報処理は、ＧＰＵキャッシュ上で行われる。また、第１画像データ及び第２画像データに対する情報処理は、ＯｐｅｎＧＬ等のグラフィックライブラリが用いられる。以下で説明する、魚眼画像データ５０、平面画像データ５１、俯瞰画像データ５２、グリッド俯瞰画像データ５３及び補正俯瞰画像データ５４は、それぞれ第１画像データ又は第２画像データの一例である。被写体Ｓとしての競技場は、サッカーコートを所定対象として含む。

【0048】

図６には、魚眼画像データ５０が含まれる。魚眼画像データ５０は、サッカーコートを所定対象として含み、魚眼カメラとしての第１撮像装置４－１によって撮像された生の画像データである。

【0049】

図７には、平面画像データ５１が含まれる。平面画像データ５１は、魚眼画像データ５０を平面に展開した画像データである。制御部２１は、魚眼カメラで取得した第１撮像データを所定の方法で平面に展開する。

【0050】

図８には、俯瞰画像データ５２が含まれる。俯瞰画像データ５２は、平面画像データ５１に基づいて、所定対象を俯瞰するように補正された画像データである。俯瞰するように補正されたとは、補正前と比較して、所定対象をより情報から見下すように補正されたことであってもよい。制御部２１は、平面画像データ５１を俯瞰する視点に変換することで俯瞰画像データ５２を取得する。

【0051】

図９には、グリッド俯瞰画像データ５３が含まれる。グリッド俯瞰画像データ５３は、俯瞰画像データ５２にグリッド５３０を表示させた画像データである。制御部２１は、第１画像データの俯瞰画像データ５２にグリッド５３０を重畳して表示させる。グリッド５３０は、ユーザがグリッド５３０の交点５３１を移動させることで、第１画像データに含まれる収差を補正可能に構成される。制御部２１は、第１画像データをユーザが確認しながら、第１画像データに含まれる収差を補正可能なユーザインタフェースを出力する（表示させる）。第２画像データについても同様に行われる。また、他の観点によると、制御部２１は、第１画像データ及び前記第２画像データを合成した画像をユーザインタフェースに表示させ、前記ユーザインタフェースは、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成されるこれにより、ユーザは、第１画像データ及び第２画像データを確認しながら、収差を補正することができる。

【0052】

図１０には、補正俯瞰画像データ５４が含まれる。補正俯瞰画像データ５４は、グリッド俯瞰画像データ５３に基づいて収差を補正された画像データである。ユーザからグリッド５３０の交点５３１を上下左右に移動させる指示を受け付け、制御部２１は、その指示に応じて、グリッド５３０の交点５３１を上下左右に移動させることで収差の補正を行う。なお、制御部２１は、第２画像データの俯瞰画像データについても同様にグリッドを表示させ、収差の補正の指示を受け付ける。好ましくは、ここでの収差は、光学系に起因する歪曲収差である。

【0053】

図１１には、３次元用画像データ５５－１、５５－２が含まれる。３次元用画像データ５５－１、５５－２は、それぞれ第１撮像装置４－１及び第２撮像装置４－２から取得した第１画像データ及び第２画像データを加工することにより取得される画像データである。制御部２１は、歪み補正した平面に展開された右目、左目用の映像を様々な方式によって、３次元のフォーマットに変換して３次元用画像データ５５－１、５５－２として出力する。３次元フォーマットに変換する方法は、偏光フィルム方式、ＤＬＰ Ｌｉｎｋ方式等がある。偏光フィルム方式は、１コマの画像をディスプレイ側の偏光フィルターとメガネ側の偏光フィルター（円偏光方式）の組み合わせで、左右映像を分離する方式である。ＤＬＰ Ｌｉｎｋ方式は、超高速イメージングＤＬＰチップにより交互に左右の２画面を画面投写すると同時に３Ｄアクティブグラス（眼鏡）に信号を送信する方式である。

【0054】

３次元用画像データ５５－１、５５－２は、情報表示装置３の姿勢と、情報表示装置３を視聴するユーザの位置と、に対応して生成されるデータであってもよい。この場合、３次元用画像データ５５－１、５５－２は、情報表示装置３を視聴するユーザの位置に応じて、少なくともその位置から歪みなく立体映像が視聴できるように補正された画像データである。
この情報表示装置３の姿勢は、ユーザの操作により設定されてもよい。また、情報表示装置３の姿勢は、情報表示装置３に設けられた、ジャイロセンサーによる角速度のデータ、加速度センサーによる加速度のデータ、カメラによる画像のデータの画像処理等を使用することにより特定されてもよい。
この情報表示装置３を視聴するユーザの位置は、次に示す態様で想定される位置として予め設定されてもよい。
例えば、情報表示装置３として３Ｄディスプレイが使用される場合、情報表示装置３を視聴するユーザの位置は、３Ｄディスプレイの表示面の正面である。
例えば、情報表示装置３としてプロジェクターが使用される場合、情報表示装置３を視聴するユーザの位置は、プロジェクターにより映像を投影するスクリーンの正面であってもよいし、任意に設定できてもよい。
例えば、情報表示装置３としてテーブル型のディスプレイが使用される場合、情報表示装置３を視聴するユーザの位置は、テーブル型のディスプレイを取り囲む位置であって、テーブル型のディスプレイの表示面よりも高い位置である。
例えば、情報表示装置３としてディスプレイ面が任意の傾斜角を有するディスプレイが、使用される場合、情報表示装置３を視聴するユーザの位置は、その任意の傾斜角を有するディスプレイの表示面の正面である。
なお、この情報表示装置３を視聴するユーザの位置は、情報表示装置３に設けられたカメラによる画像のデータの画像処理等を使用することによって決定してもよい。

【0055】

本実施形態によれば、従来よりも改良された技術を用いて、３次元用画像データを出力することが可能な技術を提供することができる。また、例えば、魚眼レンズを使用するカメラ等の種々のカメラを２台用いて、リアルタイムに、所定対象の状況を俯瞰視点かつ３次元で視認することが可能となる。さらに、例えば、フレーム欠損が発生した場合であっても、欠損が発生したフレームの直前のフレームにより補完することができるため、リアルタイム性を損ねることがない。また、３次元用画像データを出力するにあたって、複雑な情報処理を必要としないため、サーバ装置２及び情報表示装置３のメモリキャッシュの使用も少なくすることができる。さらに、メモリキャッシュの使用を少なくすることができる結果として、大掛かりな装置又はコンピュータ等を必要としないため、安価に情報処理を実行することができる。

【0056】

［その他］
前述の実施形態に係る情報処理システム１に関して、コンピュータを、情報処理システム１の制御部３１として機能させるプログラムであってもよい。また、情報処理システム１が実行する情報処理方法であってもよい。

【0057】

スポーツに使用される競技場は、被写体Ｓの一例であり、他にも動物園、水族館、スーパーマーケット、ショッピングセンター、テーマパーク等であってもよい。それらの被写体の任意の箇所を所定対象として、制御部２１は、３次元用画像データを出力する。これにより、例えば、混雑状況を把握することが可能になる。

【0058】

前述の実施形態では、第２画像データにフレーム欠損が検出された場合に、欠損していない第１画像データに対しても敢えて同じ補完処理を行うこととしたが、欠損していない画像データに対しては補完処理を行わないようにしてもよい。

【0059】

さらに、次に記載の各態様で提供されてもよい。

【0060】

（１）情報処理システムであって、制御部を有し、前記制御部は、第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、前記第１撮像装置とは異なる第２撮像装置によって連続撮像された、前記所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得し、ここで前記第１画像データ及び前記第２画像データは、複数のフレームを含む２次元の画像データで、所定の同期処理を用いて、前記第１画像データと前記第２画像データとを同期させ、同期された前記第１画像データと前記第２画像データとに基づいて、撮像中の前記所定対象を３次元で視認可能な３次元用画像データを出力し、ここで前記３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差が補正される、情報処理システム。

【0061】

（２）上記（１）に記載の情報処理システムにおいて、前記同期処理は、画像処理によって行われる処理であり、前記制御部は、前記画像処理によって、前記第１画像データにおける１つのフレームと撮像時刻が略同一の、前記第２画像データにおける１つのフレームを特定することで、前記第１画像データと前記第２画像データとを同期させる、情報処理システム。

【0062】

（３）上記（２）に記載の情報処理システムにおいて、前記制御部は、前記第１画像データ又は前記第２画像データにおいて、少なくとも１つのフレームの欠損が検出された場合、欠損した前記フレームである第１フレームの、直前の第２フレームを前記第１フレームの時刻においても取得する、情報処理システム。

【0063】

（４）上記（１）に記載の情報処理システムにおいて、前記第１画像データ及び前記第２画像データは、前記所定対象を俯瞰するように補正されたデータである、情報処理システム。

【0064】

（５）上記（１）に記載の情報処理システムにおいて、前記制御部は、前記第１画像データ及び前記第２画像データを合成した画像をユーザインタフェースに表示させ、前記ユーザインタフェースは、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、情報処理システム。

【0065】

（６）上記（５）に記載の情報処理システムにおいて、前記制御部は、前記第１画像データと前記第２画像データとのそれぞれについてグリッドを表示させ、ここで前記グリッドは、前記グリッドの交点を移動させることで、前記第１画像データ及び前記第２画像データの少なくとも一方に含まれる収差を補正可能に構成される、情報処理システム。

【0066】

（７）上記（１）に記載の情報処理システムにおいて、前記同期処理は、画像処理によって行われる処理であり、前記画像処理は、前記第１画像データ及び前記第２画像データにおいて、共通の動きの情報が検出されたことをもって同時刻と判定する処理である、情報処理システム。

【0067】

（８）プログラムであって、コンピュータを、上記（１）～（７）のいずれか１つに記載の情報処理システムの前記制御部として機能させるためのプログラム。

【0068】

（９）情報処理システムが実行する情報処理方法であって、上記（１）～（７）のいずれか１つに記載の情報処理システムの前記制御部が実行する各処理を備える、情報処理方法。
もちろん、この限りではない。

【0069】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0070】

１ ：情報処理システム
２ ：サーバ装置
２１ ：制御部
２２ ：記憶部
２３ ：通信部
３ ：情報表示装置
３１ ：制御部
３２ ：記憶部
３３ ：通信部
３４ ：入力部
３５ ：出力部
４－１ ：第１撮像装置
４－２ ：第２撮像装置
５０ ：魚眼画像データ
５１ ：平面画像データ
５２ ：俯瞰画像データ
５３ ：グリッド俯瞰画像データ
５４ ：補正俯瞰画像データ
５５－１ ：３次元用画像データ
５３０ ：グリッド
５３１ ：交点
Ｄｆ ：欠損フレーム
Ｎ ：ネットワーク
Ｓ ：被写体

【要約】

【課題】クロック信号を使用せずに２台のカメラの画像データを同期させ、３次元用画像データを出力することと、魚眼レンズを使用するカメラ等の種々のカメラを２台用いて、リアルタイムに、所定対象の状況を俯瞰視点かつ３次元で視認することと、フレーム欠損が発生した場合であっても、欠損が発生したフレームの直前のフレームにより補完するため、リアルタイム性を損ねないことと、３次元用画像データを出力するにあたって、複雑な情報処理を必要としないため、サーバ装置及び情報表示装置のメモリキャッシュの使用も少なくすることと、のうち少なくとも何れか１つを達成することが可能な技術を提供する。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を有する。制御部は、第１撮像装置によって連続撮像された、所定対象を被写体に含む第１画像データと、第１撮像装置とは異なる第２撮像装置によって連続撮像された、所定対象を被写体に含む第２画像データとをそれぞれ継続的に取得する。第１画像データ及び第２画像データは、複数のフレームを含む２次元の画像データである。所定の同期処理を用いて、第１画像データと第２画像データとを同期させる。同期された第１画像データと第２画像データとに基づいて、撮像中の所定対象を３次元で視認可能な３次元用画像データを出力する。３次元用画像データは、予めなされた設定又はユーザによる入力に応じて、第１画像データ及び第２画像データの少なくとも一方に含まれる収差が補正される。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】