特許 7462085 情報処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】情報処理装置、方法、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240328BHJP

   H04N 23/60 20230101ALI20240328BHJP

   H04N 23/63 20230101ALI20240328BHJP

【ＦＩ】

H04N7/18 U

H04N23/60 100

H04N23/63 100

H04N23/63 310

【請求項の数】 17

(21)【出願番号】P 2023018557

(22)【出願日】2023-02-09

(62)【分割の表示】P 2018163623の分割

【原出願日】2018-08-31

(65)【公開番号】P2023054061

(43)【公開日】2023-04-13

【審査請求日】2023-03-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】岩切 良樹

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１４／０１３５５１（ＷＯ，Ａ１）

【文献】特開２００８－２７６７０４（ＪＰ，Ａ）

【文献】特開２０１７－０６８７６３（ＪＰ，Ａ）

【文献】国際公開第２０１１／１３２５５２（ＷＯ，Ａ１）

【文献】特開２００６－０５４５０３（ＪＰ，Ａ）

【文献】特開２０１６－１２９４３０（ＪＰ，Ａ）

【文献】特開２０１７－２１２５９３（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７０１２１（ＷＯ，Ａ１）

【文献】特開２０１７－０９６７２５（ＪＰ，Ａ）

【文献】特開２００９－１８１４８２（ＪＰ，Ａ）

【文献】特開２０１７－２１１８２７（ＪＰ，Ａ）

【文献】国際公開第２０１６／１２５３６６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－７６

(57)【特許請求の範囲】

【請求項1】

複数の機器を含んで構成されるシステムにおける作業であって前記複数の機器の設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローに含まれる複数のプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、
前記ワークフローに含まれる前記複数のプロセスと、当該複数のプロセスのそれぞれの進捗状況を示す情報と、を含む画面を、表示装置に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。

【請求項2】

実行する前記プロセスに関するユーザ操作を受け付ける操作手段をさらに有し、
前記取得手段は、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記表示制御手段は、前記ユーザ操作に対応する前記プロセスを実行する時点で完了しているべき前記プロセスが正常に終了していない場合に、前記表示装置に警告を表示させる、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記画面は、１つ以上の前記プロセスを含んだカテゴリと当該カテゴリの進捗状況とを示す情報を含む、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記複数の機器は、複数の撮像装置を含み、
前記プロセスは、前記複数の撮像装置の接続、前記複数の撮像装置の同期、前記複数の撮像装置が撮像する画像の画角の調整、前記複数の撮像装置が撮像する画像の露出の調整、撮像装置のキャリブレーションの少なくともいずれかに関する、
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記表示制御手段は、前記複数のプロセスのそれぞれの前記進捗状況として、未実行、実行中、正常終了、異常終了の少なくともいずれかを前記表示装置に表示させる、
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記表示制御手段は、前記進捗状況を示す領域が前記プロセスの情報と別個に用意された前記画面を前記表示装置に表示させる、
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記表示制御手段は、前記進捗状況が示される領域の色、サイズ、模様、アニメーションの少なくともいずれかによって前記進捗状況を区別可能に表示させる、
ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記取得手段は、前記複数の機器のそれぞれについて異常が発生したことの通知を取得し、
前記表示制御手段は、前記画面において、前記異常により影響を受ける前記プロセスが完了した後に前記通知を取得した場合、当該プロセスの前記進捗状況を示す情報を、当該プロセスが完了した状態を示す情報から当該プロセスが完了していない状態を示す情報に変更する、
ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記進捗状況を変更するユーザ操作を受け付ける手段をさらに有する、
ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。

【請求項11】

前記システムは、仮想視点画像を生成するためのシステムである、
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記システムは、被写体の三次元形状データを生成するシステムである、
ことを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。

【請求項13】

情報処理装置が実行する方法であって、
複数の機器を含んで構成されるシステムにおける作業であって前記複数の機器の設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローに含まれる複数のプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得工程と、
前記ワークフローに含まれる前記複数のプロセスと、当該複数のプロセスのそれぞれの進捗状況を示す情報と、を含む画面を、表示装置に表示させる表示制御工程と、
を有することを特徴とする方法。

【請求項14】

実行する前記プロセスに関するユーザ操作を受け付ける操作工程をさらに含み、
前記取得工程において、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
ことを特徴とする請求項１３に記載の方法。

【請求項15】

前記表示制御工程において、前記ユーザ操作に対応する前記プロセスを実行する時点で完了しているべき前記プロセスが正常に終了していない場合に、前記表示装置に警告を表示させる、
ことを特徴とする請求項１４に記載の方法。

【請求項16】

前記画面は、１つ以上の前記プロセスを含んだカテゴリと当該カテゴリの進捗状況とを示す情報を含む、
ことを特徴とする請求項１３から１５のいずれか１項に記載の方法。

【請求項17】

コンピュータを、請求項１から１２のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の機器を用いるシステムの設置・運用技術に関する。

【背景技術】

【0002】

異なる位置に設置した複数の撮像装置により複数の方向から同期して被写体を撮像し、その撮像により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。仮想視点画像によれば、撮像装置の位置と異なる様々な視点での画像の視聴を可能とするため、ユーザに高臨場感を与えることができる。一方、仮想視点画像を生成するには、複数の撮像装置が使用されるため、単一の撮像装置による撮像と比較して煩雑かつ多数の処理手順を実行する必要がある。特許文献１には、仮想視点画像を観察する視点を容易に選択可能とするＵＩ（ユーザインタフェース）が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２１５８２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、用意された仮想視点画像を視聴する際の処理を簡素化することができるが、仮想視点画像を用意するための処理手順について言及されておらず、また、仮想視点画像を生成することができない状態についても想定されていない。このため、仮想視点画像の生成のため等のマルチカメラシステムを構成する複数の撮像装置やその他の装置の設営や撤去、運用などについては煩雑なままであり、作業員（ユーザ）の負担を軽減することはできないという課題があった。

【0005】

本発明は、マルチカメラシステムの設置・運用におけるユーザ支援技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様による情報処理装置は、複数の機器を含んで構成されるシステムにおける作業であって前記複数の機器の設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローに含まれる複数のプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、前記ワークフローに含まれる前記複数のプロセスと、当該複数のプロセスのそれぞれの進捗状況を示す情報と、を含む画面を、表示装置に表示させる表示制御手段と、を有する。

【発明の効果】

【0007】

本発明によれば、マルチカメラシステムの設置・運用において適切にユーザを支援することができる。

【図面の簡単な説明】

【0008】

【図1】情報表示システムの構成例を示す図である。

【図2】撮像装置の配置を示す図である。

【図3】撮像装置の構成例を示す図である。

【図4】情報処理装置のハードウェア構成例を示す図である。

【図5】情報処理装置の機能構成例を示す図である。

【図6】ワークフロー定義情報の例を示す図である。

【図7】ワークフロー管理情報の例を示す図である。

【図8】ワークフローＵＩ表示の処理の流れの例を示す図である。

【図9】ワークフローＵＩの一例を示す図である。

【図10】警告ＵＩの一例を示す図である。

【図11】ワークフローＵＩの一例を示す図である。

【図12】ワークフロー定義情報の例を示す図である。

【図13】異常発生通知を取得した場合の処理の流れの例を示す図である。

【図14】ワークフローＵＩの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の実施形態は本発明を実施する態様の一例に過ぎず、説明される装置構成や処理の流れは、適宜変更されうる。例えば、装置を構成する機能ブロックやハードウェアブロックは、説明される態様に限定されず、一部のブロックが省略され若しくは他のブロックが追加され、又は、一部のブロックが他のブロックと組み合わされて１つのブロックとして構成されうる。また、処理ステップの一部が省略され若しくは他のステップが追加され、複数の処理ステップが１つの処理ステップによって実行されてもよい。

【0010】

ここで説明する実施形態では、仮想視点画像を生成するために複数の撮像装置が設置されるマルチカメラシステムを例として説明する。そして、このようなマルチカメラシステムの設営や撤去、運用等について、作業員等のユーザによって適切な処理が行われるように誘導するために、ユーザが実行すべき処理のガイドや誤った処理が行われた場合の警告などの情報をユーザに分かりやすく表示する。これにより、マルチカメラシステムを設営、撤去、運用等を行う際に、ユーザが手順を間違える等の不適切な処理が行われるのを防ぐことが可能となる。なお、マルチカメラシステムは、仮想視点画像の生成に用いられてもよいが、仮想視点画像の生成以外の用途で用いられるシステムであってもよい。ここで、本実施形態において、「画像」とは、静止画像と動画像（映像）を含む。また、以下で説明する撮像装置等の機材を、任意のシステムで用いられる任意の機材に置き換えることによって、多数の機材を用いて所定のサービスを提供する任意のシステムに対して、以下の議論を適用することができる。

【0011】

図１に、本実施形態に係る情報表示システムの構成例を示す。本情報表示システムは、複数の撮像装置１０１－１～１０１－ｍを含んだ撮像装置群１００と、ＨＵＢ１２０と、仮想視点画像生成装置１４０と、情報処理装置１６０とを有する。各々の装置は、例えば、画像や制御情報を伝送するための伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格に準拠したＧｂＥ（Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ）や１０ＧｂＥであるが、これらに限定されず、他の種別のケーブルが用いられてもよい。また、各々の装置は無線通信を行ってもよく、ケーブルによる有線通信が行われなくてもよいし、無線通信と有線通信とが並行して行われてもよい。

【0012】

上述のように、撮像装置群１００は、複数（ｍ個）の撮像装置（撮像装置１０１－１～１０１－ｍ）を含む。以下では、特定の撮像装置を指す必要がない場合には、これらの撮像装置を撮像装置１０１－ｘと呼ぶ。なお、ｍやｘなど、１０１の後に付される値は整数である。相互に隣接する位置にある２つの撮像装置１０１－ｘ（例えば、撮像装置１０１－１と撮像装置１０１－２）は、伝送ケーブルを介して相互に直接接続されうる。なお、この直接接続される２つの撮像装置１０１－ｘは、物理的に隣接している必要はなく、これらの２つの撮像装置１０１－ｘの間に、別の撮像装置１０１－ｘが配置されてもよい。例えば、複数の撮像装置が、それぞれ撮像対象（視点）が異なる点に設定された複数のグループに分類されてもよく、この場合に、グループ内の撮像装置１０１－ｘが直接接続され、異なるグループの撮像装置１０１－ｘが直接接続されないように構成されうる。撮像装置１０１－ｘは、撮像画像や情報処理装置１６０から受信した要求の処理結果を、仮想視点画像生成装置１４０および情報処理装置１６０へ伝送する。撮像装置１０１－２は、図１に示すように撮像装置１０１－１と接続されると共に、撮像装置１０１－１と反対側において隣接する不図示の撮像装置１０１－３と直接接続される。このようにして、撮像装置１０１－ｋは、２つの隣接する撮像装置である撮像装置１０１－（ｋ－１）及び撮像装置１０１－（ｋ＋１）と直接接続されうる。なお、この接続における端部に位置する撮像装置（例えば撮像装置１０１－１）と、ＨＵＢ１２０と直接接続する撮像装置（例えば撮像装置１０１－ｎ）とについては、この限りでない。すなわち、これらの撮像装置は、２つの他の撮像装置と接続されるのではなく、１つの他の撮像装置と接続される。このように、複数の撮像装置１０１－ｘは、デイジーチェーン接続される。なお、複数の撮像装置１０１－ｘは、例えば上述のように撮像対象等によってグループ分けされ、グループごとにデイジーチェーン接続されうる。この場合、第１のグループに属する撮像装置１０１－ｘは、第１のグループと異なる第２のグループの撮像装置１０１－ｘと、ＨＵＢ１２０を介さずには接続されないように構成されうる。図１の例では、このようなグループが２つ存在し、撮像装置１０１－１～撮像装置１０１－ｎまでのグループと、撮像装置１０１－（ｎ＋１）から撮像装置１０１－ｍまでのグループとに対して、それぞれ別個のデイジーチェーンが構成される。なお、この接続形態は一例に過ぎず、異なるグループの撮像装置が１つのデイジーチェーンによって接続されてもよい。また、図１では、グループの数が２つの場合の例を示しているが、グループ分けが行われずに全ての撮像装置が１つのデイジーチェーンを構成してもよいし、３つ以上のグループが設けられてもよい。また、複数の撮像装置１０１－ｘ相互の接続は、デイジーチェーンの形式で行われなければならないわけではなく、環形（リング型）、メッシュ型、スター型、バス型、ツリー型、又はこれらの組み合わせ等の任意の形式で行われてもよい。また、グループ分けは、例えば物理的に近距離に配置された撮像装置が同じグループに属するようにするなど、この他の任意の基準によって行われてもよい。

【0013】

撮像装置１０１－ｘは、一例において、サッカー場等の競技場や特定の被写体を取り囲むように配置される。図２は、撮像装置１０１－ｘの配置の一例を示す図である。図２の例では、サッカー場等の競技場の全てまたは一部の範囲が撮像されるように、複数の撮像装置１０１－ｘが配置される。

【0014】

図３に、撮像装置１０１－ｘの構成例を示す。撮像装置１０１－ｘは、カメラ３０１、レンズ３０２、雲台３０３、画像処理装置３０４を有する。カメラ３０１は、例えばデジタルカメラであり、装着されたレンズ３０２と協働して撮像を行い、画像データを生成する。また、カメラ３０１は、例えば、画像処理装置３０４とＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルで接続される。そして、カメラ３０１は、画像処理装置３０４から制御信号や同期信号を受信し、撮像によって得られた画像データを画像処理装置３０４へ送信する。カメラ３０１は、画像処理装置３０４から受信した同期信号に基づいて撮像を行う。なお、同期信号は、複数の撮像装置１０１－ｘが、同じタイミングで撮像を行うようにするための信号であり、これにより、全ての撮像装置１０１－ｘが同一の又は略同一のタイミングで撮像を行うことができる。なお、カメラ３０１と画像処理装置３０４との間のケーブルは、制御信号や同期信号、画像信号を送信可能である限りにおいて、ＳＤＩケーブル以外のケーブルであってもよい。雲台３０３は、カメラ３０１の気体の角度を調整する。また、雲台３０３は、例えば、画像処理装置３０４とシリアルケーブルで接続される。雲台３０３は、画像処理装置３０４からパン方向とチルト方向の角度データを受信し、受信した角度データに基づいて、カメラ３０１の機体の角度の調整を行う。なお、雲台３０３と画像処理装置３０４との間のケーブルは、角度データを送信可能である限りにおいて、シリアルケーブル以外のケーブルであってもよい。画像処理装置３０４は、情報処理装置１６０から制御信号を取得し、カメラ３０１やレンズ３０２、雲台３０３へ制御信号を出力する。また、画像処理装置３０４は、カメラ３０１から受信した撮像画像を、伝送ケーブルを介して仮想視点画像生成装置１４０へ送信する。さらに、画像処理装置３０４は、出力した制御信号の処理が正常に完了したか、異常で終了したかを示す制御応答信号を情報処理装置１６０へ送信する。

【0015】

図１に戻り、仮想視点画像生成装置１４０は、ＨＵＢ１２０に接続されており、ＨＵＢ１２０を介して撮像装置１０１－ｘと通信可能に構成され、撮像装置１０１－ｘにより撮像された画像を蓄積する。仮想視点画像生成装置１４０は、例えば、蓄積した画像に基づいて、被写体や背景の三次元形状データを生成し、仮想視点画像の生成のための準備を行いうる。そして、仮想視点画像生成装置１４０は、ユーザ端末の操作によって仮想視点情報が入力された場合、複数の撮像装置１０１－ｘによって撮像された画像を用いて、入力された仮想視点情報に対応する仮想視点画像を生成する。ここで、仮想視点情報とは、位置情報と方向情報とが少なくとも含まれ、どの位置からどの方向を向いて被写体を観察するかを指定する情報である。位置情報は、競技場の中央などの所定位置に対する相対的な位置（例えば、所定位置を基準とした場合の、前後方向、左右方向、および左右方向の位置）を示す情報である。方向情報は、その所定位置からの向き（例えば、所定の方向を基準方向とし、前後方向、左右方向、上下方向を軸とする３次元直交座標系での各軸からの角度）を示す情報である。仮想視点画像生成装置１４０は、例えば、サーバ装置である。仮想視点画像生成装置１４０は、例えば、複数の撮像装置１０１－ｘのそれぞれによって撮像された画像を保存するデータベース機能と、それらの撮像装置１０１－ｘが配置された位置や撮像を行った向きの情報を管理する機能を有する。そして、仮想視点画像生成装置１４０は、その管理している情報に基づいて、保存した画像を用いて仮想視点画像を生成する画像処理機能を有する。なお、仮想視点画像生成装置１４０のデータベース機能は、競技の開始前の競技会場の場面など、被写体が存在しない状態の競技会場の場面が撮像された画像を、背景画像データとして予め保持しうる。

【0016】

情報処理装置１６０は、ＨＵＢ１２０に接続され、ＨＵＢ１２０を介して撮像装置１０１－ｘや仮想視点画像生成装置１４０と通信可能に構成される。情報処理装置１６０は、撮像装置１０１－ｘによって撮像された撮像画像や撮像装置１０１－ｘの状態情報を受信し、表示画面に表示するための処理を実行する。また、情報処理装置１６０は、仮想視点画像生成装置１４０の状態情報をも受信し、表示画面に表示するための処理を実行する。本システムの看視者は、情報処理装置１６０による処理によって表示画面に表示された撮像画像等を用いて、撮像装置群１００や仮想視点画像生成装置１４０の状態を定常的に監視することができる。また、情報処理装置１６０は、システムの設置から撮像までで実行すべき作業を示すワークフローを表示し、その作業についての、完了、未完了、又は現在処理中等の処理の進捗状況の情報を表示するための処理を実行しうる。また、情報処理装置１６０は、完了した処理が正常な状態であるか異常な状態であるかを示す情報を表示するための処理を実行しうる。これらの表示内容については後述する。

【0017】

ＨＵＢ１２０は、撮像装置群１００と、仮想視点画像生成装置１４０と、情報処理装置１６０との間の通信を中継する。ＨＵＢ１２０は、例えば、複数の撮像装置１０１－ｘから出力された撮像画像を、仮想視点画像生成装置１４０と情報処理装置１６０とへ転送する。これにより、仮想視点画像生成装置１４０と情報処理装置１６０は、同一の撮像画像を取得することができる。

【0018】

続いて、情報処理装置１６０の構成例について説明する。図４は、情報処理装置１６０のハードウェアの構成例を示す図である。情報処理装置１６０は、そのハードウェア構成として、例えば、コントローラユニット４０１、操作ユニット４１０、および表示装置４２０を含んで構成される。なお、情報処理装置１６０は、例えば操作ユニット４１０や表示装置４２０を含まずに構成されてもよい。例えば、情報処理装置１６０は、外付けのキーボード等の操作機器からユーザ操作を示すコマンドを受け付けて処理を実行し、外付けのディスプレイ等に画面表示させるための画面データを出力するように構成されてもよい。また、情報処理装置１６０は、ネットワーク上に配置されたサーバ等であってもよく、１つ以上の操作端末からネットワークを介して操作コマンドを受信し、１つ以上のディスプレイにネットワークを介して画面データを送信してもよい。

【0019】

コントローラユニット４０１は、例えば、ＣＰＵ４０２、ＲＯＭ４０３、ＲＡＭ４０４、ＨＤＤ４０５、操作部Ｉ／Ｆ４０６、表示部Ｉ／Ｆ４０７、及び通信Ｉ／Ｆ４０８を含んで構成される。なお、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの頭字語であり、Ｉ／Ｆはインタフェースの略語である。ＣＰＵ４０２、ＲＯＭ４０３、ＲＡＭ４０４、操作部Ｉ／Ｆ４０６、表示部Ｉ／Ｆ４０７、及び通信Ｉ／Ｆ４０８は、システムバス４０９を介して相互に接続される。

【0020】

ＣＰＵ４０２は、ＲＯＭ４０３に格納されているブートプログラムにより、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。そして、ＣＰＵ４０２は、このＯＳ上で、ＨＤＤ４０５等に格納されているアプリケーションプログラムを実行する。ＣＰＵ４０２は、アプリケーションプログラムの実行によって各種処理を実現する。ＲＡＭ４０４は、ＣＰＵ４０２の作業領域等として用いられる。ＨＤＤ４０５は、上述のアプリケーションプログラムなどを格納する。

【0021】

操作部Ｉ／Ｆ４０６は、操作ユニット４１０からユーザ操作を示す情報を受け付け、必要に応じて操作ユニット４１０に情報を出力することによりユーザ操作制御を行うインタフェースである。操作部Ｉ／Ｆ４０６は、操作ユニット４１０が受け付けたシステム監視者によるユーザ操作を示す情報を、操作ユニット４１０から取得し、その情報をＣＰＵ４０２に出力する。操作ユニット４１０は、例えば、マウスやキーボード等のユーザ操作を受け付ける機器によって構成される。ただし、これに限られず、ユーザのジェスチャや視線を検出するセンサや、操作子の動きを検出するセンサなど、ユーザ操作を受け付けることが可能な任意の機器が操作ユニット４１０として用いられてもよい。

【0022】

表示部Ｉ／Ｆ４０７は、表示装置４２０に表示させるべき画像データを、表示装置４２０に対して出力し、必要に応じて表示装置４２０から情報を受け付けることにより画面表示制御を行うインタフェースである。表示装置４２０は、コンピュータディスプレイでありうる。なお、操作ユニット４１０と表示装置４２０は、例えば、タッチパネルディスプレイ等の１つの装置によって構成されてもよい。また、本実施形態では、情報提示が画面表示により行われるものとするが、音声出力や振動出力など様々な方法で情報提示が行われてもよい。この場合、表示部Ｉ／Ｆ４０７は、出力すべき音声データや振動パターンの情報を、外部のスピーカや振動子に対して出力しうる。

【0023】

通信Ｉ／Ｆ４０８は、例えば伝送ケーブルを介して、他の装置と接続して通信するためのインタフェースである。通信Ｉ／Ｆ４０８は、外部装置（例えばユーザ端末や、図１のＨＵＢ１２０及び情報処理装置１６０）との間で、通信により情報の入出力を行う。通信Ｉ／Ｆ４０８は、有線通信Ｉ／Ｆでありうるが、無線通信Ｉ／Ｆであってもよい。

【0024】

図５に、情報処理装置１６０の機能構成例を示す。情報処理装置１６０は、データ記録部５０１、ユーザ入力部５０２、制御部５０３、通信部５０４、ワークフロー管理部５０５、ＵＩ画像生成部５０６、表示部５０７、及び、異常検出部５０８を有する。これらの機能部は、相互に論理的に接続され、制御部５０３による制御の下で、相互にデータを送受信することができる。なお、データ記録部５０１は、ＨＤＤ４０５にデータを記録し、制御部５０３とワークフロー管理部５０５とＵＩ画像生成部５０６は、ＣＰＵ４０２の処理によって処理を行う。また、ユーザ入力部５０２は操作部Ｉ／Ｆ４０６によってユーザ入力を示す情報を取得し、通信部５０４は通信Ｉ／Ｆ４０８によって外部の装置と通信を行う。表示部５０７は、表示部Ｉ／Ｆ４０７を介して表示装置４２０に情報を表示させる。

【0025】

データ記録部５０１は、システムの設置から撮像に至るまでの手順や進捗状況を示すワークフロー定義情報を保持する。ワークフロー定義情報は、「ＩＤ」、「カテゴリ」、「プロセス」、及び「要求」の少なくともいずれかの情報を含む。ここで、「カテゴリ」は、設置から撮像までの手順をグルーピングした項目を示し、「プロセス」は、カテゴリに属する処理項目を示し、「要求」は、プロセスに対応する処理の詳細であって、情報処理装置１６０が撮像装置１０１－ｘへ要求する処理内容を示す。また、「ＩＤ」は、これらの項目の組み合わせに対して一意に割り当てられる識別情報であり、プロセスの実行順に対応するデータである。「ＩＤ」は、例えば、最初に実行すべきプロセスに対して「１」が割り当てられ、順に、「２」、「３」、…と増加する値でありうる。

【0026】

図６に、ワークフロー定義情報の例を示す。本例におけるワークフロー定義情報は、撮像システムの設置から撮像に至るまでの１４個の処理の内容と順序とを定義している。各処理が「プロセス」として定義され、１つの「カテゴリ」が１つ以上の「プロセス」のグループを含む。また、各「プロセス」には、情報処理装置１６０が撮像装置１０１－ｘへ要求する制御内容として、「要求」が定義されている。図６に示すように、本例のワークフロー定義情報は、「機器接続」、「同期」、「画角調整」、「露出調整」、「キャリブレーション（ＣＡＬ）」カテゴリが定義されている。

【0027】

機器接続カテゴリに対しては、「カメラ」、「レンズ」、「雲台」を含んだプロセスのグループが定義されている。これらのプロセスは、撮像装置１０１－ｘのそれぞれについて、カメラ、レンズ、及び雲台が接続されているかを確認する処理である。本処理では、単に機器が存在していて接続されていることを確認する処理が実行されうるが、撮像装置１０１－ｘごとに機器の種別の確認等、他の処理が実行されてもよい。例えば、撮像システムにおいて複数種類のカメラが用いられる場合に、「撮像装置１０１－１に種別Ａのカメラが接続されている」等の確認処理が実行されてもよい。また、撮像装置１０１－ｘごとに、機器のＩＤが確認されてもよい。例えば、撮像システムに用いられるカメラごとにユニークにシリアルＩＤが定義され、撮像装置１０１－１にＩＤ＝００１のカメラが接続されていることの確認が行われてもよい。仮想視点画像撮像システムは膨大な機器を扱うため、機材の管理は非常に重要である。これに対して、情報処理装置１６０は、これらのプロセスにより、機器の台数の確認や所望の機材が接続されているか否かを確認することができる。

【0028】

同期カテゴリに対しては、「同期」のプロセスが定義されている。仮想視点画像を生成するためには、全ての撮像装置１０１－ｘのカメラ３０１が同期して撮像を行う必要がある。このため、情報処理装置１６０は、本プロセスによって、全ての撮像装置１０１－ｘの画像処理装置３０４へ同期信号出力要求を行い、多数のカメラ３０１が同期するための同期信号を出力させる。

【0029】

画角調整カテゴリに対しては、「雲台角度」、「ズーム」、「フォーカス」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、複数のカメラ３０１が同じ領域をボケなく撮像する必要がある。このため、情報処理装置１６０は、これらのプロセスにおいて、雲台の角度を調整することによってカメラの向きを指定し、ズーム調整によってカメラの撮像範囲を定め、フォーカス調整によってボケをなくすための要求信号を出力する。

【0030】

露出調整カテゴリに対しては、「ＩＳＯ」、「アイリス」、「シャッター」、「ＮＤ」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置１０１－ｘのカメラ３０１の撮像画像が同じ明度である必要がある。そのため、情報処理装置１６０は、これらのプロセスによって、露出に関する調整を要求する信号を出力する。

【0031】

キャリブレーション（ＣＡＬ）カテゴリに対しては、「撮像」、「計算」、「設定」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置１０１－ｘのカメラ３０１がどの位置にどのような向きで設置され、どのようなレンズ歪みを持っているかを管理する必要がある。この管理データを、以下では「ＣＡＬパラメータ」と呼ぶ。ＣＡＬパラメータは、全てのカメラ３０１によって同時刻に撮像を実行し、その撮像画像を解析して特徴点の位置を抽出して計算を行うことによって特定される。ＣＡＬパラメータは、世界座標系で表された３次元点を画像上にマップする方法を利用して算出されうる。情報処理装置１６０は、算出したＣＡＬパラメータを用いて、全ての撮像装置１０１－ｘの画像処理装置３０４の設定を行う。

【0032】

なお、本例では１４個のプロセスと５個のカテゴリが定義されているが、プロセスとカテゴリの個数及び内容については任意に設定可能であり、特に限定されない。例えば、上述の処理は、仮想視点画像を生成するシステムに関するものであるが、仮想視点画像と関係しないマルチカメラシステムが、その用途を果たすために必要なプロセス及びカテゴリが定義されてもよい。また、複数の撮像装置を用いることも必須ではなく、多数の機材を用いるシステムの設置や運用等のために、プロセスとカテゴリが定義されてもよい。なお、情報処理装置１６０は、データ記録部５０１を内包している必要はなく、データ記録部５０１は、情報処理装置１６０の外部の記録装置によって実現されてもよい。また、データ記録部５０１は、撮像装置１０１－ｘに関する情報を保持する部分について、各々の撮像装置１０１－ｘ内に実装されてもよい。データ記録部５０１は、例えば撮像装置１０１－ｘ及び情報処理装置１６０に機能ごとに分けて実装されるなど、複数の装置に分散して実装されてもよい。

【0033】

図５に戻り、ユーザ入力部５０２は、操作ユニット４１０によって受け付けられたユーザ操作の情報を受け付け、制御部５０３に出力する。

【0034】

制御部５０３は、情報処理装置１６０の各部に制御指示を出力する。例えば、制御部５０３は、ユーザ入力部５０２からの操作情報に基づいて、撮像装置１０１－ｘへの要求内容を決定し、通信部５０４へ要求内容を出力する。また、制御部５０３は、撮像に向けたシステムの進捗状況をＵＩ（ユーザインタフェース）画面に表示させるために、ワークフロー管理部５０５に対しても同様に、要求内容を送信する。また、制御部５０３は、撮像装置１０１－ｘへ出力した要求の処理結果を示す要求応答情報を、通信部５０４を介して受信し、ワークフロー管理部５０５に対して、その要求応答情報を出力しうる。

【0035】

通信部５０４は、制御部５０３からの要求情報を取得し、他の装置へ送信可能な信号形式へその要求情報を変換して、撮像装置１０１－ｘのそれぞれに対して送信する。また、通信部５０４は、撮像装置１０１－ｘのそれぞれから信号を受信してその信号に含まれる要求応答情報を抽出し、抽出した要求応答情報を制御部５０３へ出力する。また、通信部５０４は、撮像装置１０１－ｘのそれぞれから受信した信号から機器情報を取得して、その機器情報を異常検出部５０８へ出力する。ここで、機器情報は、撮像装置の設定値、外光センサ値、ジャイロセンサ値の少なくともいずれか等の情報を含みうる。

【0036】

ワークフロー管理部５０５は、制御部５０３から要求情報及び要求応答情報を取得し、それらの情報に応じてワークフロー管理情報を更新し、その後に、更新したワークフロー管理情報をＵＩ画像生成部５０６へ送信する。図７に、ワークフロー管理情報の一例を示す。ワークフロー管理情報は、プロセスごとの、未実行、実行中、正常終了、異常終了の４種類の状態のいずれの状態であるかを示す情報を含む。状態遷移については後述する。

【0037】

ＵＩ画像生成部５０６は、ワークフロー管理部５０５から取得したワークフロー管理情報に基づいてＵＩ画像を生成し、表示部５０７へ出力する。

【0038】

表示部５０７は、ＵＩ画像生成部５０６から出力された表示イメージを、不図示のフレームバッファに上書きする。そして、表示部５０７は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して、表示装置４２０に表示させる。

【0039】

異常検出部５０８は、通信部５０４から機器情報を取得し、動作が異常な機器がないかを監視する。異常検出部５０８は、機器の異常発生を検出すると、ワークフロー管理部５０５へ異常通知を出力する。

【0040】

（システムの設置・運用時の処理の流れの例）
続いて、情報処理装置１６０が実行する処理の流れの例について説明する。本処理では、情報処理装置１６０は、仮想視点画像を生成するために多数の撮像装置が設置されてから撮像が開始されるまでの手順をユーザがもれなく実行することを支援するためのＵＩ画面を表示する。

【0041】

図８に、本処理の流れの例を示す。本処理は、例えばＣＰＵ４０２がＨＤＤ４０５に記憶されているプログラムを実行することによって実現されうる。なお、以下では、図５の機能構成を用いて処理の流れについて説明する。

【0042】

本処理では、ワークフロー管理部５０５は、まず、データ記録部５０１からワークフロー定義情報を読み込み（Ｓ８０１）、ワークフロー管理情報を生成する。ワークフロー管理部５０５は、例えば、ワークフロー定義情報の中からカテゴリとプロセスの情報を抽出し、各プロセスの状態を「未実行」に設定して管理する。その後、ワークフロー管理部５０５は、作成したワークフロー管理情報をＵＩ画像生成部５０６へ出力し、ＵＩ画像生成部５０６は、ワークフロー管理情報に基づいてワークフローＵＩを生成して表示する（Ｓ８０２）。なお、ワークフロー定義情報は、ユーザ操作によって手動入力されてもよい。また、複数のシステムに対応するワークフロー管理情報が事前に定義されてデータ記録部５０１に記録され、ワークフロー管理部５０５は、その複数のシステムの中からユーザによって選択されたシステムに対応するワークフロー定義情報を読み出してもよい。また、ワークフロー管理部５０５は、例えば所定のアプリケーションが起動されたことに応じて、そのアプリケーションに対応するワークフロー管理情報をデータ記録部５０１から読み出してもよい。また、情報処理装置１６０が所定のシステム専用である場合、ワークフロー管理部５０５は、情報処理装置１６０が起動したことによって、一切のユーザ操作を受け付けることなく、所定のワークフロー管理情報をデータ記録部５０１から読み出してもよい。

【0043】

図９は、図６のワークフロー定義情報に基づいて、ワークフロー管理情報が生成された時点のワークフローＵＩ表示の一例である。このワークフローＵＩはＳ８０２において初期表示される。図９の表示のうち、上段にはワークフローに含まれるカテゴリの情報が一覧表示されている。また、下段にはワークフローに含まれるプロセスの情報が一覧表示されており、これらのプロセスの情報は、そのプロセスが属するカテゴリの下部に表示されている。カテゴリの情報とプロセスの情報との間には、カテゴリの進捗状態を表示するステータスバー９０１が配置され、プロセスの情報の下部にはそのプロセスの進捗状態を表示するステータスバー９０２が配置される。これらのステータスバーによって、未実行／実行中／正常終了／異常終了の４状態が表現される。なお、ワークフローＵＩは、例えば初期表示においては、カテゴリのみ表示され、カテゴリが選択されたことに応じて、そのカテゴリに属するプロセスが表示されるようにしてもよい。すなわち、例えば、ユーザは、実行中のまま正常終了に移行しないカテゴリなどについては選択して状況を把握し、正常終了したカテゴリについては詳細を知る必要がない場合がある。このような場合に、表示を簡素化して、ユーザが状態を大まかに把握することを容易にすることができる。また、進捗状態の表示においては、図９のように、カテゴリやプロセスの名称を示す領域とは別個にステータスバー等の進捗状況を示す領域が用意されてもよいが、これに限られない。例えばカテゴリやプロセスを示す文字／枠の色／大きさの変更や点滅表示などが利用されてもよく、ユーザが状態を判断可能な表示が行われる限りにおいて、ステータスバー表示が用いられなくてもよい。

【0044】

図８に戻り、ワークフロー管理部５０５は、制御部５０３から要求情報が届くのを待ち受ける（Ｓ８０３）。ここでは、一例として、図７に示すワークフロー管理情報の例に基づいて、機器接続のレンズプロセスまで正常終了している進捗状況である場合について説明する。ワークフロー管理部５０５は、制御部５０３から要求情報を取得すると（Ｓ８０３でＹＥＳ）、その時点で完了しているべきプロセスのうち「正常終了」以外（「未実行」、「実行中」、「異常終了」）のプロセスが存在するかを確認する（Ｓ８０４）。そして、ワークフロー管理部５０５は、正常終了状態でないプロセスが存在すると判定した場合（Ｓ８０４でＹＥＳ）、警告ＵＩを表示して（Ｓ８０５）、要求待ち状態（Ｓ８０３）へと遷移する。例えば、ワークフロー管理部５０５は、制御部５０３から同期設定の要求情報を取得した場合、ワークフロー管理情報によって現在の進捗を確認する。そして、ワークフロー管理部５０５は、雲台プロセスが「未実行」であることを検出すると、正常終了以外のプロセスが存在すると判定し、警告ＵＩを表示するようにＵＩ画像生成部５０６へ要求する。

【0045】

図１０に、警告ＵＩ表示の一例を示す。情報処理装置１６０の操作者は、この警告ＵＩを視認することにより、未完了のプロセスが存在することを認知することができる。これにより、作業者が、ワークフローの手順を漏れなく実行することが可能となる。なお、警告ＵＩの表示内容は、未完了のプロセスがあることをユーザが認知できるものであれば、図１０の内容に限定されない。また、この通知は、音声ガイダンスやビープ音といった音によって行われてもよく、ＵＩ表示によって行われる必要はない。

【0046】

一方、ワークフロー管理部５０５は、それまでに完了しているべきプロセスの全てが正常終了している場合（Ｓ８０４でＮＯ）、要求情報に対応するプロセスの状態を実行中の状態へと変更する。そして、ワークフロー管理部５０５は、このプロセスについて実行中であることを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８０６）。その後、ワークフロー管理部５０５は、制御部５０３から要求応答情報を受信するのを待ち受ける（Ｓ８０７）。ワークフロー管理部５０５は、要求応答情報を受信すると（Ｓ８０７でＹＥＳ）、その要求応答情報に基づいて、Ｓ８０３の要求が正常終了したか否かを判定する（Ｓ８０８）。ワークフロー管理部５０５は、要求が正常終了したと判定した場合（Ｓ８０８でＹＥＳ）、その要求に対応するプロセスの状態の情報を正常終了状態へと変更する。そして、ワークフロー管理部５０５は、そのプロセスについて「正常終了」したことを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８０９）。一方、ワークフロー管理部５０５は、Ｓ８０３の要求が異常終了したと判定した場合（Ｓ８０８でＮＯ）、その要求に対応するプロセスの状態の情報を異常終了状態へと変更する。この場合、ワークフロー管理部５０５は、そのプロセスが「異常終了」したことを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８１０）。その後、ワークフロー管理部５０５は、カテゴリの表示を変更すべきか否かを判定する（Ｓ８１１）。そして、ワークフロー管理部５０５は、表示を変更すべきと判定した場合（Ｓ８１１でＹＥＳ）は、要求に対応するカテゴリについて正常終了したことを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８１２）。一方、ワークフロー管理部５０５は、カテゴリの表示を変更すべきでないと判定した場合（Ｓ８１１でＮＯ）は、要求情報の待受け状態へと戻る。

【0047】

図１１（Ａ）～図１１（Ｄ）に、ワークフローＵＩ表示の一例を示す。なお、図１１（Ａ）～図１１（Ｄ）には、説明を簡単にするために、機器接続カテゴリのＵＩ表示の例のみが図解されている。図１１（Ａ）は、レンズプロセスまで正常終了しており、雲台プロセスが未実行の進捗状況を示している。進捗状態が未実行の場合、ステータスバーは白色で表示される。図１１（Ｂ）は、制御部５０３から雲台接続確認要求が取得された後に、雲台プロセスが実行中の進捗状況へと遷移した際の表示例である。進捗状態が実行中の場合、ステータスバーは、例えば第１の所定色（例えば灰色）の明滅表示となる。次に、図１１（Ｃ）は、制御部５０３から取得された要求応答情報によってプロセスが異常終了したことが示されたことに応じて、雲台プロセスの進捗状況が異常終了へと遷移した場合の表示例を示している。進捗状態が異常終了となった場合、ステータスバーは、例えば第２の所定色（例えば赤色）で表示される。この表示により、情報処理装置１６０の操作者は、雲台接続ができなかったことを認識することができ、画像処理装置３０４と雲台３０３との間のケーブルが接続されているか、雲台の電源が入っているか等の対応をとることができる。図１１（Ｄ）は、制御部５０３から取得された要求応答情報によってプロセスが正常終了したこと示されたことに応じて、雲台プロセスの進捗状況が正常終了へと遷移した場合の表示例を示している。進捗状態が正常終了となった場合、ステータスバーはカメラ等の正常終了状態となったプロセスのステータスバーと同色で表示される。また、カテゴリに属する全プロセスが正常終了状態であることをワークフロー管理部５０５が確認すると、ＵＩ画像生成部５０６は、正常終了状態を示すようにカテゴリのステータスバーの状態を変更しうる。なお、ステータスバーの表示については、上述のものに限定されず、バー（進捗状況を示すアイコン・領域）の色やサイズ、模様、アニメーションの少なくともいずれか等の任意の態様によって、進捗状況を区別可能に表示してもよい。

【0048】

情報処理装置１６０の操作者は、ワークフローＵＩの進捗状況を見て適切なプロセスを確認し、操作ユニット４１０を操作することにより、プロセスに対応する要求を実行しうる。一例において、操作ユニット４１０のキーボードの各キーに対してそれぞれ別個のプロセスが対応付けられ、ユーザは、選択対象のプロセスに対応するキーを押下することによって、そのプロセスに対応する要求を実行することができる。なお、この要求の実行は、キーボードのキー入力に限定されず、例えばワークフローＵＩの各プロセスの表示部分がボタンとなっており、ユーザがマウス操作によりそのボタンを押下することにより、そのプロセスの要求が実行されるようにしてもよい。また、情報処理装置１６０は、音声認識機能を有し、操作者の声による音声入力により、この要求を実行してもよい。これ以外にも、要求の実行の指示を受付可能な任意の方法が用いられてもよい。

【0049】

なお、プロセスの進捗状況を、ユーザ入力によって任意に変更可能としてもよい。例えば、上述の説明では、露出調整を情報処理装置１６０が実行するワークフローとなっているが、カメラ３０１において直接設定されてもよく、この場合には、情報処理装置１６０からの設定が行われる必要がない。このとき、ユーザ入力によって露出調整のプロセスの進捗状況を全て正常終了へ遷移させることにより、露出調整処理をスキップすることができる。

【0050】

以上のように、上述の処理では、情報処理装置１６０は、ワークフローＵＩによってプロセスの順序を表示すると共に、その進捗表示を容易に判別することができるように表示することで、ユーザによるシステムの設置・運用を効率的に支援することができる。ユーザは、このワークフローＵＩにより、次に実行すべき処理を容易に把握し、誤った操作を行うこと又は次に実行すべき処理の誤認が発生することを防ぐことができる。このため、ユーザは、表示されたプロセス順に沿ってプロセスに対応する要求を実行していくことにより、設置から撮像に向けた複雑な手順を、迷わずに、かつ、漏れなく実行することができ、システムを確実に稼働させることができるようになる。

【0051】

（異常発生時の処理の流れの例）
次に、設置から撮像に向けて処理する最中に異常が発生した場合に、復旧に必要な処理を簡単に漏れなく実行するためのＵＩを表示する例を説明する。

【0052】

本処理のために、データ記録部５０１が記憶するワークフロー定義情報には、上述の情報に加えて、異常が影響を与えるプロセスに対して定義される以上内容の情報が含まれる。図１２に、この場合のワークフロー定義情報の例を示す。本例では、図６と同様に１４個のプロセスと５個のカテゴリが示されており、図６の情報に加えて、プロセスごとに、異常発生時に再度実行すべき処理を定義する異常情報を含んでいる。まず、各異常情報の詳細について説明する。

【0053】

カメラ切断、レンズ切断、雲台切断は、撮像装置１０１－ｘ内の画像処理装置３０４と各機器との接続が切断されたことを指す。これらの異常のことを以下では「切断異常」と総称する。切断異常は、機器接続カテゴリのプロセスに影響を及ぼすが、他のプロセスには影響を与えないため、機器接続カテゴリ内の各プロセスに対してのみ定義される。同期異常は、撮像装置１０１－ｘ内の画像処理装置３０４から送出された同期信号がカメラ３０１へ届かないことや、同期信号の情報が誤っている状態であることを指す。同期異常は、同期プロセスに影響を及ぼすが、他のプロセスには影響を与えないため、同期カテゴリに対してのみ定義される。

【0054】

カメラ移動、ズームレンズ移動、フォーカスレンズ移動、機体振動は、総じて画角ずれ異常である。仮想視点画像を生成するためには、複数の撮像装置１０１－ｘが同じ空間領域を撮像する必要がある。このため、事前に複数の撮像装置１０１－ｘのそれぞれの位置やカメラ向き、焦点距離を、予め計算によって決定しておく必要がある。すなわち、画角調整は、撮像装置１０１－ｘを事前に求めた設置状態へ設定することを指し、一度設置した状態から設置状態がずれた場合は異常として検出される。カメラ移動は、例えば人の手によりカメラ３０１の姿勢が調整されることや、ボールなどの物体がカメラ３０１や雲台３０３に衝突したこと等の外力によりカメラ３０１が動いてしまったことを指す。ズームレンズ移動は、ズームレンズが移動することにより、焦点距離が変わり撮像範囲が変化したことを指す。フォーカスレンズ移動は、フォーカスレンズが移動することによりピントがずれたことを指す。機体振動は、雲台３０３の設置治具の取り付け不良や、雲台３０３とカメラ３０１と間の設置治具の取り付け不良により、カメラ３０１が微小に動いてしまっていることを指す。これらの画角ずれ異常は、画角調整カテゴリとキャリブレーションカテゴリの各プロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。

【0055】

ＩＳＯ値変動、アイリス値変動、シャッター値変動、ＮＤフィルタ値変動、外光変化は、総じて露出異常である。仮想視点画像は、複数の撮像画像が合成されることにより作成されるため、露出の異なるカメラ３０１があると、仮想視点画像の品位が低下する。ＩＳＯ値変動、アイリス値変動、シャッター値変動、ＮＤフィルタ値変動は、少なくとも一部のカメラ３０１の設定値が他のカメラ３０１の設定値と異なっている状態であることを指す。外光変化は、会場の屋根の開閉や雲の移動による日照変化により周囲環境の明るさが変化することを指す。露出異常は、アイリス値変動以外は、露出調整プロセスにのみ影響を及ぼすため、露出調整プロセスに対してのみ定義される。一方、アイリス値変動は、被写界深度に影響を与えるためキャリブレーションプロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。

【0056】

異常情報の定義内容は、異常検出部５０８の異常検出処理にも適用される。すなわち、異常検出部５０８は、撮像装置１０１－ｘにおける画像処理装置３０４と各機器との接続状態を監視しており、これらの切断を検出すると、切断異常の異常通知をワークフロー管理部５０５へ出力する。また、異常検出部５０８は、撮像装置１０１－ｘ内で画像処理装置３０４からカメラ３０１へ出力する同期信号の状態を監視し、同期信号が正常でない状態を検出した場合に同期異常の異常通知をワークフロー管理部５０５へ出力する。また、異常検出部５０８は、撮像装置１０１－ｘのカメラ３０１に搭載されているジャイロセンサの値を取得し、カメラ３０１の姿勢変化を監視する。異常検出部５０８は、姿勢変化を検出した場合に、カメラ移動の異常通知をワークフロー管理部５０５へ出力する。また、異常検出部５０８は、撮像装置１０１－ｘのカメラ３０１の露出設定値を取得し、例えばＩＳＯ値の変化を検出した場合に、ＩＳＯ値変動の異常通知をワークフロー管理部５０５へ出力する。なお、異常の特定が可能な限りにおいて、上述の方法と異なる異常検出方法が用いられてもよい。また、異常情報の定義は任意に設定可能であり、上述の例に限定されない。

【0057】

例えば上述のように異常が影響を及ぼすプロセスが定義され、異常が発生した場合にその異常に応じて定義されたプロセスが再度実行されることにより、異常状態から正常状態への復旧が可能となる。このため、情報処理装置１６０は、異常が検出された場合に、その異常に対応するカテゴリやプロセスの処理をユーザに通知して、そのプロセスに関する処理を実行するように促すためのＵＩを生成して表示するための処理を実行する。

【0058】

図１３は、このような処理のために、ワークフロー管理部５０５が異常発生通知を取得した際に実行する処理の流れの例を示している。ワークフロー管理部５０５は、例えば図８の処理と並行して又はシステムによってサービスを提供している間に、異常検出部５０８から異常通知が受信されたか否かの監視を行う（Ｓ１３０１）。ワークフロー管理部５０５は、異常通知を取得した場合（Ｓ１３０１でＹＥＳ）、ワークフロー定義情報に記述されている異常情報を確認し、取得した異常が影響を与えるプロセスを確認する（Ｓ１３０２）。その後、ワークフロー管理部５０５は、取得した異常が影響を与えるプロセスについて、その進捗状態を「未実行」に変更する（Ｓ１３０３）。なお、更新されたワークフロー管理情報は、ＵＩ画像生成部５０６へ送信される。ＵＩ画像生成部５０６は、ワークフロー管理部５０５から取得したワークフロー管理情報に基づいてＵＩ画像を生成し、表示部５０７は、そのＵＩ画像を取得して表示装置４２０に表示させる。なお、異常通知が異常検出部５０８から取得する例を記載したが、制御部５０３から取得した制御内容に応じて、ワークフロー管理部５０５が異常を検出してもよい。

【0059】

図１４（Ａ）及び図１４（Ｂ）は、異常発生時のワークフローＵＩ表示の例である。図１４（Ａ）の画面によって、キャリブレーションカテゴリ内の計算プロセスまで正常終了しており、設定プロセスを実行することにより、全ての処理が完了する状態であることが表示されている。この状況で、作業者がカメラにぶつかってしまうなどの要因によって、カメラ移動の異常が発生したとする。この場合、カメラ移動の異常が影響を及ぼすプロセスは、画角調整カテゴリとキャリブレーションカテゴリに属するプロセスである。このため、ワークフロー管理部５０５は、これらの影響を及ぼすプロセスの進捗状態を「未完了」に変更して、ＵＩ表示を更新させる。図１４（Ｂ）は、この更新後のＵＩ表示の例である。これにより、情報処理装置１６０の操作者は、画角調整カテゴリのプロセスとキャリブレーションカテゴリの完了していたプロセスが未完了となったことを認識することができる。そして、情報処理装置１６０の操作者が、これらの未完了のプロセスに応じた要求を再度実行するようにすることで、異常な状態から復旧するために必要な処理を簡単に漏れなく実行することができる。

【0060】

なお、本例では、発生した異常から復旧するために必要な処理がワークフロー定義情報に予め定義され、異常が発生した場合に、その異常に対応する処理の状態が未完了状態に変更されるが、これに限られない。例えば、異常から復旧するために必要な処理の選択が、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機械学習を用いて実行されてもよい。ＡＩを用いることにより、学習の回数が増えるにつれて、復旧処理の確度が向上し、システムのロバスト性能を徐々に向上させることができる。また、復旧に必要な処理を特定可能な方法であれば、これらの方法と異なる方法が用いられてもよい。

【0061】

上述の処理は、多数の機器を有するシステムにおいて有効であり、その多数の機器と通信可能に構成された情報処理装置が、上述のようにして、そのシステムを稼働させるための作業に関するワークフローの情報をＵＩ表示させることができる。そして、情報処理装置は、多数の機器のうち、ワークフロー内の各プロセスに関与する機器と通信し、その機器が、システムの機能を果たすことができるような状態となっているかを確認し、その状態をＵＩ表示において表示する。これにより、多数の機器を有するシステムにおける作業の順序を容易に把握し、設置及び運用を誤りなく進めることができる。

【0062】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0063】

１００：撮像装置群、３０１：カメラ、３０２：レンズ、３０３：雲台、３０４：画像処理装置、１６０：情報表示装置、４０２：ＣＰＵ、４０３：ＲＯＭ、４０４：ＲＡＭ、４０５：ＨＤＤ、４０６：操作部Ｉ／Ｆ、４０７：表示部Ｉ／Ｆ、４０８：通信部、４１０：操作ユニット、４２０：表示装置、５０１：データ記録部、５０２：ユーザ入力部、５０３：制御部、５０４：通信部、５０５：ワークフロー管理部、５０６：ＵＩ画像生成部、５０７：表示部、５０８：異常検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】