特許 7585024 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   H04N 23/661 20230101AFI20241111BHJP

   H04N 23/58 20230101ALI20241111BHJP

   H04N 23/695 20230101ALI20241111BHJP

   H04N 23/69 20230101ALI20241111BHJP

   H04N 23/63 20230101ALI20241111BHJP

   H04N 23/60 20230101ALI20241111BHJP

   H04N 7/18 20060101ALI20241111BHJP

【ＦＩ】

H04N23/661

H04N23/58

H04N23/695

H04N23/69

H04N23/63 100

H04N23/60 100

H04N7/18 E

【請求項の数】 7

(21)【出願番号】P 2020209353

(22)【出願日】2020-12-17

(65)【公開番号】P2022096313

(43)【公開日】2022-06-29

【審査請求日】2023-12-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】大澤 隆治

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開平０７－３２００３１（ＪＰ，Ａ）

【文献】特開２０１１－１９９５６９（ＪＰ，Ａ）

【文献】特開２０００－２４４８００（ＪＰ，Ａ）

【文献】特開２００６－２０３８６３（ＪＰ，Ａ）

【文献】特開２０１０－２８７９７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００、２３／４０－２３／７６、２３／９０－２３／９５９

Ｈ０４Ｎ ７／１８

Ｇ０３Ｂ ５／００－５／０８

Ｇ０３Ｂ １５／００－１５／１６

Ｇ０２Ｂ ７／０２－７／１６

Ｇ０３Ｂ １７／０２、１７／２２

Ｇ０３Ｂ １７／５６－１７／５８

(57)【特許請求の範囲】

【請求項1】

撮像手段により撮像された画像を取得する取得手段と、
前記取得手段により取得された画像を表示手段に表示させる表示制御手段と、
前記撮像手段の撮像範囲を制御する制御手段とを有し、
前記表示制御手段は、前記撮像範囲における被写体が第１位置に配置される第１配置候補の情報と、前記撮像範囲における前記被写体が前記第１位置と異なる第２位置に配置される第２配置候補の情報とを前記表示手段に表示させ、
前記制御手段は、前記第１配置候補および前記第２配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御することを特徴とする情報処理装置。

【請求項2】

前記撮像手段により撮像された画像に含まれる被写体を、前記制御手段による前記撮像範囲の制御の基準として特定する特定手段を更に有し、
前記制御手段は、前記第１配置候補がユーザに選択された場合、前記特定手段により特定された被写体が前記撮像範囲において前記第１位置に配置されるよう、前記撮像範囲を制御し、前記第２配置候補がユーザに選択された場合、前記特定手段により特定された被写体が前記撮像範囲において前記第２位置に配置されるよう、前記撮像範囲を制御することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記撮像手段により撮像された画像に含まれる被写体を検出する検出手段を更に有し、
前記特定手段は、前記検出手段により検出された被写体のうちユーザ操作に基づき選択された被写体を、前記撮像範囲の制御の基準として特定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記表示制御手段は、前記取得手段により取得された画像を含む画像表示領域と、前記第１配置候補および前記第２配置候補を含む候補表示領域とを前記表示手段に表示させることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記表示手段に表示される前記第１配置候補の情報は、前記撮像範囲を示す領域において前記第１位置に対応して被写体を示すアイコンが配置された図形であり、
前記表示手段に表示される前記第２配置候補の情報は、前記撮像範囲を示す領域において前記第２位置に対応して被写体を示すアイコンが配置された図形であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

撮像手段により撮像された画像を取得する取得工程と、
前記取得工程において取得された画像を表示手段に表示させる表示制御工程と、
前記撮像手段の撮像範囲を制御する制御工程とを有し、
前記表示制御工程において、前記撮像範囲における被写体が第１位置に配置される第１配置候補の情報と、前記撮像範囲における前記被写体が前記第１位置と異なる第２位置に配置される第２配置候補の情報とを前記表示手段に表示させ、
前記制御工程において、前記第１配置候補および前記第２配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御することを特徴とする情報処理方法。

【請求項7】

コンピュータを、請求項１乃至５のいずれか１項に記載の情報処理装置の各手段として
機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法に関する。

【背景技術】

【0002】

現在、映像制作市場において、ネットワークに接続された撮像装置を遠隔地から制御するようなシステムが増加している。このようなシステムでは、撮像装置により撮像された映像を表示させつつ、当該撮像装置のＰＴＺ（パン・チルト・ズーム）を制御することで当該撮像装置が撮像する範囲（以下、撮像範囲）の変更が可能なアプリケーションがある。アプリケーションを利用する利用者は、ジョイスティックなどのデバイスを用いて撮像範囲を変更することが可能である。

【0003】

また、撮像装置の撮像範囲を制御する方法として、被写体の位置やサイズに基づきＰＴＺを制御する方法がある。特許文献１では、被写体を所望の撮影範囲で撮影するために、被写体の全体領域と、被写体の部分的な領域（頭部など）から、その２つの領域の比を算出し、ズーム操作に応じて、算出された比率が一定になるようにズーム倍率を制御することを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２０９６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

映像制作の現場において、カメラマンは画角内の構図を意識し、撮像範囲において被写体が所望の場所に位置するよう、撮像範囲を制御したいというケースがある。ここで、ユーザがジョイスティックを利用してＰＴＺを制御しつつ、撮像範囲において被写体が所望の場所に位置するよう撮像範囲を制御する操作は煩雑であった。

【0006】

そこで、本発明は、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、撮像手段により撮像された画像を取得する取得手段と、前記取得手段により取得された画像を表示手段に表示させる表示制御手段と、前記撮像手段の撮像範囲を制御する制御手段とを有し、前記表示制御手段は、前記撮像範囲における被写体が第１位置に配置される第１配置候補の情報と、前記撮像範囲における前記被写体が前記第１位置と異なる第２位置に配置される第２配置候補の情報とを前記表示手段に表示させ、前記制御手段は、前記第１配置候補および前記第２配置候補のうちユーザに選択された配置候補の情報に基づき、前記撮像範囲を制御する。

【発明の効果】

【0008】

本発明によれば、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。

【図面の簡単な説明】

【0009】

【図1】システムの一例を示す図である。

【図2】撮像装置の外観の一例を示す図である。

【図3】撮像装置の機能ブロックを示す図である。

【図4】情報処理装置の機能ブロックを示す図である。

【図5】配置候補を表示させる処理の流れを示すフローチャートである。

【図6】ディスプレイに表示される画像および配置候補の一例を示す図である。

【図7】表示される配置候補を説明するための図である。

【図8】撮像範囲を制御する処理の流れを示すフローチャートである。

【図9】ディスプレイに表示される画像および配置候補の一例を示す図である。

【図10】各装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0011】

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、撮像装置１００、情報処理装置２００、ディスプレイ４００、およびネットワーク３００を有している。

【0012】

撮像装置１００および情報処理装置２００は、ネットワーク３００を介して相互に接続されている。ネッワーク３００は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

【0013】

なお、ネットワーク３００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0014】

撮像装置１００は、画像を撮像する装置であり、撮像範囲を制御可能な撮像手段として機能する。撮像装置１００は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１００を識別する識別情報と、撮像装置１１０の撮像範囲の情報とを、ネットワーク３００を介し、情報処理装置２００等の外部装置へ送信する。情報処理装置２００は、例えば、後述する処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等のクライアント装置である。なお、本実施形態に係るシステムにおいて、撮像装置１００は１つとするが、複数であってもよい。すなわち、複数の撮像装置１００が、ネットワーク３００を介して、情報処理装置２００と接続されてもよい。この場合、情報処理装置２００は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置１００のうちどの撮像装置１００により撮像されたかを判断する。

【0015】

ディスプレイ４００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、撮像装置１００が撮像した画像などを表示する。ディスプレイ４００は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置２００と接続されている。なお、ディスプレイ４００および情報処理装置２００は、単一の筐体に設けられてもよい。

【0016】

次に、図２および図３を参照して、本実施形態に係る撮像装置１００について説明する。図２は、本実施形態に係る撮像装置１００の外観図の一例である。また図３は、本実施形態に係る撮像装置１００および情報処理装置２００の機能ブロックの一例である。なお、図３に示す撮像装置１００の機能ブロックのうち、画像処理部１１２、システム制御部１１３、パンチルトズーム制御部１１４、記憶部１１５、通信部１１６等の各機能は、次のようにして実現されるものとする。すなわち、図１０を参照して後述する撮像装置１００のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０００が実行することで実現される。

【0017】

レンズ１０１の光軸の向く方向が撮像装置１００の撮像方向であり、レンズ１０１を通過した光束は、撮像装置１００の撮像部１１１の撮像素子に結像する。また、レンズ駆動部１０２は、レンズ１０１を駆動させる駆動系により構成され、レンズ１０１の焦点距離を変更する。レンズ駆動部１０２は、パンチルトズーム制御部１１４により制御される。

【0018】

パン駆動部１０３は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置１００の撮像方向をパン方向１０５に回転駆動させるための回転駆動を行う制御をするように駆動する。また、パン駆動部１０３は、パンチルトズーム制御部１１４により制御される。

【0019】

チルト駆動部１０４は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮像装置１００の撮像方向をチルト方向１０６に回転駆動させるための回転駆動を行う制御するように駆動する。チルト駆動部１０４は、パンチルトズーム制御部１１４により制御される。

【0020】

撮像部１１１は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮像部１１１は、レンズ１０１を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部１１２は、撮像部１１１において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などの画像処理を行い、画像データを生成する。

【0021】

パンチルトズーム制御部１１４は、システム制御部１１３から伝達された指示に基づいて、パン駆動部１０３、チルト駆動部１０４及びレンズ駆動部１０２の制御を行うことで、撮像装置１００のパン、チルト、およびズームを制御する。

【0022】

記憶部１１５は、例えば、撮像範囲を示す情報を記憶（保持）する。通信部１１６は、図１０を参照して後述するＩ／Ｆ１０４０を介して、情報処理装置２００との通信を行う。例えば、通信部１１６は、撮像装置１００が撮像した画像の画像データを、ネットワーク３００を介して情報処理装置２００に送信する。また、通信部１１６は、撮像装置１００の撮像範囲を示す情報を送信する。また、通信部１１６は、情報処理装置２００から送信された撮像装置１００を制御するためのコマンドである制御コマンドを受信し、システム制御部１１３へ伝達する。

【0023】

システム制御部１１３は、図１０を参照して後述するＣＰＵ１０００が実行する処理に従って、撮像装置１００の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部１１３は、情報処理装置２００から送信された撮像装置１００を制御する制御コマンドを解析し、当該制御コマンドに応じた処理を行う。また、システム制御部１１３は、パンチルトズーム制御部１１４に対してパンチルトズーム動作の指示を行う。また、システム制御部１１３は、画像処理部１１２で生成された画像データを情報処理装置２００に送信する際に、当該画像データを撮像した撮像時刻の情報も画像データに付与する。

【0024】

なお、本実施形態における撮像範囲は、撮像装置１００のパン値、チルト値およびズーム値により定まる。なお、パン値は、パン駆動部１０３の駆動端の一方を０°としたときの、撮像装置１００のパン方向１０５における撮像方向（光軸）の角度である。また、チルト値は、チルト駆動部１０４の駆動端の一方を０°としたときの、撮像装置１００のチルト方向１０６における撮像方向（光軸）の角度である。なお、撮像装置１００により画像が撮像されるときの撮像装置１００のズーム値は、レンズ１０１の焦点距離から算出する。

【0025】

ここで、図４に示す情報処理装置２００の機能ブロックを参照して、本実施形態に係る情報処理装置２００の情報処理について説明する。なお、情報処理装置２００の各機能は、図１０を参照して後述するＲＯＭ１０２０とＣＰＵ１０００とを用いて、次のようにして実現されるものとする。すなわち、図４に示す各機能は、情報処理装置２００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置２００のＣＰＵ１０００が実行することにより実現される。

【0026】

通信部２０１は、図１０を参照して後述するＩ／Ｆ１０４０を介して、撮像装置１００から送信される画像データを取得する。記録部２０１は、図１０を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３０等によって実現でき、情報処理装置２００による情報処理に関わる情報やデータを記録する。例えば、記録部２０１は、画像から検出された被写体の位置に関する情報を記録する。また、記録部２０１は、パン値、チルト値、およびズーム値のうち撮像装置１００がいずれを制御可能かを示す情報である制御可否情報を記録する。

【0027】

検出部２０３は、通信部２０１が取得した画像における被写体を検出する検出処理を実行する。本実施形態における検出部２０２は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、画像に含まれる被写体として人物の検出を行う。なお、画像から人物を検出するにあたって、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。

【0028】

なお、照合パターンとして、斜め方向からや上方向からなど他の角度から人物を見た場合の照合パターンを用意しておいてもよい。また、画像から人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。

【0029】

なお、本実施形態では、画像から検出される被写体として人物を検出するが、人物に限らず、例えば、車など他の物体であってもよい。また、本実施形態における検出部２０３は、画像から特定の物体を検出する方法として、パターンマッチング処理を用いるが、他の従来技術を用いて画像から特定の物体を検出してもよい。

【0030】

特定部２０４は、画像に含まれる被写体を、撮像装置１００の撮像範囲の制御の基準として特定する。特定部２０４により特定された画像における被写体（人物）を基準として、撮像装置１００の撮像範囲を制御することになる。なお特定部２０４により、撮像範囲の制御の基準として画像に含まれる被写体を特定する処理の詳細な説明については後述する。

【0031】

操作受付部２０５は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。表示制御部２０６は、通信部２０１により取得された画像をディスプレイ４００に表示させる。また本実施形態における表示制御部２０６は、撮像範囲における被写体が配置される候補を示す複数の配置候補をディスプレイ４００に表示させる。表示制御部２０６により表示される配置候補についての詳細な説明については後述する。

【0032】

範囲制御部２０７は、撮像装置１００の撮像範囲を制御する処理を実行する。具体的には、範囲制御部２０７は、撮像装置１００のパン値、チルト値およびズーム値の少なくともいずれかを変更するための制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は送信された制御コマンドに従って、撮像範囲を制御する。例えば、操作受付部２０５は、撮像装置１００のパン値をパン方向１０５に所定値だけ変更するユーザ指示を受け付けた場合、範囲制御部２０７は、次のような処理を実行する。すなわち、範囲制御部２０７は、パン値をパン方向１０５に所定値だけ変更させる制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は、取得した制御コマンドに従って、パン駆動部１０３を制御することでパン角度をパン方向１０５に所定角度変更させる。

【0033】

続いて、図５～図８を参照して、複数の配置候補を生成してディスプレイ４００に表示させる処理について説明する。図５は、複数の配置候補を生成してディスプレイ４００に表示させる処理の流れを示すフローチャートである。

【0034】

ステップＳ５０１にて、表示制御部２０６は、特定部２０４により撮像範囲を制御する基準として特定された被写体が存在するかを判定する。ここで特定部２０４により特定された人物がいると判定された場合（Ｓ５０１にてＹｅｓ）、Ｓ５０２に遷移し、特定された人物がいないと判定された場合（Ｓ５０１にてＮｏ）、Ｓ５０１の処理を繰り返す。なおここで特定部２０４により撮像範囲を制御する基準として被写体（以下、基準被写体）を特定する処理について説明する。例えば、検出部２０３は、画像に対して被写体を検出する検出処理を実行し、表示制御部２０６は、検出された被写体の位置を示す枠を画像に重畳してディスプレイ４００に表示させる。そして、画像に重畳して表示された枠のうち少なくともいずれか１つを選択するユーザ操作を操作受付部２０５が受け付けた場合、特定部２０４は、ユーザ操作に従って選択された枠に対応する被写体を基準被写体として特定する。例えば、撮像された画像から被写体として４人の人物が検出部２０３により検出された場合、表示制御部２０６は、検出された４人の人物各々に対し外接矩形の枠を当該画像に重畳してディスプレイ４００に表示させる。そして、当該４人の人物の各々に重畳された枠のうち、或る人物に対応する枠を選択するユーザ操作を受け付けた場合、特定部２０４は選択された枠に対応する当該或る人物を基準被写体として特定する。

【0035】

次に、Ｓ５０２にて、表示制御部２０６は、Ｓ５０１にて特定された基準被写体の数が１かどうかを判定する。特定された基準被写体の数が１であると判定された場合（Ｓ５０２にてＹｅｓ）、Ｓ５０３へ遷移し、特定された基準被写体の数が１でないと判定された場合（Ｓ５０２にてＮｏ）、Ｓ５０４へ遷移する。Ｓ５０３にて、表示制御部２０６は、１人用の配置候補の情報をディスプレイ４００に表示させる。配置候補の情報については図６を参照して後述する。Ｓ５０４にて、特定された基準被写体の数が２人であるかを判定する。特定された基準被写体が２人であると判定された場合（Ｓ５０４にてＹｅｓ）、Ｓ５０５へ遷移し、特定された基準被写体が２人でないと判定された場合（Ｓ５０４にてＮｏ）、Ｓ５０６に遷移する。Ｓ５０５にて、表示制御部２０６は、２人用の配置候補の情報をディスプレイ４００に表示させる。Ｓ５０６にて、表示制御部２０６にて、全員が画角に収まる配置候補をディスプレイ４００に表示させる。

【0036】

ここで、図６（ａ）～（ｂ）を参照して、ディスプレイ４００に表示制御部２０６により表示される配置候補の情報について説明する。本実施形態における表示制御部２０６は、撮像装置１００により撮像されたが表示される領域である画像表示領域６０２と、複数の配置候補が表示される領域である候補表示領域６０５とを含む表示ウィンドウ６０１をディスプレイ４００に表示させる。なお、表示制御部２０６は、画像表示領域６０２と、候補表示領域６０５とをそれぞれ異なるウィンドウで別々にディスプレイ４００に表示させるようにしてもよい。また、図６（ａ）に示すように、基準被写体として特定部２０４により特定された人物６０４を含む画像が画像表示領域２０６において表示される。このとき、表示制御部２０６は、人物６０４の位置に対応して枠６０３を画像に重畳して表示させている。また撮像装置１００の撮像範囲において被写体が第１位置に配置される第１配置候補６０６の情報と、撮像範囲における被写体が第１位置と異なる第２位置に配置される第２配置候補６０８の情報とを少なくとも含む候補表示領域６０５が表示される。図６（ａ）に示すように、第１配置候補６０６は、撮像範囲を示す矩形領域において被写体を示すアイコン６０７が左側に配置された図形として候補表示領域６０５に表示される。また、第２配置候補６０８は、撮像範囲を示す矩形領域において被写体を示すアイコン６０９が中央に配置された図形として候補表示領域６０５に表示される。また、第３配置候補６１０は、撮像範囲を示す矩形領域において被写体を示すアイコン６１１が右側に配置された図形として候補表示領域６０５に表示される。なお図６（ａ）に示す例において、３つの異なる配置候補が表示されるが、これに限らず、他の数の配置候補を表示させてもよい。

【0037】

ここで、図６（ａ）の複数の配置候補のうち第１配置候補６０６が選択された場合について説明する。第１配置候補６０６がユーザ操作により選択された場合、範囲制御部２０７は、次のような処理を実行する。すなわち、範囲制御部２０７は、第１配置候補６０６が示す撮像範囲に対する被写体の位置関係と、現在の撮像装置１００の撮像範囲に対する基準被写体である人物６０４の位置関係とが同一となるよう、撮像装置１００の撮像範囲を制御する処理を実行する。具体的には、範囲制御部２０７は、第１配置候補６０６にて撮像範囲を示す矩形領域に対する被写体を示すアイコン６０７の重心点を特定する。更に、範囲制御部２０７は、現在の撮像装置１００の撮像範囲に対する基準被写体である人物６０４の重心点を特定する。そして、範囲制御部２０７は、第１配置候補６０６の矩形領域に対するアイコン６０７の重心点の相対的な位置関係と、現在の撮像範囲に対する人物６０４の重心点の相対的な位置関係とが、同一となるよう撮像範囲を制御するための制御コマンドを生成する。このとき生成された制御コマンドは通信部２０１を介して撮像装置１００に送信され、撮像装置１００は送信された制御コマンドに基づき、パン値、チルト値、およびズーム値の少なくともいずれかを制御することで撮像範囲を制御する。このようにして撮像装置１００の撮像範囲が制御されたのちに撮像された画像は撮像装置１００から情報処理装置２００に送信される。図６（ｂ）は、配置候補の選択に応じて撮像装置１００の撮像範囲が制御されたのち撮像および送信された画像が表示制御部２０６により画像表示領域６０２に表示される例について示している。このとき、図６（ｂ）に示すように、第１配置候補６０６に示す撮像範囲に対する被写体の位置関係と、実際の撮像範囲に対する被写体（人物６０４）の位置関係とが同様となるような画像が得られる。また、図６（ｂ）に示すように、表示制御部２０６は、第１配置候補６０６の選択に応じて、第２配置候補６０８や第３配置候補６１０の表示態様と、第１配置候補６０６の表示態様を異ならせる。このようにすることで第１配置候補６０６が選択されていることをユーザに提示することができる。

【0038】

また図６に示す例において、１人用の配置候補の場合について説明したが、ここで他の人数用の配置候補の場合について図７を参照して説明する。図７（ａ）は１人用の複数の配置候補の例について示しており、配置候補７０１～７０３はそれぞれ図６に示す配置候補６０６、６０８、６１０と同様であるため説明を省略する。図７（ｂ）は２人用の複数の配置候補の例について示している。図７（ｂ）に示す配置候補７０４～７０６は、Ｓ５０５の処理にて候補表示領域に表示される情報である。配置候補７０４では、画像において特定された第１人物に対応するアイコン７０７が撮像範囲の左側に配置され、当該画像において特定された第２人物に対応するアイコン７０８が撮像範囲の右側に配置される配置候補である。また、配置候補７０５では、第１人物に対応するアイコン７０７が左側にズームアップされるよう配置された配置候補である。また、配置候補７０６では、第２人物に対応するアイコン７０８が右側にズームアップされるように配置された配置候補である。また、図７（ｃ）に示す配置候補７０９は、図５のＳ５０４にて基準被写体が２人ではないと判定された場合にＳ５０６にて表示制御部２０６により候補表示領域に表示される配置候補である。このとき特定部２０７により特定されたＮ人（Ｎは整数）が画角内におさまる配置候補である。本実施形態において配置候補７０９が選択された場合、範囲制御部２０７は、特定されたＮ人が画角内に収まるように撮像装置１００の撮像範囲を制御するための制御コマンドを生成して撮像装置１００に送信するものとする。なお、表示させる配置候補は、図７（ａ）～（ｃ）に限定されず、他の配置候補を追加してもよい。

【0039】

ここで、図８に示すフローを参照して、配置候補のユーザ選択に伴う撮像範囲を制御する処理について説明する。なお、図８に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図１０に示すフローチャートの処理は、例えば情報処理装置２００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置２００のＣＰＵ１０００が実行して実現される図４に示す情報処理装置２００の機能ブロックにより実行される。

【0040】

まず、Ｓ８０１にて、範囲制御部２０７は、候補表示領域６０５に表示された配置候補のうちいずれかの配置候補が選択されたかを判定する。配置候補が選択されたと判定された場合（Ｓ８０１にてＹｅｓ）、Ｓ８０２へ遷移し、配置候補が選択されてないと判定された場合（Ｓ８０１にてＮｏ）、Ｓ８０１の処理に戻る。Ｓ８０２にて、範囲制御部２０７は、選択された配置候補が示す撮像範囲に対する被写体の位置の情報に基づき、撮像範囲を制御するにあたってのパン値およびチルト値を制御する量を決定する。ここで図６（ａ）に示す例において第１配置候補６０６が選択された場合について説明する。このとき、Ｓ８０２にて、範囲制御部２０７は、次のような処理を実行する。すなわち、第１配置候補６０６の矩形領域に対するアイコン６０７の重心点の相対的な位置関係と、実際の撮像範囲に対する人物６０４の重心点の相対的な位置関係とが、同一となるよう撮像範囲を制御するためのパン値およびチルト値を決定する。次にＳ８０３にて、範囲制御部２０７は、選択された配置候補が示す撮像範囲に対する被写体のサイズの情報に基づき、撮像範囲を制御するにあたってのズーム値を決定する。ここで、第１配置候補６０６が選択せれた場合を想定する。このとき、範囲制御部２０７は、第１配置候補６０６の矩形領域に対するアイコン６０６の相対的なサイズと、実際の撮像範囲に対する人物６０４の相対的なサイズとが同一となるような、撮像装置１００のズーム値を決定する。Ｓ８０４にて、範囲制御部２０７は、Ｓ８０２～Ｓ８０３にて決定されたパン値、チルト値およびズーム値となるよう撮像装置１００を制御する制御コマンドを生成する。Ｓ８０５にて、通信部２０１は、Ｓ８０４にて生成された制御コマンドを撮像装置１００に送信する。このとき、撮像装置１００は、送信された制御コマンドを解析し、解析した結果に基づいて、パン駆動部１０３、チルト駆動部１０４およびレンズ駆動部１０２の少なくともいずれかを制御することで、撮像装置１００の範囲を制御する。

【0041】

以上、説明したように、本実施形態における情報処理装置２００は、表示された複数の異なる配置候補のうち選択された配置候補に従って、当該配置候補と同様の被写体の構図が撮像されるよう撮像装置１００の撮像範囲を制御する。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。

【0042】

（実施形態２）
本発明の第２の実施形態について説明する。実施形態２では、候補表示領域における配置候補において表示されるアイコンの表示態様と、画像表示領域における当該アイコンに対応する基準被写体を示す枠の表示態様とを対応付ける場合について説明する。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0043】

図９（ａ）～（ｂ）を参照して、本実施形態における表示制御部２０６がディスプレイ４００にさせる情報について説明する。表示制御部２０６は、撮像装置１００により撮像されたが表示される領域である画像表示領域９０２と、複数の配置候補が表示される領域である候補表示領域９０７とを含む表示ウィンドウ９０１をディスプレイ４００に表示させる。なお、表示制御部２０６は、画像表示領域９０２と、候補表示領域９０５とをそれぞれ異なるウィンドウで別々にディスプレイ４００に表示させるようにしてもよい。また、図９（ａ）に示すように、基準被写体として特定部２０４により特定された人物９０４および人物９０６を含む画像が画像表示領域２０６において表示される。このとき、表示制御部２０６は、人物９０４の位置に対応して枠９０３を、人物９０６の位置に対応して枠９０５を画像に重畳して表示させている。また表示制御部２０６は、二人用の配置候補として、配置候補９０８、配置候補９１１、および配置候補９１３を含む候補表示領域９０７を表示させる。図９（ａ）に示す例において、配置候補９０８では、画像において特定された人物９０４に対応するアイコン９０９ａが撮像範囲の左側に配置され、当該画像において特定された人物９０６に対応するアイコン９１０が撮像範囲の右側に配置される配置候補である。また、配置候補９１１では、人物９０４に対応するアイコン９０９ａが左側にズームアップされるよう配置された配置候補である。また、配置候補９１３では、人物９０６に対応するアイコン９１４ａが右側にズームアップされるように配置された配置候補である。なお本実施形態における表示制御部２０６は、図９（ａ）に示すように、基準被写体として特定された人物を示す枠と、配置候補において当該人物に対応するアイコンとの関連付けがユーザに明示されるような表示態様を用いて当該枠と当該アイコンを表示させる。具体的には、図９（ａ）に示す例において、人物９０４を示す枠９０３と、人物９０４に対応するアイコン９０９ａおよび９１２ａの外縁とをそれぞれ実線で示す。また、図９（ａ）に示す例において、人物９０６を示す枠９０５と、人物９０６に対応するアイコン９１０ａおよび９１４ａの外縁とをそれぞれ点線で示す。なお、人物を示す枠と、当該人物に対応するアイコンとの関連付けを明示させる方法として、実線か点線かで提示する方法に限らない。例えば、表示制御部２０６は、次のような表示を行ってもよい。すなわち、表示制御部２０６は、人物９０４を示す枠９０３と、人物９０４に対応するアイコン９０９ａおよび９１２ａとをそれぞれ第１の色で表示させる。更に、表示制御部２０６は、人物９０６を示す枠９０５と、人物９０６に対応するアイコン９１０ａおよび９１４ａとを第１の色と異なる第２の色で表示させる。また、当該人物に対応するアイコンとの関連付けを明示させる方法として、表示制御部２０６は、人物の切り出し画像を用いてもよい。具体的には、図９（ｂ）に示すように、表示制御部２０６は、アイコン９０９ａおよびアイコン９１２ａの代わりとして、人物９０４を切り出した画像である切り出し画像９０９ｂおよび切り出し画像９１２ｂを用いるようにしてもよい。またこのとき表示制御部２０６は、アイコン９１０ａおよびアイコン９１４ａの代わりとして、人物９０６の切り出し画像である切り出し画像９１０ｂおよび切り出し画像９１４ｂを用いてもよい。

【0044】

以上説明したように本実施形態における情報処理装置２００は、画像から特定された人物に対応して当該画像に重畳される図形と、配置候補において当該人物に対応して表示される図形との関連付けが明示されるような表示を行う。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。

【0045】

（その他の実施形態）
次に図１０を参照して、各実施形態の各機能を実現するための情報処理装置２００のハードウェア構成を説明する。なお、以降の説明において情報処理装置２００のハードウェア構成について説明するが、撮像装置１００も同様のハードウェア構成によって実現されるものとする。

【0046】

本実施形態における情報処理装置２００は、ＣＰＵ１０００、ＲＡＭ１０１０、ＲＯＭ１０２０、ＨＤＤ１０３０、および、Ｉ／Ｆ１０４０を有している。

【0047】

ＣＰＵ１５００は情報処理装置２００を統括制御する中央処理装置である。ＲＡＭ１０１０は、ＣＰＵ１０００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１０１０は、ＣＰＵ１０００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１０１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0048】

ＲＯＭ１０２０は、ＣＰＵ１５００が情報処理装置２００を制御するためのプログラムなどを記憶する。ＨＤＤ１０３０は、画像データ等を記録する記憶装置である。

【0049】

Ｉ／Ｆ１０１０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0050】

なお、上述した各実施形態の説明では、ＣＰＵ１０００が処理を実行する例について説明するが、ＣＰＵ１０００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ４００にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１０２０からプログラムコードを読み出してＲＡＭ１０１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0051】

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置２００の各部は、図１０に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0052】

なお、上述した各実施形態に係る情報処理装置２００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置２００の１以上の機能を情報処理装置２００が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

【0053】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0054】

１００ 撮像装置
２００ 情報処理装置
２０１ 通信部
２０２ 記憶部
２０３ 検出部
２０４ 特定部
２０５ 操作受付部
２０６ 表示制御部
２０７ 範囲制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】