特開 2024-179764 撮像システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179764

(43)【公開日】2024-12-26

(54)【発明の名称】撮像システム、方法及びプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241219BHJP

   H04N 23/695 20230101ALI20241219BHJP

   G03B 37/00 20210101ALI20241219BHJP

   G03B 17/20 20210101ALI20241219BHJP

【ＦＩ】

H04N23/63 300

H04N23/695

G03B37/00 A

G03B17/20

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2023098891

(22)【出願日】2023-06-16

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】岡田 拓真

【テーマコード（参考）】

2H059

2H102

5C122

【Ｆターム（参考）】

2H059BA06

2H059BA11

2H102BA05

2H102BB01

5C122EA42

5C122EA66

5C122FK23

5C122FK28

5C122FK41

5C122FL04

5C122GD04

5C122GD06

5C122HA82

5C122HB01

(57)【要約】

【課題】
ＧＵＩを使用せずに撮像装置がループ動作する経路を決める場合においても、設定したループ動作の経路を容易に補正することを可能にすること。
【解決手段】
撮像システムは、撮像装置の撮像画角の経路を指定する移動情報を受け付けて前記撮像装置の撮像画角を移動させる操作手段と、前記移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示する表示手段と、前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する補正手段と、を備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置の撮像画角の経路を指定する移動情報を受け付けて前記撮像装置の撮像画角を移動させる操作手段と、
前記移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示する表示手段と、
前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する補正手段と、
を備えることを特徴とする撮像システム。

【請求項2】

前記補正手段は、前記補正後経路の始点における撮像画角の位置と、前記補正後経路の終点における撮像画角の位置とが一致している前記補正後経路を生成する、
ことを特徴とする請求項１に記載の撮像システム。

【請求項3】

前記補正手段は、前記補正後経路の始点における撮像画角の方向と、前記補正後経路の終点における撮像画角の方向とが一致している前記補正後経路を生成する、
ことを特徴とする請求項１に記載の撮像システム。

【請求項4】

前記補正手段は、前記補正後経路の始点における撮像画角の速度と、前記補正後経路の終点における撮像画角の速度とが一致している前記補正後経路を生成する、
ことを特徴とする請求項１に記載の撮像システム。

【請求項5】

前記補正手段は、前記補正前経路の縦横比に等しい縦横比を有する前記補正後経路を生成する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項6】

前記補正手段は、前記補正後経路が通過すべき点を指定するデータを受け付け、前記点を通過する前記補正後経路を生成する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項7】

前記表示手段は、前記移動情報に基づいて前記撮像装置の撮像画角が移動している間に撮像された複数の画像を合成することにより生成された合成画像を表示し、前記補正前経路及び前記補正後経路の少なくとも一方を前記合成画像の上に重ねて表示する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項8】

前記合成画像の上に重ねて表示された前記補正後経路における速度及び加速度の少なくとも一方が一定となるように前記撮像装置の撮像画角を移動させる駆動制御手段を更に備える、
ことを特徴とする請求項７に記載の撮像システム。

【請求項9】

前記表示手段は、前記撮像装置の撮像画角の速度を示す第一ユーザーインターフェースを更に表示する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項10】

前記表示手段は、同時に複数の前記補正後経路を表示する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項11】

前記撮像装置の撮像画角の経路は、前記撮像装置による撮像が可能な範囲の中心の軌跡である、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項12】

前記撮像装置の撮像画角の経路は、前記撮像装置による撮像が可能な範囲内における任意の座標上の点を組み合わせた線又は面の軌跡である、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項13】

前記表示手段は、前記補正前経路のうち補正する範囲を指定するための第二ユーザーインターフェースを更に表示し、
前記補正手段は、前記補正前経路のうち前記第二ユーザーインターフェースにより指定された範囲を補正することにより前記補正後経路を生成する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項14】

前記補正手段は、複数の前記補正前経路の中で最短の前記補正前経路を補正することにより前記補正後経路を生成する、
ことを特徴とする請求項１０に記載の撮像システム。

【請求項15】

前記補正手段は、前記補正前経路の曲率に基づいて前記補正後経路を生成する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項16】

前記表示手段は、前記補正後経路のサイズ、位置及び形状の少なくとも一つを指定するための第三ユーザーインターフェースを更に表示し、
前記補正手段は、前記第三ユーザーインターフェースにより指定されたサイズ、位置及び形状を有する前記補正後経路を生成する、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項17】

前記表示手段は、前記撮像装置の撮像画角のパラメータを指定するための第四ユーザーインターフェースを更に表示し、
記憶手段により記憶されているパラメータ又は前記第四ユーザーインターフェースにより指定されたパラメータに基づいて前記撮像装置の撮像画角を移動させる駆動制御手段を更に備える、
ことを特徴とする請求項１から請求項４のいずれか一つに記載の撮像システム。

【請求項18】

前記記憶手段により記憶されているパラメータは、前記撮像装置から被写体までの距離である、
ことを特徴とする請求項１７に記載の撮像システム。

【請求項19】

前記表示手段は、前記撮像装置の撮像画角の速度に応じて、前記補正後経路の色又は前記補正後経路を示す線の幅を変更する、
ことを特徴とする請求項４に記載の撮像システム。

【請求項20】

前記表示手段は、前記撮像装置の撮像画角の速度に応じて、前記撮像装置の撮像画角の速度のパラメータを表示する、
ことを特徴とする請求項４に記載の撮像システム。

【請求項21】

撮像装置の撮像画角の経路を指定する移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示手段に表示させ、
前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する、
ことを特徴とする方法。

【請求項22】

撮像装置の撮像画角の経路を指定する移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示手段に表示させ、
前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、方法及びプログラムに関する。

【背景技術】

【0002】

近年、省人化のために遠隔で操作可能な撮像装置が増加している。その一つに、撮像した動画像をネットワークを介して配信するライブストリーミングカメラがある。ライブストリーミングカメラのパン、チルト、ズームの駆動に関する機能の一つとして、あらかじめスイッチャ等の撮像装置へのパン、チルト、ズーム等の駆動指示を行う機器を用いて撮像装置に駆動指示を与えておき、設定した動作を繰り返し行う機能（以下、ループ動作という）が知られている。この機能はスイッチャとの接続が遮断された後でも駆動を継続するので、この機能を用いることで一台のスイッチャで複数の撮像装置の駆動を同時に行うことができる。

【0003】

このように駆動指示を与えていない間も撮像装置を駆動させる技術としては、他に、監視撮像装置等で用いられるプリセット機能がある。この機能は、あらかじめイベントや時間をトリガとして設定し、駆動経路及び駆動速度を設定して駆動させる機能である。プリセット機能を用いた駆動方法のバリエーションに関しても多くの特許文献が出されている。例えば、特許文献１では、クライアントの意図を反映した制御を行うために、グラフィカルユーザーインターフェース(ＧＵＩ：Graphical User Interface)上に表示された映像と撮像装置のパン、チルト、ズーム情報とを対応付ける。そして、特許文献１では、ＧＵＩ上に表示された映像から複数の点を指定し、複数の点を基に線を生成し、生成した線の軌跡に最も近似したプリセットの位置、巡回順序、駆動速度等を算出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－０１７６４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献に開示された従来技術では、ＧＵＩ上の映像を見ながら巡回位置を指定して駆動経路を決めるため、撮像装置に接続されるジョイスティック等のＧＵＩを伴わない制御方法によって撮像装置の駆動経路を決める際に、駆動経路を修正することが出来ない。

【0006】

そこで、本発明は、ＧＵＩを使用せずに撮像装置がループ動作する経路を決める場合においても、設定したループ動作の経路を容易に補正することを可能にする撮像システム、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決するために、本発明の撮像システムは、撮像装置の撮像画角の経路を指定する移動情報を受け付けて前記撮像装置の撮像画角を移動させる操作手段と、前記移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示する表示手段と、前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する補正手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、ＧＵＩを使用せずに撮像装置がループ動作する経路を決める場合においても、設定したループ動作の経路を容易に補正することを可能にすることができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る撮像システムの構成の例を示すブロック図である。

【図2】実施形態に係る処理部のハードウェア構成の例を示すブロック図である。

【図3】実施形態に係る撮像システムが補正前経路を補正して補正後経路を生成し、補正後経路を表示部に表示する処理の例を示すフローチャートである。

【図4】実施形態に係る合成画像が生成される処理の例を示す図である。

【図5】実施形態に係る表示部に表示された合成画像及び補正前経路の例を示す図である。

【図6】実施形態に係る表示部に補正後経路が表示される処理の例を示すフローチャートである。

【図7】実施形態に係る補正後経路が生成される場合に表示部に表示される画面の例を示す図である。

【図8】実施形態に係る補正後経路が生成される場合に表示部に表示される画面の例を示す図である。

【図9】実施形態に係る補正後経路が生成される場合に表示部に表示される画面の例を示す図である。

【図10】実施形態に係る撮像装置の撮像画角の位置を補正する処理の例を示す図である。

【図11】実施形態に係るＵＩ上で実行される手動位置補正を説明するための図である。

【図12】実施形態に係るＵＩ上で実行される手動位置補正を説明するための図である。

【図13】実施形態に係るＵＩ上で実行される手動位置補正を説明するための図である。

【図14】実施形態に係る撮像システムが撮像装置の撮像画角の速度を補正する場合における撮像装置と被写体との位置関係の例を示す図である。

【図15】実施形態に係る撮像装置の撮像画角の速度を補正する方法及び撮像装置の撮像画角の速度を表示する方法の例を示す図である。

【図16】実施形態に係る撮像装置の撮像画角の速度を補正する方法及び撮像装置の撮像画角の速度を表示する方法の例を示す図である。

【図17】実施形態に係る撮像装置の撮像画角の速度を補正する方法及び撮像装置の撮像画角の速度を表示する方法の例を示す図である。

【図18】実施形態に係る撮像装置の撮像画角の速度を補正する方法及び撮像装置の撮像画角の速度を表示する方法の例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本発明の好ましい実施形態を、図面を参照しながら詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、以下で説明される構成に限定されるものではない。

【0011】

図１は、実施形態に係る撮像システムの構成の例を示すブロック図である。図１に示した撮像装置１００は、クライアントによって設定された領域を撮像する。また、図１に示すように、撮像装置１００は、撮像部１０１と、レンズ駆動部１０２と、処理部１０３と、駆動制御部１０４と、チルト駆動部１０５と、パン駆動部１０６と、記憶部１０７と、インターフェース部１０８とを備える。

【0012】

撮像部１０１は、撮像光学系と、撮像素子とを備える。撮像光学系は、入射光を結像するためのフォーカスレンズ及びズームレンズを含む。撮像素子は、撮像光学系介して得られた被写体像（光学像）を光電変換して画素信号を出力する。レンズ駆動部１０２は、フォーカスレンズ及びズームレンズを駆動し、焦点位置及びズーム倍率を変更するズーム手段である。

【0013】

処理部１０３は、撮像素子からの入力画像に対して画像処理、画像解析処理及び画像配信処理を実行すると共に、モータドライバ等で構成される駆動制御部１０４を介して各駆動部の制御処理を実行する。処理部１０３は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）であるが、これらに限定されるものではない。

【0014】

また、処理部１０３は、図１に示すように、補正部１０３１を備える。補正部１０３１は、移動情報に含まれている撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて補正前経路を補正することにより補正後経路を生成する。補正部１０３１により実行される処理の詳細については、後述する。

【0015】

駆動制御部１０４は、処理部１０３から受信した制御信号に基づいて、レンズ駆動部１０２、チルト駆動部１０５及びパン駆動部１０６を駆動制御することにより、フォーカス、ズーム、チルト動作、パン動作を撮像装置１００に実行させる。チルト駆動部１０５は、撮像装置１００にチルト動作を実行させる機構である。パン駆動部１０６は、撮像装置１００にパン動作を実行させる機構である。なお、ここでは処理部１０３と駆動制御部１０４とが分かれた構成となっているが、処理部１０３が駆動制御部１０４の機能を兼ねており、処理部１０３がレンズ駆動部１０２、チルト駆動部１０５及びパン駆動部１０６を駆動制御してもよい。

【0016】

記憶部１０７は、撮像装置１００全体を制御するためのソフトウェアのデータ、ループ動作の駆動経路、駆動速度等を記憶している。記憶部１０７は、例えば、数ｋＢから数百ＭＢの容量を有する不揮発性メモリである。また、記憶部１０７として採用される不揮発性メモリは、例えば、フラッシュＲＯＭ（Flash ROM）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）であるが、これらに限定されるものではない。

【0017】

インターフェース部１０８は、ＨＤＭＩ（High-Definition Multimedia Interface）、（登録商標）、ＳＤＩ（Serial Digital Interface）、コンポジット信号等の映像を配信するための出力Ｉ／Ｆを含む。また、インターフェース部１０８は、イーサネット、ＲＳ－４２２（Recommended Standard 422）等の撮像装置制御用のＩＯポート等を含む。

【0018】

撮像装置１００は、インターフェース部１０８を介してイーサネット経由等でユーザーインターフェース（ＵＩ：User Interface）部１０９と撮像画像や各種設定情報を送受信している。ＵＩ部１０９は、表示部１１０と、操作部１１１とを備える。

【0019】

表示部１１０は、ＰＣ（Personal Computer）、液晶ディスプレイ等を含み、撮像装置１００から送信される撮像画像や各種設定情報を表示する。表示部１１０は、移動情報により指定された撮像装置１００の撮像画角の経路である補正前経路と、補正前経路が補正されることにより生成された撮像装置１００の撮像画角の経路である補正後経路とを表示する。

【0020】

操作部１１１は、撮像装置１００の駆動方向を指示することが可能なジョイスティックを含むスイッチャ等を含む。操作部１１１は、撮像装置１００の撮像画角の経路を指定する移動情報を受け付けて撮像装置１００の撮像画角を移動させる。

【0021】

クライアントは、表示部１１０及び操作部１１１から撮像装置１００に対して制御情報を送信することにより撮像画角の変更、撮像条件の変更、各種機能の制御が可能である。

【0022】

次に、図２を参照しながら処理部１０３及び駆動制御部１０４のハードウェア構成の他の例について説明する。図２は、実施形態に係る処理部のハードウェア構成の例を示すブロック図である。なお、処理部１０３のハードウェア構成と、駆動制御部１０４のハードウェア構成とは、同一又は類似であるため、処理部１０３のハードウェア構成を例に挙げて説明する。図２に示すように、処理部１０３は、ＣＰＵ（Central Processing Unit）１００１と、ＲＯＭ（Read Only Memory）１００２と、ＲＡＭ（Random Access Memory）１００３と、ストレージ１００４と、入出力Ｉ／Ｆ１００５と、バス１００６とを含む。

【0023】

ＣＰＵ１００１は、処理部１０３の機能を実現するためのプログラムを読み出して実行する。ＲＯＭ１００２は、処理部１０３の機能を実現するためのプログラムを記憶している。ＲＡＭ１００３は、ＣＰＵ１００１がＲＯＭ１００２から読みだしたプログラムを展開して実行する際に使用する。ストレージ１００４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）であり、ファイル、データ等が保存される。入出力Ｉ／Ｆ１００５は、複数のインターフェースを含んでおり、マウス、キーボード等の入力装置、ディスプレイ、スピーカ等の出力装置が接続される。バス１００６は、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、ストレージ１００４と、入出力Ｉ／Ｆ１００５とを互いに通信可能な態様で接続している。

【0024】

なお、処理部１０３の機能及び駆動制御部１０４の機能の両方が図２に示した構成一つで実現されてもよい。

【0025】

次に、図３を参照しながら実施形態に係る撮像システムにより実行される処理の例について説明する。図３は、実施形態に係る撮像システムが補正前経路を補正して補正後経路を生成し、補正後経路を表示部に表示する処理の例を示すフローチャートである。

【0026】

ステップＳ２０１において、撮像装置１００は、パン駆動が可能な範囲及びチルト駆動が可能な範囲において、全ての撮像範囲を網羅するようにパン駆動及びチルト駆動をさせながら撮像部１０１により撮像する。撮像装置１００は、処理部１０３により撮像した画像を合成することによりパノラマ画像を生成する。そして、撮像装置１００は、パノラマ画像と、当該パノラマ画像のパン情報及びチルト情報とを紐付けて記憶部１０７に記憶させる。

【0027】

ステップＳ２０２において、操作部１１１からインターフェース部１０８を経由して処理部１０３へループ動作として登録したい経路の撮像装置１００の移動情報を入力する。処理部１０３で経路の撮像装置１００の移動情報を経路のパン駆動制御情報、チルト駆動制御情報及びズーム駆動制御情報に変換し、駆動制御部１０４へパン駆動制御情報、チルト駆動制御情報及びズーム駆動制御情報を送信する。

【0028】

ステップＳ２０３において、駆動制御部１０４は、処理部１０３から駆動制御部１０４へ入力されたパン駆動制御情報、チルト駆動制御情報及びズーム駆動制御情報を基に、レンズ駆動部１０２、チルト駆動部１０５及びパン駆動部１０６を駆動する。

【0029】

ステップＳ２０４において、表示部１１０は、パノラマ画像上に補正前経路を重ねて表示する。この処理は、処理部１０３で算出した補正前経路のパン駆動制御情報、チルト駆動制御情報及びズーム駆動制御情報と、記憶部１０７に記録したパノラマ画像と、当該パノラマ画像に紐づけたパン駆動情報及びチルト駆動情報とに基づいて実行される。

【0030】

ステップＳ２０５において、処理部１０３は、表示部１１０へ補正前経路の軌道を重畳させたパノラマ画像をインターフェース部１０８を介して送信し、表示部１１０へ補正前経路の軌道を重畳させたパノラマ画像を表示部１１０で表示する。

【0031】

ステップＳ２０６において、処理部１０３は、補正前経路を補正するか否かを判定する。処理部１０３は、例えば、補正前経路を補正する旨の指示がＵＩ部１０９を介して受け付けられた場合、処理をステップＳ２０７に進める。一方、処理部１０３は、例えば、補正前経路を補正する旨の指示がＵＩ部１０９を介して受け付けられていない場合、処理をステップＳ２０９に進める。

【0032】

ステップＳ２０７において、補正部１０３１は、補正前経路のパン駆動制御情報、チルト駆動制御情報及びズーム駆動制御情報に基づいて、少なくとも一つの補正後経路を算出する。補正後経路を算出する方法については、後述する。

【0033】

ステップＳ２０８において、表示部１１０は、ステップＳ２０７で算出された補正後経路をパノラマ画像に重ねる。

【0034】

ステップＳ２０９において、処理部１０３は、表示部１１０に表示されているパノラマ画像に重ねて表示されている補正後経路の中からループ動作を実行させる補正後経路の選択をＵＩ部１０９から受け付ける。

【0035】

撮像システム１００は、パノラマ画像上に補正前経路を表示し、表示した補正前経路を補正するＵＩを表示する。これにより、撮像システム１００は、ＧＵＩを使用せずに撮像装置がループ動作する駆動経路を決める場合においても、設定したループ動作における駆動経路の駆動位置、駆動方向及び駆動速度を容易に変更することができる。

【0036】

次に、図４及び図５を参照しながら補正時におけるループ動作を行う経路の表示方法を説明する。表示部１１０は、この表示方法を実行するに際し、移動情報に基づいて撮像装置１００の撮像画角が移動している間に撮像された複数の画像を合成することにより生成された合成画像を表示する。合成画像は、例えば、上述したパノラマ画像である。そして、表示部１１０は、補正前経路及び補正後経路の少なくとも一方を合成画像の上に重ねて表示する。

【0037】

また、この表示方法において、撮像装置１００の撮像画角の経路は、撮像装置１００による撮像が可能な範囲の中心の軌跡であってもよい。或いは、撮像装置１００の撮像画角の経路は、撮像装置１００による撮像が可能な範囲内における任意の座標上の点を組み合わせた線又は面の軌跡であってもよい。ループ動作を行う経路の表示には、パノラマ画像の生成と、経路のパン駆動情報、チルト駆動情報及びズーム駆動情報をパノラマ画像に重畳させることとの二つの手順が必要である。この表示方法の具体的な例について説明する。

【0038】

図４は、実施形態に係る合成画像が生成される処理の例を示す図である。具体的には、図４は、パノラマ画像が生成される処理の例を示している。撮像装置１００の撮像範囲は、撮像装置１００のパン駆動可能範囲及びチルト駆動可能範囲に依存する。パノラマ部分画像３０１は、パンを左端まで駆動させ、チルトを上端まで駆動させたときに撮像された画像である。一方、パノラマ部分画像３０２は、パンを右端まで駆動させ、チルトを下端まで駆動させたときに撮像された画像である。

【0039】

撮像装置１００は、パノラマ部分画像３０１からパノラマ部分画像３０２までを網羅するように、パン及びチルトを駆動させてパノラマ画像３０３を生成する。撮像装置１００は、撮像した画像と、撮像時のパン駆動情報及びチルト駆動情報を紐付けて記録することで、パノラマ画像上の任意位置３０４におけるパン駆動情報及びチルト駆動情報を算出することができる。

【0040】

パノラマ画像上に補正前経路を表示する際には、パノラマ画像上の任意位置３０４中の代表点を表示すると、表示部１１０における補正前経路の閲覧が容易になる。そのため、本実施形態では、パノラマ画像上の任意位置３０４における撮像中心位置を代表点３０５とし、パン駆動情報及びチルト駆動情報と紐付けて記録する。ここで、パン駆動情報及びチルト駆動情報と紐付けるパノラマ画像上の位置を撮像中心位置としているが、これに限定されず、パノラマ画像上の任意位置３０４における撮像範囲内の任意の位置を組み合わせた線や領域であってもよい。

【0041】

図５は、実施形態に係る表示部に表示された合成画像及び補正前経路の例を示す図である。具体的には、図５は、表示部１１０上に表示される補正前経路をパノラマ画像に重ねた場合に表示部１１０に表示される画面の例を示している。ループ機能は、通常、撮像装置が同じ経路を繰り返し移動するため、始点と終点が一致することが望ましい。

【0042】

したがって、補正部１０３１は、補正後経路の始点における撮像画角の位置と、補正後経路の終点における撮像画角の位置とが一致している補正後経路を生成することが望ましい。また、補正部１０３１は、補正後経路の始点における撮像画角の方向と、補正後経路の終点における撮像画角の方向とが一致している補正後経路を生成することが望ましい。さらに、補正部１０３１は、補正後経路の始点における撮像画角の速度と、補正後経路の終点における撮像画角の速度とが一致している補正後経路を生成することが望ましい。

【0043】

本実施形態では、始点と終点が一致しない補正前経路が操作部１１１から入力された場合を想定している。操作部１１１により入力された情報に基づくパン駆動情報、チルト駆動情報及びズーム駆動情報を取得し、図４に示した代表点３０５の軌跡を描くことで、補正前経路４０１をパノラマ画像に重ねることが可能となる。ここで、代表点３０５だけでなく始点位置画像４０２から終点位置画像４０３までの軌跡を描くことで、経路上の撮像範囲４０４、さらには非撮像範囲４０５をパノラマ画像上に示すことも可能である。撮像範囲を明らかにすることで、ユーザーは補正前経路を修正するか否かの判断が容易になる。

【0044】

図６から図９を参照しながら補正時における表示部１１０への表示方法を説明する。表示部１１０は、この表示方法を実行するに際し、補正前経路のうち補正する範囲を指定するための第二ユーザーインターフェースを表示する。そして、補正部１０３１は、補正前経路のうち第二ユーザーインターフェースにより指定された範囲を補正することにより補正後経路を生成する。この表示方法の具体的な例について説明する。

【0045】

図６は、実施形態に係る表示部に補正後経路が表示される処理の例を示すフローチャートである。具体的には、図６は、図３に示したフローチャートに基づいて本実施形態に係る処理を実行した場合における表示部１１０への補正後経路の表示方法を示している。

【0046】

ステップＳ５０１において、表示部１１０は、上述したステップＳ２０４と同様に、パノラマ画像上に補正前経路を重ねて表示する。

【0047】

ステップＳ５０２において、表示部１１０は、表示されている補正前経路の近傍に当該補正前経路を補正するか否かを確認するポップアップを表示する。

【0048】

ステップＳ５０３において、処理部１０３は、上述したステップＳ２０６と同様に、補正前経路を補正するか否かを判定する。処理部１０３は、補正前経路を補正すると判定した場合、処理をステップＳ５０４に進める。一方、処理部１０３は、補正前経路を補正しないと判定した場合、処理をステップＳ５０８に進める。

【0049】

ステップＳ５０４において、表示部１１０は、表示されている補正前経路上に経路補正開始点及び経路補正終了点を重ねて表示する。ユーザーは、ＵＩ部１０９から経路補正開始点の位置及び経路補正終了点の位置を補正前経路上の任意の位置に変更することができる。

【0050】

ステップＳ５０５において、表示部１１０は、表示されている補正前経路の近傍に、経路補正開始点及び経路補正終了点を変更するように促すポップアップを表示する。

【0051】

ステップＳ５０６において、補正部１０３１は、ステップＳ２０７と同様に、補正前経路の経路のパン駆動制御情報、チルト駆動制御情報及びズーム駆動制御情報に基づいて、少なくとも一つの補正後経路を算出する。補正後経路を算出する方法については、後述する。

【0052】

ステップＳ５０７において、表示部１１０は、ステップＳ２０８と同様に、ステップＳ２０７で算出された補正後経路をパノラマ画像に重ねる。

【0053】

ステップＳ５０８において、処理部１０３は、ステップＳ２０９と同様に、表示部１１０に表示されているパノラマ画像に重ねて表示されている補正後経路の中からループ動作を実行させる補正後経路の選択をＵＩ部１０９から受け付ける。

【0054】

図７から図９は、実施形態に係る補正後経路が生成される場合に表示部に表示される画面の例を示す図である。具体的には、図７から図９は、経路補正時に表示部１１０に表示される画面の例を示している。図６に示したフローチャートに従って、表示部１１０の表示画面が変化する。

【0055】

図７に示すように、表示部１１０は、操作部１１１から撮像装置１００の移動情報の入力を終えたとき、補正前経路６０１をパノラマ画像に重ねて表示する。さらに、表示部１１０は、補正前経路を補正するか否かをユーザーに入力するよう通知するポップアップ６０２を表示する。ここで、表示部１１０は、補正前経路を補正する選択をした場合、図８に示すように、経路補正開始点６０３と、経路補正終了点６０４と、経路補正開始点６０３と、経路補正終了点６０４とを決めるように通知するポップアップ６０５を表示部１１０上に表示する。

【0056】

ユーザーは、ＵＩ部１０９を介して経路補正開始点６０３及び経路補正終了点６０４を入力する。ここで、経路補正開始点５０２及び経路補正終了点６０４は、補正前経路６０１上のみで選択できるものとする。なお、操作部１１１から入力された補正前経路全体の始点から終点までの補正を前提とする場合は、経路補正開始点６０３と経路補正終了点６０４は操作部１１１からの入力を省略し、処理部１０３で自動算出してもよい。

【0057】

図９に示すように、補正部１０３１は、補正開始点６０３及び補正終了点６０４が決まった後、補正前経路を補正する。そして、表示部１１０は、補正後経路６０６と補正前経路６０１を併せて表示する。さらに、表示部１１０は、経路を使用するか否かをユーザーに確認するポップアップ６０７を表示する。なお、補正部１０３１が補正前経路を補正して補正後経路を生成する具体的な処理については後述する。図９では、補正後経路を一つのみ表示しているがこの限りではなく、補正部１０３１により算出された補正後経路を複数表示してもよい。また、経路を選択せずに、もう一度補正をやり直すポップアップを表示し、再度補正を繰り返す処理が実行されてもよい。

【0058】

次に、図１０を参照しながら補正前経路を補正する方法について説明する。補正部１０３１は、この方法を実行するに際し、複数の補正前経路の中で最短の補正前経路を補正することにより補正後経路を生成する。また、補正部１０３１は、この方法を実行するに際し、補正前経路の曲率に基づいて補正後経路を生成する。この方法の具体的な例について説明する。

【0059】

図１０は、実施形態に係る撮像装置の撮像画角の位置を補正する処理の例を示す図である。具体的には、図１０は、パノラマ画像に重ねて表示される補正前経路及び補正後経路のみを抽出して示している。以下、補正部１０３１が補正前経路７０１を補正して補正後経路７０２を算出する手法について説明する。ここでは、補正部１０３１は、補正開始点７０３から終点までを補正する。補正の方法について二つ記述する。

【0060】

一つ目の方法は、経路差分７０４を最小にする方法である。経路差分７０４は、補正前経路７０１と、補正後経路７０２のパノラマ画像上での差分を算出した値である。経路差分７０４を最小にすることで、補正開始点から終点まで、補正前経路情報を維持することでユーザーの意図を汲みながらも、最短時間で撮像装置１００を駆動する補正後経路を算出できる。

【0061】

二つ目の方法は、経路補正開始点７０３よりも前の補正前経路の曲率を維持しながら補正後経路７０２を算出する方法である。曲率算出範囲７０５は、補正後経路７０２の曲率と可能な限り等しくする補正前経路の範囲である。曲率算出範囲７０５は、ユーザーが任意の範囲を選択できるものとする。曲率を既に可視化されている補正前経路から選択することで、連続性のあるスムーズな補正後経路を容易に描くことが可能となる。

【0062】

これら二つの方法を組み合わせてもよく、例えば、経路差分７０４が最小になる経路を基準として、ＵＩ上から任意に曲率を変更できるようにしてもよい。

【0063】

次に、図１１から図１３を参照しながらＵＩ上から手動で経路の位置を補正する方法について説明する。表示部１１０は、この方法を実行するに際し、補正後経路のサイズ、位置及び形状の少なくとも一つを指定するための第三ユーザーインターフェースを表示する。そして、補正部１０３１は、第三ユーザーインターフェースにより指定されたサイズ、位置及び形状を有する補正後経路を生成する。この方法の具体的な例について説明する。

【0064】

図１１から図１３は、実施形態に係るＵＩ上で実行される手動位置補正を説明するための図である。図１１は、補正前経路８０１と、補正後経路８０２とを示している。図１２は、補正前経路と、補正後経路８０３とを示している。図１３は、補正前経路と、補正後経路８０４とを示している。ＵＩ上から補正前経路を補正する方法を三つ記述する。

【0065】

一つ目は、図１１に示すように、パノラマ画像上での経路の縦横比を変えずに、サイズを変更する方法である。補正部１０３１は、この方法を実行するに際し、補正前経路の縦横比に等しい縦横比を有する補正後経路を生成する。二つ目は、図１２に示すように、パノラマ画像上での経路の縦横比を変更する方法である。三つ目は、図１３に示すように、サイズ変更なしでベクトル移動する方法である。これらいずれも組み合わせが可能で、ユーザーは表示部１１０を見ながら、操作部１１１を操作することでユーザビリティに優れた手法で補正前経路の補正が可能である。パノラマ画像上の任意の位置におけるパン、チルトの情報が既知であるため、表示部１１０上に表示された経路に基づいて、処理部１０３は、補正後経路をパン駆動情報及びチルト駆動情報に変換することが可能である。

【0066】

ＵＩ上から補正前経路の縦横比を変えないサイズ変更をすることで、撮像装置１００のパン、チルトの方向を変えずに補正前経路を補正することができる。また、縦横比を変えてサイズ変更することで、入力された補正前経路が意図しない経路であった場合でも、操作部１１１から撮像装置の移動情報を再入力することなくＧＵＩから容易に補正前経路を調整できる。さらに、ベクトル移動のみで補正前経路を補正することで、撮像装置１００の初期位置がずれた場合でも、撮像装置１００のパン、チルトの方向を変えずに、補正前経路を補正することができる。

【0067】

次に、図１４から図１８を参照しながら駆動速度の補正方法と、ＵＩの経路上における駆動速度の表示方法を説明する。表示部１１０は、この表示方法を実行するに際し、撮像装置１００の撮像画角のパラメータを指定するための第四ユーザーインターフェースを表示する。そして、駆動制御部１０４は、記憶部１０７により記憶されているパラメータ又は第四ユーザーインターフェースにより指定されたパラメータに基づいて撮像装置１００の撮像画角を移動させる。また、記憶部１０７により記憶されているパラメータは、撮像装置から被写体までの距離であってもよい。また、表示部１１０は、撮像装置１００の撮像画角の速度に応じて、補正後経路の色又は補正後経路を示す線の幅を変更してもよい。さらに、表示部１１０は、撮像装置１００の撮像画角の速度に応じて、撮像装置１００の撮像画角の速度のパラメータを表示してもよい。

【0068】

図１４は、実施形態に係る撮像システムが撮像装置の撮像画角の速度を補正する場合における撮像装置と被写体との位置関係の例を示す図である。図１５から図１８は、実施形態に係る撮像装置の撮像画角の速度を補正する方法及び撮像装置の撮像画角の速度を表示する方法の例を示す図である。駆動速度を補正する方法を二つ記述する。

【0069】

一つ目は、駆動速度を一定に保つ方法である。駆動速度の決め方は、表示部１１０上に表示された駆動速度をＵＩ部１０９から指定できるようにする方法、入力された駆動速度の平均速度に統一したりする方法等があるが、一定駆動速度に補正できればこの限りではない。駆動速度を一定に補正する方法は、被写体までの距離が一定距離とみなせる場合に有効である。また、始点と終点の駆動速度が一致するように駆動速度を補正することは、ループ動作する際に連続性のある駆動になり、自然な動画が取得できるため有効である。

【0070】

二つ目は、駆動速度をパラメータに応じて変更する方法である。例えば、撮像装置９０１が撮像装置から近距離にある被写体９０２と、遠距離にある被写体９０３を撮像しているケースにおいて、経路９０４における駆動速度を被写体までの距離に応じて補正することを想定している。撮像装置９０１から被写体９０２、被写体９０３までの距離に応じて、駆動速度を変更する処理を行うと、撮像装置からの距離によらず、見かけ上被写体を同じ大きさ、かつ同じパン、チルト速度で撮像できる。被写体の大きさを一定にするために、距離に応じて適宜ズーム率を変更するが、ズーム倍率によらずパン、チルトの駆動速度が一定だと、ズーム倍率が小さいほどズーム倍率に対するパン、チルト駆動速度が速くなってしまい、映像が見づらくなる可能性がある。そのため、撮像装置９０１から被写体までの距離が短いほど駆動速度を速くし、被写体までの距離が長いほど駆動速度を遅くする補正をすれば映像が見やすくなる。他にも、表示部１１０上に表示された駆動速度を操作部１１１から変更できるようにする方法などもあるが、この限りではない。

【0071】

次に、図１５から図１８を参照ながら駆動速度パラメータのＵＩへの表示方法を説明する。一つ目は、図１５に示した経路１００１のように色合いで速度表現する方法である。二つ目は、図１６に示した経路１００２のように線幅で駆動速度を表現する方法である。三つ目は、図１７に示した経路１００３のように表示マーカーによって速度を表現する方法である。四つ目は、図１８に示した経路１００４のように、選択した箇所の駆動速度パラメータを表示する方法である。この方法において、表示部１１０は、撮像装置１００の撮像画角の速度を示す第一ユーザーインターフェースを表示する。速度パラメータは、実際のパン、チルトの駆動速度でもよいし、パノラマ画像上の駆動速度でもよい。ここでは四つの例を挙げたが、駆動速度が判別できるような表示方法であればこの限りではない。

【0072】

速度に応じて経路の表示方法を変えることにより、表示部上の経路における駆動速度の視認性が向上し、駆動速度の妥当性を判断しやすくなる。

【0073】

以上、実施形態に係る撮像システムについて説明した。しかし、実施形態に係る撮像システムは、上述したものに限定されない。例えば、補正部１０３１は、補正後経路が通過すべき点を指定するデータを受け付け、点を通過する補正後経路を生成してもよい。また、例えば、駆動制御部１０４は、合成画像の上に重ねて表示された補正後経路における速度及び加速度の少なくとも一方が一定となるように撮像装置１００の撮像画角を移動させる。また、例えば、表示部１１０は、同時に複数の補正後経路を表示してもよい。

【0074】

なお、本発明は、上述した内容を適宜組み合わせた下記のような発明を含む。

【0075】

（構成１）
撮像装置の撮像画角の経路を指定する移動情報を受け付けて前記撮像装置の撮像画角を移動させる操作手段と、前記移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示する表示手段と、前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する補正手段と、を備えることを特徴とする撮像システム。

【0076】

（構成２）
前記補正手段は、前記補正後経路の始点における撮像画角の位置と、前記補正後経路の終点における撮像画角の位置とが一致している前記補正後経路を生成する、ことを特徴とする構成１に記載の撮像システム。

【0077】

（構成３）
前記補正手段は、前記補正後経路の始点における撮像画角の方向と、前記補正後経路の終点における撮像画角の方向とが一致している前記補正後経路を生成する、ことを特徴とする構成１又は構成２に記載の撮像システム。

【0078】

（構成４）
前記補正手段は、前記補正後経路の始点における撮像画角の速度と、前記補正後経路の終点における撮像画角の速度とが一致している前記補正後経路を生成する、ことを特徴とする構成１から構成３のいずれか一つに記載の撮像システム。

【0079】

（構成５）
前記補正手段は、前記補正前経路の縦横比に等しい縦横比を有する前記補正後経路を生成する、ことを特徴とする構成１から構成４のいずれか一つに記載の撮像システム。

【0080】

（構成６）
前記補正手段は、前記補正後経路が通過すべき点を指定するデータを受け付け、前記点を通過する前記補正後経路を生成する、ことを特徴とする構成１から構成５のいずれか一つに記載の撮像システム。

【0081】

（構成７）
前記表示手段は、前記移動情報に基づいて前記撮像装置の撮像画角が移動している間に撮像された複数の画像を合成することにより生成された合成画像を表示し、前記補正前経路及び前記補正後経路の少なくとも一方を前記合成画像の上に重ねて表示する、ことを特徴とする構成１から構成６のいずれか一つに記載の撮像システム。

【0082】

（構成８）
前記合成画像の上に重ねて表示された前記補正後経路における速度及び加速度の少なくとも一方が一定となるように前記撮像装置の撮像画角を移動させる駆動制御手段を更に備える、ことを特徴とする構成７に記載の撮像システム。

【0083】

（構成９）
前記表示手段は、前記撮像装置の撮像画角の速度を示す第一ユーザーインターフェースを更に表示する、ことを特徴とする構成１から構成８のいずれか一つに記載の撮像システム。

【0084】

（構成１０）
前記表示手段は、同時に複数の前記補正後経路を表示する、ことを特徴とする構成１から構成９のいずれか一つに記載の撮像システム。

【0085】

（構成１１）
前記撮像装置の撮像画角の経路は、前記撮像装置による撮像が可能な範囲の中心の軌跡である、ことを特徴とする構成１から構成１０のいずれか一つに記載の撮像システム。

【0086】

（構成１２）
前記撮像装置の撮像画角の経路は、前記撮像装置による撮像が可能な範囲内における任意の座標上の点を組み合わせた線又は面の軌跡である、ことを特徴とする構成１から構成１１のいずれか一つに記載の撮像システム。

【0087】

（構成１３）
前記表示手段は、前記補正前経路のうち補正する範囲を指定するための第二ユーザーインターフェースを更に表示し、前記補正手段は、前記補正前経路のうち前記第二ユーザーインターフェースにより指定された範囲を補正することにより前記補正後経路を生成する、ことを特徴とする構成１から構成１２のいずれか一つに記載の撮像システム。

【0088】

（構成１４）
前記補正手段は、複数の前記補正前経路の中で最短の前記補正前経路を補正することにより前記補正後経路を生成する、ことを特徴とする構成１０に記載の撮像システム。

【0089】

（構成１５）
前記補正手段は、前記補正前経路の曲率に基づいて前記補正後経路を生成する、ことを特徴とする構成１から構成１４のいずれか一つに記載の撮像システム。

【0090】

（構成１６）
前記表示手段は、前記補正後経路のサイズ、位置及び形状の少なくとも一つを指定するための第三ユーザーインターフェースを更に表示し、前記補正手段は、前記第三ユーザーインターフェースにより指定されたサイズ、位置及び形状を有する前記補正後経路を生成する、ことを特徴とする構成１から構成１５のいずれか一つに記載の撮像システム。

【0091】

（構成１７）
前記表示手段は、前記撮像装置の撮像画角のパラメータを指定するための第四ユーザーインターフェースを更に表示し、記憶手段により記憶されているパラメータ又は前記第四ユーザーインターフェースにより指定されたパラメータに基づいて前記撮像装置の撮像画角を移動させる駆動制御手段を更に備える、ことを特徴とする構成１から構成１６のいずれか一つに記載の撮像システム。

【0092】

（構成１８）
前記記憶手段により記憶されているパラメータは、前記撮像装置から被写体までの距離である、ことを特徴とする構成１７に記載の撮像システム。

【0093】

（構成１９）
前記表示手段は、前記撮像装置の撮像画角の速度に応じて、前記補正後経路の色又は前記補正後経路を示す線の幅を変更する、ことを特徴とする構成４に記載の撮像システム。

【0094】

（構成２０）
前記表示手段は、前記撮像装置の撮像画角の速度に応じて、前記撮像装置の撮像画角の速度のパラメータを表示する、ことを特徴とする構成４に記載の撮像システム。

【0095】

（方法１）
撮像装置の撮像画角の経路を指定する移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示手段に表示させ、前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する、ことを特徴とする方法。

【0096】

（プログラム１）
撮像装置の撮像画角の経路を指定する移動情報により指定された前記撮像装置の撮像画角の経路である補正前経路と、前記補正前経路が補正されることにより生成された前記撮像装置の撮像画角の経路である補正後経路とを表示手段に表示させ、前記移動情報に含まれている前記撮像装置の撮像画角の位置、方向及び速度の少なくとも一つに基づいて前記補正前経路を補正することにより前記補正後経路を生成する、ことを特徴とするプログラム。

【0097】

＜その他の実施形態＞
本発明は、上述した実施形態の一つ以上の機能を実現するプログラムをネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一つ以上の機能を実現する回路、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）によっても実現可能である。

【0098】

以上、本発明の好適な実施形態について説明した。ただし、本発明は、上述した実施形態に限定されるものではない。すなわち、本発明は、本発明の趣旨に基づき種々の変形が施された実施形態を含んでおり、これらの実施形態を本発明の範囲から除外していない。

【符号の説明】

【0099】

１００ 撮像装置
１０１ 撮像部
１０２ レンズ駆動部
１０３ 処理部
１０４ 駆動制御部
１０５ チルト駆動部
１０６ パン駆動部
１０７ 記憶部
１０８ インターフェース部
１０９ ユーザーインターフェース部
１１０ 表示部
１１１ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】