特許 6234859 画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6234859

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】画像処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20171113BHJP

   G06T 17/05 20110101ALI20171113BHJP

【ＦＩ】

   G06T19/00 600

   G06T17/05

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2014-61712(P2014-61712)

(22)【出願日】2014年3月25日

(65)【公開番号】特開2015-184985(P2015-184985A)

(43)【公開日】2015年10月22日

【審査請求日】2016年10月11日

(73)【特許権者】

【識別番号】000223182

【氏名又は名称】ＴＯＡ株式会社

(74)【代理人】

【識別番号】100163979

【弁理士】

【氏名又は名称】濱名 哲也

(72)【発明者】

【氏名】小川 雄三

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００８−２１９３９０（ＪＰ，Ａ）

【文献】 特開平１０−２３９０７４（ＪＰ，Ａ）

【文献】 特開２００４−１０２５４４（ＪＰ，Ａ）

【文献】 パソコンで「グーグルマップ」を使いこなす，日経ＰＣ２１ ２０１２年６月号，日本，日経ＢＰ社，２０１２年 ４月２４日，第17巻 第9号，P.14-19，ISSN 1341-9900

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １７／０５

(57)【特許請求の範囲】

【請求項1】

監視場所の周囲に設置される監視用のカメラから出力された撮影画像の少なくとも一部を射影変換して得られた変換撮影画像と前記撮影画像の背景となるエリア画像とを合成することにより３次元空間上において前記監視場所に対応した合成モデルを形成する合成部と、
前記合成モデルを、予め設定された第１視点または操作者により設定された第２視点からみた画像に変換することにより合成画像を形成する変換部と、
前記第１視点に係る前記合成画像及び前記第２視点に係る前記合成画像のうちからいずれの画像を表示部に表示するかを選択する選択部とを備える
画像処理システム。

【請求項2】

使用者の現在位置の周りの景色を撮影する携帯電話のカメラから出力された撮影画像の少なくとも一部を射影変換して得られた変換撮影画像と前記撮影画像の背景となるエリア画像とを合成することにより３次元空間上において前記現在位置の前記景色に対応した合成モデルを形成する合成部と、
前記合成モデルを、予め設定された第１視点または操作者により設定された第２視点からみた画像に変換することにより合成画像を形成する変換部と、
前記第１視点に係る前記合成画像及び前記第２視点に係る前記合成画像のうちからいずれの画像を表示部に表示するかを選択する選択部とを備える
画像処理システム。

【請求項3】

前記第２視点を設定するための設定部を更に備え、
前記設定部は、前記第２視点に関する視点情報を受け付け、前記視点情報に係る前記合成画像を前記変換部に形成させて、この合成画像を前記表示部に出力させる
請求項１または２に記載の画像処理システム。

【請求項4】

前記設定部は、
操作者の操作に基づく保存指令により、前記視点情報を前記選択部のスイッチに対応付ける
請求項３に記載の画像処理システム。

【請求項5】

前記設定部は、
前記第２視点の設定のための操作が行われている最中は、前記合成部に、前記カメラから出力される前記撮影画像のうちの一枚の画像を用いて前記合成モデルを形成させる
請求項３または請求項４に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像を含む合成画像を形成する画像処理システムに関する。

【背景技術】

【0002】

カメラにより撮影された撮影画像は必ずしもその使用者にとって見易いものではない。
例えば、車両に設置された複数台のカメラから出力される個々の撮影画像は、運転者にとって見易いものではなく、監視対象物（例えば、車両の死角となる車両背後の道路）の状況が把握しづらいものとなっている場合がある。そこで、特許文献１に記載の技術では、これらのカメラにより得られた撮影画像に基づいて、監視対象物を運転者が最も把握しやすい特定の視点（仮想上の視点）から撮影したとしたならば形成されたであろう画像を合成する。例えば、車両の天井に配置した複数台のカメラの撮影画像を合成することにより、車両を上空から俯瞰したとしたならば得られたであろう合成画像を形成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第００／０７３７３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、使用者の要求に応じて監視対象物が設定される画像処理システムにおいては、次の問題がある。すなわち、使用者が指定する監視対象物によって、監視対象物に対する最も見易い角度はそれぞれ異なるため、予め設定された所定の視点（例えば、撮影対象物を俯瞰することができる視点）からの合成画像だけでは、使用者の要求を十分に満たすことができない場合がある。

【0005】

例えば、市街地の交通状態や人の混雑状態を監視する監視システムの場合では、監視エリアの空中写真画像とカメラにより撮影した撮影画像とに基づいて、市街地の交通状況を示す合成画像を形成する。しかし、撮影対象となる街並みは一様ではないため、予め設定された所定の視点からの合成画像だけでは、街並みによっては監視対象物が視認し難くなる場合がある。

【0006】

また、上記技術、すなわちカメラの撮影画像と撮影画像の背景となる画像（エリア画像）とを合成する技術は、ゲーム等の映像産業分野にも活用される技術であるが、この場合においても同様の課題がある。例えば、人物を撮影対象としてカメラによって撮影された撮影画像とエリア画像とを合成する技術があるが、予め設定された所定の視点からの合成画像だけではこの画像を観る者の要求を満たさない場合がある。

【0007】

本発明はこのような事情に鑑みてなされたものであり、その目的は、使用者の要求にあった視点の合成画像を出力することができる画像処理システムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決する画像処理システムは、カメラから出力された撮影画像の少なくとも一部を射影変換して得られた変換撮影画像と前記撮影画像の背景となるエリア画像とを合成することにより３次元空間上に合成モデルを形成する合成部と、前記合成モデルを、予め設定された第１視点または操作者により設定された第２視点からみた画像に変換することにより合成画像を形成する変換部と、前記第１視点に係る前記合成画像及び前記第２視点に係る前記合成画像のうちからいずれの画像を表示部に表示するかを選択する選択部とを備える。
例えば、カメラは、監視場所の周囲に設置される監視用のものである。または、カメラは、使用者の現在位置の周りの景色を撮影する携帯電話のカメラである。

【0009】

この構成によれば、合成モデルに基づいて、予め設定された第１視点からみた画像（合成画像）、または操作者により設定された第２視点からみた画像（合成画像）を形成することができる。また、選択部を介して表示部に表示する画像を選択することができる。すなわち、この画像処理システムは、使用者の要求にあった視点の合成画像を出力することができる。

【0010】

なお、操作者とは、画像処理システムを操作する人を示す。操作者には、画像処理システムの使用者、使用者から依頼を受けて画像処理システムを操作して第２視点を設定する人が含まれる。

【0011】

上記画像処理システムにおいて、前記第２視点を設定するための設定部を更に備え、前記設定部は、前記第２視点に関する視点情報を受け付け、前記視点情報に係る前記合成画像を前記変換部に形成させて、この合成画像を前記表示部に出力させることが好ましい。

【0012】

画像処理システムがこのような設定部を有しない場合は、使用者の要求にあった視点を予め画像処理システムのプログラム上に組み込む必要があるが、上記構成によれば、設定部を介して使用者の要求に応じた視点を容易に設定することができる。

【0013】

上記画像処理システムにおいて、前記設定部は、操作者の操作に基づく保存指令により、前記視点情報を前記選択部のスイッチに対応付けることが好ましい。この構成によれば、過去に設定した視点からの合成画像の表示を、簡単な操作により行うことができる。

【0014】

上記画像処理システムにおいて、前記設定部は、前記第２視点の設定のための操作が行われている最中は、前記合成部に、前記カメラから出力される前記撮影画像のうちの一枚の画像を用いて前記合成モデルを形成させることが好ましい。

【0015】

第２視点の設定のための操作が行われている最中は画像処理システムが実行する演算処理数が増大するため、合成画像の形成において遅延が生じるおそれがある。
この点、上記構成では、カメラから出力される撮影画像のうちの一枚の画像を用いて合成モデルが形成される。これにより、撮影画像の更新の都度、合成モデルを形成しこの合成モデルに基づいて合成画像を形成する場合に比べて、所定期間内における合成モデル及び合成画像の形成に関連する演算処理数が少なくなる。この結果、合成画像の形成におけるその遅延の発生が抑制される。

【0016】

上記画像処理システムにおいて、前記エリア画像は、前記カメラが撮影する撮影場所を含む空中写真地図画像であり、前記合成部は、前記撮影画像上において設定された幾何学的図形を有する設定領域と前記エリア画像上における前記設定領域に対応する部分とが外形上において一致するように前記撮影画像を射影変換することにより前記変換撮影画像を形成することが好ましい。

【0017】

この構成によれば、撮影画像上の設定領域とエリア画像上における前記設定領域に対応する部分とが互いに一致するように撮影画像が射影変換されるため、変換撮影画像とエリア画像との境界における画像のずれが小さくなる。

【発明の効果】

【0018】

上記画像処理システムは、使用者の要求にあった視点の合成画像を出力することができる。

【図面の簡単な説明】

【0019】

【図1】監視システムの模式図。

【図2】画像処理システムのブロック図。

【図3】合成画像の合成について、そのフローを示すブロック図。

【図4】射影変換を説明するための図であり、（ａ）は、監視場所の撮影画像を示す図、（ｂ）は監視場所付近一帯の地図画像を示す図。

【図5】射影変換を説明するための図であり、（ａ）は、撮影画像において、予め設定された幾何学的図形の各点の座標を示す座標図、（ｂ）は、地図画像において、予め設定された幾何学的図形の各点の座標を示す座標図。

【図6】合成モデルを示す図。

【図7】第１視点に係る合成画像を示す図。

【図8】第２視点に係る合成画像を示す図。

【図9】第１視点に係る合成画像を示す図。

【図10】第２視点に係る合成画像を示す図。

【発明を実施するための形態】

【0020】

図１〜図１０を参照して、本技術の実施形態の一例として、市街の一角を監視する監視システムについて説明する。
図１に示すように、監視システム１は、画像処理システム１０と、１台または複数台のカメラ２０とを備える。

【0021】

カメラ２０は、通信ネットワーク１００を介して画像処理システム１０に接続される。通信ネットワーク１００としては、例えば、ＬＡＮ（ローカルエリアネットワーク）、インターネット、無線ネットＬＡＮ等が挙げられる。なお、カメラ２０が、直接、画像処理システム１０に接続される場合もある。

【0022】

カメラ２０は、予め設定された監視場所を上方から撮影する。例えば、カメラ２０は、屋外または屋内に設置される。屋外では、カメラ２０は、ビルの屋上やビルの外壁、電柱等に設置される。屋内では、カメラ２０は、建物の天井面、壁面、柱等に設置される。

【0023】

また、複数台のカメラ２０を用いて、それぞれ異なる監視場所を監視する場合には、各カメラ２０は異なる場所に設置される。
また、監視場所が広い場合には、カメラ２０が撮影する範囲がその範囲の境界において互いに重なるように、カメラ２０が設置される。

【0024】

カメラ２０は、周期的または所定（または任意）のタイミングで、監視場所を連続的に撮影する。そして、カメラ２０は、撮影画像ＦＩをパケット化して出力する。監視場所を複数台のカメラ２０を用いて監視する場合には、各カメラ２０により撮影された撮影画像ＦＩの関連性が維持されるように各カメラ２０が制御される。例えば、各カメラ２０が毎回、同じタイミングで（例えば、同時刻で）撮影するように、各カメラ２０において撮影タイミングが設定される。

【0025】

撮影画像ＦＩの関連性とは、同時刻に撮影された撮影画像ＦＩの関係を示す。複数の撮影画像ＦＩに基づいて人や車両を追跡する場合には、撮影画像ＦＩの関連性が維持されていることが好ましいため、各カメラ２０の撮影タイミングが制御される。

【0026】

画像処理システム１０は、カメラ２０から出力される撮影画像ＦＩと地図画像ＭＩ（エリア画像）と基づいて、３次元空間上（３次元データ空間上）の構築される合成モデルＳＭ（後述）と表示部１７に表示する合成画像ＳＩ（後述）とを形成する。

【0027】

図２を参照して、画像処理システム１０の構成を説明する。
画像処理システム１０は、本体装置１０Ａと、本体装置１０Ａに接続される表示部１７と、操作部１８とを備える。

【0028】

表示部１７は、例えば、液晶モニターにより構成される。操作部１８は、キーボードやマウス（ポインティングデバイス）により構成される。なお、表示部１７としてタッチパネルで構成することもできる。この場合、操作部１８を省略することが可能である。

【0029】

本体装置１０Ａは、撮影画像ＦＩ等を蓄積する蓄積部１１と、撮影画像ＦＩを画像処理する画像処理部１２と、地図画像ＭＩを記憶する記憶部１３と、合成モデルＳＭを形成する合成部１４と、合成モデルＳＭを所定の視点から見た画像（以下、「合成画像ＳＩ」という。）に変換する変換部１５とを備える。また、本体装置１０Ａは、合成モデルＳＭを見る視点を設定するための設定部１６を備えることが好ましい。

【0030】

画像処理部１２は、歪み補正部１２Ａと、射影変換部１２Ｂとを備える。
歪み補正部１２Ａは、カメラ２０のレンズによって生じる撮影画像ＦＩの歪みを補正する。具体的には、撮影画像ＦＩにおいて光学中心軸から離れた部分にレンズによる歪みが生じるため、この部分の歪みがなくなるように、撮影画像ＦＩの全体が補正される。この補正によれば、直線となるべき道路の境界線や建物の稜線が歪曲した状態で示されている場合、これらの境界線や稜線が直線に補正される。

【0031】

射影変換部１２Ｂは、撮影画像ＦＩのうちの地面上の幾何学的図形を有する設定領域と地図上における設定領域に対応する部分とが外形上において一致するように撮影画像ＦＩを射影変換する。更に、射影変換部１２Ｂは、射影変換された撮影画像ＦＩから不要部分を除去する。例えば、監視対象領域が残されるように、これ以外の部分が除去される。射影変換された撮影画像ＦＩにおいて不要部分がない場合には、このような除去処理は実行されない。以上のようにして形成された画像は、以降の説明で、「変換撮影画像ＣＦＩ」という。

【0032】

記憶部１３は、地図画像ＭＩ等を記憶する。地図画像ＭＩは、カメラ２０が撮影する撮影場所を含む画像である。
地図画像ＭＩとして、例えば、道路地図画像、空中写真地図画像、建築図面画像等が挙げられる。道路地図画像とは、少なくとも道路が記載された地図を示す。空中写真地図画像とは、上空から地上を撮影することにより得られた写真に基づいて作成された地図を示す。例えば、空中写真地図画像の例としては、航空機により撮影された写真に基づいて作成された航空写真地図画像や、人工衛星により撮影された写真に基づいて作成された衛星写真地図画像が挙げられる。

【0033】

合成部１４は、地図画像ＭＩと変換撮影画像ＣＦＩとに基づいて３次元空間上に２次元の合成モデルＳＭを形成する（図６参照）。
具体的には、合成部１４は、３次元空間上に地図画像ＭＩを配置し、変換撮影画像ＣＦＩにおいて設定された４つの設定点と、地図画像ＭＩにおいて設定された４つの対応点とがそれぞれ一致するように、地図画像ＭＩに変換撮影画像ＣＦＩを重畳する（図４〜図６参照）。

【0034】

「重畳する」とは、元の画像の上に、他の画像を重ねることを示す。すなわち、重畳することにより得られた画像において元の画像の上に他の画像が重ねられた部分では、元の画像が透けて見えることがないように、元の画像（地図画像ＭＩ）の上に他の画像（変換撮影画像ＣＦＩ）が重ねられる。

【0035】

変換部１５は、合成モデルＳＭを投影面ＰＰＰに透視投影変換する。具体的には、変換部１５は、合成モデルＳＭを、この合成モデルＳＭと所定の視点との間に配置した投影面ＰＰＰに透視投影することにより、透視投影画像（合成画像ＳＩ）を形成する。この変換は、例えば、グラフィックスインターフェイスプログラムや所定の変換関数を用いて行われる。

【0036】

視点は、少なくとも次の３つのパラメータ（以下、各パラメータを「第１〜第３パラメータ」という。）により構成される。
なお、この３つのパラメータは視点情報ともいう。
・第１パラメータは、視点の位置を示す座標点（視点位置ＶＰ）である。
・第２パラメータは、視点に配置される仮想カメラが注視する点（注視点ＬＡＰ）であり、３次元空間上に設定される座標点（ｘ１，ｙ１，ｚ１）である。
・第３パラメータは、合成モデルＳＭが投影される投影面ＰＰＰの上下方向を示す単位ベクトルＥＶである。

【0037】

これら３つのパラメータは、操作者により設定することができるパラメータとして構成される。
視点に関連するパラメータとして、投影面ＰＰＰの位置及び大きさ、仮想カメラの視野角等のパラメータがあるが、これらパラメータとしては、グラフィックスインターフェイスプログラムに設定されているデフォルト値が用いられる。なお、これらのパラメータを操作者による設定可能なパラメータとして構成することもできる。

【0038】

代表的な視点として少なくとも一つの視点が記憶部１３に記憶される。例えば、合成モデルＳＭを俯瞰するような視点が第１視点ＦＦＰ（図６参照）として予め記憶部１３に記憶される。操作者が視点を変更しなければ、合成モデルＳＭを第１視点ＦＦＰから見たときの画像（合成画像ＳＩ）が形成される。

【0039】

設定部１６は、予め設定された第１視点ＦＦＰとは別の視点（以下、「第２視点ＳＦＰ」）を設定するためのユーザインターフェイスである。例えば、設定部１６は次のように構成される。

【0040】

設定部１６は、合成モデルＳＭを表示部１７に表示させる第１表示指示機能と、操作部１８を介して入力される視点情報を受け付ける受信機能と、視点情報に係る視点（以下、「入力視点」）を表示部１７に表示する第２表示指示機能と、変換部１５に合成モデルＳＭを入力視点からの画像に変換させる変換指示機能とを有する。更に、設定部１６は、操作部１８を介して入力される操作者の保存指令に基づいて視点情報を記憶部１３に記憶させる保存機能を有する。

【0041】

この設定部１６は次のように動作する。
設定部１６は、表示部１７に、３次元座標軸及び合成モデルＳＭを表示させる。
また、設定部１６は、操作部１８を介して入力される視点情報を受信し、視点情報を受信したときに、表示部１７に、その視点情報に基づいた入力視点を３次元座標上に表示させる。更に、設定部１６は、変換部１５に、合成モデルＳＭを入力視点から見た合成画像ＳＩに変換する変換処理を実行させる。そして、設定部１６は、表示部１７に合成画像ＳＩを表示させる。これにより、使用者（または操作者）は、合成モデルＳＭを入力視点からみたとすれば得られたであろう画像（合成画像ＳＩ）を確認することができる。

【0042】

また、設定部１６は、操作部１８から視点情報を保存するための保存指令を受け付けたときには、入力視点に係る視点情報を第２視点ＳＦＰとして記憶部１３に記憶し、使用者（または操作者）が第１視点ＦＦＰと第２視点ＳＦＰのうちから選択することができるように、表示部１７に表示される２個のボタンそれぞれに、これらの視点を対応付ける。これらのボタンは、操作部１８の操作により表示部１７の画面上で移動するポインタを介して、使用者（または操作者）に選択されうる。すなわち、表示部１７及び操作部１８は、第１視点ＦＦＰ及び第２視点ＳＦＰのうちからいずれの視点を用いるかを選択するための選択部１９として機能する。

【0043】

このため、使用者（または操作者）は、操作部１８を介して、表示部１７に示される２個のボタンのいずれか一方を選択することにより、合成モデルＳＭを第１視点ＦＦＰから見て得られる合成画像ＳＩと合成モデルＳＭを第２視点ＳＦＰから見て得られる合成画像ＳＩのうちのいずれかを表示部１７に表示させることができる。

【0044】

更に、設定部１６は次の構成を備えることが好ましい。
画像処理システム１０が、操作者が入力する視点情報を受け付けるときの状態（以下、この状態を「視点設定モード」という。）にあるとき（例えば、表示部１７に合成モデルＳＭを表示するとき）、設定部１６は、合成部１４に、カメラ２０から出力される撮影画像ＦＩのうちの一枚の画像だけを用いて合成モデルＳＭを形成させる。

【0045】

これは次の理由による。
視点設定モードでは、本体装置１０Ａは、３次元座標軸とともに合成モデルＳＭを表示したり、３次元座標上に視点を表示したり、合成画像ＳＩを表示したりと、様々な演算処理を実行する。これらは、本体装置１０Ａの演算処理数を増大させる。このため、蓄積部１１に新たな変換撮影画像ＣＦＩが蓄積される都度、合成部１４に変換撮影画像ＣＦＩと地図画像ＭＩに基づいて合成モデルＳＭを形成させるとすると、本体装置１０Ａの演算処理数がその演算能力を超える虞がある。一方、視点設定モードでは、視点を設定することだけを目的としているため、カメラ２０から出力される撮影画像ＦＩの最新の情報（例えば、撮影場所における混雑度合等）は必要とされない。このようなことから、視点設定モードにおいては、設定部１６は、合成部１４に、カメラ２０から出力される撮影画像ＦＩのうちの一枚の画像だけを用いて合成モデルＳＭを形成させる。これにより、本体装置１０Ａにかかる演算負担が軽減するため、本体装置１０Ａの演算処理数がその演算能力を超えるといった事態の発生が抑制される。

【0046】

図３を参照して、合成画像ＳＩの合成のフローを説明する。
合成部１４は、記憶部１３から地図画像ＭＩを取得し、この地図画像ＭＩに変換撮影画像ＣＦＩを重畳する。変換撮影画像ＣＦＩが複数ある場合には、図３に示すように、変換撮影画像ＣＦＩを順に重畳する。このようにして、合成部１４は合成モデルＳＭを形成する。

【0047】

また、時間の経過とともにカメラ２０から出力される撮影画像ＦＩに基づいて新たな変換撮影画像ＣＦＩが形成され、この変換撮影画像ＣＦＩが蓄積部１１（または記憶部１３）に蓄積される。このため、新たな変換撮影画像ＣＦＩが蓄積される都度（または変換撮影画像ＣＦＩが蓄積されるタイミングとは異なる所定のタイミングで）、上記処理（地図画像ＭＩに変換撮影画像ＣＦＩを重畳する処理）が実行される。そして、新たな合成モデルＳＭが形成される都度、変換部１５は合成モデルＳＭを透視投影変換して合成画像ＳＩを形成する。表示部１７は、合成画像ＳＩが形成される都度、新たな合成画像ＳＩを画面に表示する。これにより、表示部１７の画面には、合成画像ＳＩの一部（変換撮影画像ＣＦＩに対応する部分）が動画のように表示される。

【0048】

図４及び図５を参照して、撮影画像ＦＩの射影変換について説明する。
図４（ａ）は、カメラ２０により撮影された撮影画像ＦＩを示す。なお、この撮影画像ＦＩは、歪み補正後の画像である。図４（ｂ）は、撮影場所を含む地図画像ＭＩを示す。図４（ａ）に示される点ｐ１〜点ｐ４は、地図画像ＭＩの点Ｐ１〜点Ｐ４（図４（ｂ）上の点）にそれぞれ対応する。なお、図４（ａ）に示される点ｐ１〜点ｐ４に囲まれる領域が設定領域である。

【0049】

カメラ２０等、レンズを介して撮影された撮影対象の撮影画像ＦＩは、中心投影法により形成される画像とみなすことが出来る。このような撮影画像ＦＩでは、射影変換により、撮影画像ＦＩに含まれる平面上の幾何学的図形要素と、地図画像ＭＩ上においてこの幾何学的図形要素に対応する平面上の図形要素とを一致させることができる。

【0050】

画像の射影変換は、次の式により表される。
X＝（a1・x＋b1・y＋c1）／（a3・x＋b3・y＋c3）・・・（１）
Y＝（a2・x＋b2・y＋c2）／（a3・x＋b3・y＋c3）・・・（２）
ここで、x，yは、撮影画像ＦＩの座標を示す（図５（ａ）参照）。X，Yは、地図画像ＭＩの座標を示す（図５（ｂ）参照）。a1，b1，c1，a2，b2，c2，a3，b3，c3は定数である。c3は、任意に設定可能である。c3を除く残りの定数（８個のパラメータ）は、撮影画像ＦＩにおいて設定された４つの座標点ｐ１〜ｐ４と、これに対応する地図画像ＭＩ上の４つの座標点Ｐ１〜Ｐ４とを（１）式及び（２）式に代入して得られた式の連立方程式を解くことにより、導出される。

【0051】

図５（ａ）に、撮影画像ＦＩ上における４つの座標点ｐ１〜ｐ４の設定例を示す。
図５（ｂ）に、地図画像ＭＩにおいて、撮影画像ＦＩ上における４つの座標点ｐ１〜ｐ４に対応する４つの座標点Ｐ１〜Ｐ４を示す。

【0052】

図５（ａ）に示されるように、撮影画像ＦＩ上の４つの座標点は、いずれの３つの点も一直線上に並ばないように、設定される。また、撮影画像ＦＩ上の４つの座標点は、地図画像ＭＩ上において表される点（例えば、道路の角や道路上に描画されたラインの端）に対応するように設定される（図５（ｂ）参照）。図５（ａ）の撮影画像ＦＩ上に設定された設定点とこの設定点に対応して設定された図５（ｂ）の地図画像ＭＩ上の対応点とに基づいて射影変換に係る式（１）及び式（２）が導出される。なお、これらの式は予め導出され、記憶部１３に記憶され、射影変換部１２Ｂにおいて用いられる。

【0053】

図６は、合成部１４により形成される合成モデルＳＭの模式図である。また、図６には、第１視点ＦＦＰと第２視点ＳＦＰが示されている。
合成モデルＳＭは、上記したように、３次元空間上の２次元の画像として構成される。図６に示されている合成モデルＳＭは、２次元の地図画像ＭＩに、２台のカメラ２０それぞれから出力される撮影画像ＦＩに基づいて形成された２枚の変換撮影画像ＣＦＩを重畳することにより得られたものである。

【0054】

図６では、第１視点ＦＦＰは、合成モデルＳＭを俯瞰する視点として設定されている。第１視点ＦＦＰは、Ｚ軸上かつ原点から離れた視点位置ＶＰ（０，０，α）と、３次元座標の原点に設定された注視点ＬＡＰ（０，０，０）と、Ｙ軸に平行な単位ベクトルＥＶ（０，１，０）とにより構成されている。

【0055】

第２視点ＳＦＰは、合成モデルＳＭを斜めから見る視点として設定されている。この第２視点ＳＦＰは、変換撮影画像ＣＦＩが配置された部分の上方に設定された視点位置ＶＰ（β１，β２，β３）と、変換撮影画像ＣＦＩが配置された部分付近に設定された注視点ＬＡＰ（γ１，γ２，０）と、単位ベクトルＥＶ（ε１，ε２，ε３）とにより構成されている。

【0056】

図７に、第１視点ＦＦＰからみた合成画像ＳＩを示す。この合成画像ＳＩは、市街地の撮影画像ＦＩに基づいて形成された合成モデルＳＭを第１視点ＦＦＰから見た透視投影画像である。

【0057】

合成画像ＳＩは、俯瞰画像のように表示されるため、空中写真地図上において監視場所（カメラ２０により撮影された部分）の状況を把握することができる。例えば、どの場所で渋滞が生じているかを合成画像ＳＩから容易に把握することができる。

【0058】

図８に、第２視点ＳＦＰからみた合成画像ＳＩを示す。
この合成画像ＳＩは、図７の合成画像ＳＩの元となる合成モデルＳＭを第２視点ＳＦＰから見た透視投影画像である。

【0059】

図７に示す俯瞰画像では、監視場所の細部が把握しにくい。これは、第１視点ＦＦＰが合成モデルＳＭから遠く離れた位置に設定されていることにより、合成画像ＳＩでは変換撮影画像ＣＦＩに対応する部分が圧縮された状態で表示されるためである。すなわち、図７に示す俯瞰画像では変換撮影画像ＣＦＩの画像情報が十分に表示されない。

【0060】

これに対して、図８では、第２視点ＳＦＰが、変換撮影画像ＣＦＩが配置された部分に近い位置に設定されているため、第１視点ＦＦＰに係る合成画像ＳＩに比べて変換撮影画像ＣＦＩに対応する部分が拡大されて表示される。これにより、監視場所の細部が把握し易くなる。

【0061】

図９に、図７に示した場所とは別の場所について、第１視点ＦＦＰからみた合成画像ＳＩを示す。この合成画像ＳＩは、建物の周囲の撮影画像ＦＩに基づいて形成された合成モデルＳＭを第１視点ＦＦＰから見た透視投影画像である。

【0062】

合成画像ＳＩを形成するための第１視点ＦＦＰは建物の上空に設定されている。このような設定の合成画像ＳＩは俯瞰画像として構成される。このため、使用者は監視場所（カメラ２０により撮影された部分）の状況を容易に把握することができる。従来では、複数台のモニターに映し出される撮影画像ＦＩを見比べて状況を把握する必要があり、複数台の車両が同時に移動しているときはその状況を全体的に把握することが困難であったが、この合成画像ＳＩであればその状況を全体的に把握することが容易である。また、カメラ２０から遠くに離れたところに駐車している車両の移動も容易に把握することができる。

【0063】

図１０に、第２視点ＳＦＰからみた合成画像ＳＩを示す。
この合成画像ＳＩは、図９の合成画像ＳＩの元となる合成モデルＳＭを第２視点ＳＦＰから見た透視投影画像である。合成画像ＳＩを形成するための第２視点ＳＦＰは、カメラ２０の設置高さに対応する位置に設定されている。

【0064】

図９の合成画像ＳＩでは、カメラ２０の設置位置から離れた部分が大きく歪み、撮影対象物（車両等）が分かりにくくなっているため、この合成画像ＳＩは使用者に違和感を与える。この点、図１０に示す合成画像ＳＩは、カメラ２０の設置高さに対応する位置に第２視点ＳＦＰが設定されているため、このような歪みが抑制される。このため、この第２視点ＳＦＰからの合成画像ＳＩによれば使用者に与える違和感を緩和することができる。

【0065】

このように、上記画像処理システム１０は、予め設定された第１視点ＦＦＰとは別の視点として設定可能な第２視点ＳＦＰを有するため、この画像処理システム１０によれば、使用者の要求を満たすことができる。また、第１視点ＦＦＰの合成画像ＳＩと第２視点ＳＦＰの合成画像ＳＩとは使用者により選択可能となっているため、使用者は、その時々の要求に応じて合成画像ＳＩを選択することができる。例えば、使用者が、カメラ２０から遠くに離れたところに駐車している車両の移動も含めて全体的に車両の移動を把握したいと望むときには、第１視点ＦＦＰが選択されうる。一方、違和感のない自然な画像で監視場所を監視したいと望むときには、第２視点ＳＦＰが選択されうる。

【0066】

以上に説明したように、本実施形態に係る画像処理システム１０は次の効果を奏する。
（１）本実施形態に係る画像処理システム１０は変換部１５を備える。この変換部１５は、合成モデルＳＭを、予め設定された第１視点ＦＦＰまたは操作者により設定された第２視点ＳＦＰからみた画像に変換することにより、合成画像ＳＩを形成する。また、画像処理システム１０は、第１視点ＦＦＰに係る合成画像ＳＩ及び第２視点ＳＦＰに係る合成画像ＳＩのうちからいずれの画像を表示部１７に表示するかを選択する選択部１９を備える。このような構成により、この画像処理システム１０は、使用者の要求にあった第２視点ＳＦＰの合成画像ＳＩを出力することができる。

【0067】

（２）上記実施形態では、画像処理システム１０において、第２視点ＳＦＰを設定するための設定部１６を更に備える。この設定部１６は、第２視点ＳＦＰに関する視点情報を受け付け、合成モデルＳＭを第２視点ＳＦＰから見たときに得られるであろう合成画像ＳＩを変換部１５に形成させて、合成画像ＳＩを表示部１７に出力させる。

【0068】

画像処理システム１０がこのような設定部１６を有しない場合は、使用者の要求にあった視点を予め画像処理システム１０に組み込む必要があるが、上記構成によれば、設定部１６を介して使用者の要求に応じた視点を容易に設定することができる。

【0069】

（３）上記実施形態では、画像処理システム１０において、設定部１６は、操作者の操作に基づく保存指令により、第２視点ＳＦＰに係る視点情報を選択部１９のボタン（スイッチ）に対応付けることが好ましい。この構成によれば、過去に設定した第２視点ＳＦＰからの合成画像ＳＩの表示を、簡単な操作により行うことができる。

【0070】

（４）上記実施形態では、画像処理システム１０において、設定部１６は、第２視点ＳＦＰの設定のための操作が行われている最中は、合成部１４に、カメラ２０から出力される撮影画像ＦＩのうちの一枚の画像を用いて合成モデルＳＭを形成させる。

【0071】

第２視点ＳＦＰの設定のための操作が行われている最中は画像処理システム１０が実行する演算処理数が増大するため、合成画像ＳＩの形成において遅延が生じるおそれがある。この点、上記構成では、カメラ２０から出力される撮影画像ＦＩのうちの一枚の画像を用いて合成モデルＳＭが形成される。これにより、所定期間内における合成モデルＳＭ及び合成画像ＳＩの形成に関連する演算処理数が少なくなる。この結果、合成画像ＳＩの形成においてその遅延の発生が抑制される。

【0072】

（５）上記実施形態では、画像処理システム１０において、地図画像ＭＩ（エリア画像）として空中写真地図画像が用いられる。合成部１４は、撮影画像ＦＩ上において設定された幾何学的図形を有する設定領域と地図画像ＭＩ上における設定領域に対応する部分とが外形上において一致するように撮影画像ＦＩを射影変換することにより変換撮影画像ＣＦＩを形成する。このため、変換撮影画像ＣＦＩと地図画像ＭＩとの境界における画像のずれが小さくなる。

【0073】

（変形例）
なお、上記実施形態は以下のように変更することができる。
・上記実施形態の設定部１６は、予め設定された第１視点ＦＦＰとは別の第２視点ＳＦＰを設定するものであるが、複数の第２視点ＳＦＰ（互いに異なる使用者設定の視点）を設定することができるものとして設定部１６を構成してもよい。

【0074】

・上記実施形態では、設定部１６は、第２視点ＳＦＰを、第１視点ＦＦＰとは別の視点位置に設定するが、第２視点ＳＦＰの構成はこれに限定されない。例えば、別形態に係る第２視点ＳＦＰは、第１視点ＦＦＰと同一の視点位置ＶＰと、第１視点ＦＦＰと同一の注視点ＬＡＰと、第１視点ＦＦＰと同一の単位ベクトルと、表示部に表示する部分を指定するクリッピング範囲とにより構成される。クリッピング範囲は、注視点ＬＡＰを基準点として合成モデル上に設定される範囲である。この場合、第１視点ＦＦＰとは異なる視点情報だけが操作者により設定される。すなわち、クリッピング範囲が設定可能とされる。

【0075】

この構成の場合、合成部１４は、上記実施形態と同様に合成モデルＳＭを形成する。そして、変換部１５は合成モデルＳＭを別形態に係る第２視点ＳＦＰの投影面ＰＰＰに透視投影変換し、更に、クリッピング範囲のみを抽出し、こうして得られた画像を合成画像ＳＩとする。

【0076】

このような第２視点ＳＦＰの設定によれば、使用者は、この第２視点ＳＦＰの選択により、第１視点ＦＦＰから見た画像の所定範囲（クリッピング範囲）を容易に拡大することができる。すなわち、使用者は、視点の方向を変えずに、監視要部（使用者の指定により予め設定された所定範囲）を拡大して視認することが可能となる。

【0077】

・上記実施形態では、画像処理システム１０は、好ましい例として、合成モデルＳＭを見る視点を設定するための設定部１６を備えるが、この設定部１６を画像処理システム１０とは別の装置（例えば、ＰＣ（personal computer））に設けることもできる。この場合、この装置は、地図画像ＭＩと変換撮影画像ＣＦＩとに基づいて３次元空間上に２次元の合成モデルＳＭを形成し、これを画面上に表示する。そして、この装置は、実施形態に係る設定部１６と同様に、操作者が入力する視点情報を受信して、この視点情報に係る入力視点を画面に表示し、更に、この入力視点から見た合成画像ＳＩを表示する。また、この装置は、操作者の操作により視点情報を保存する。

【0078】

この構成において、画像処理システム１０は、視点情報を第２視点ＳＦＰとして組み込む機能を有する。組み込み機能は、使用者に利用可能にするためにボタン等に第２視点ＳＦＰを対応付けるための機能である。第２視点ＳＦＰを設定するための視点情報は、画像処理システム１０に直接入力されるか、または通信ネットワーク１００を介して遠隔操作により入力される。このような構成の場合、画像処理システム１０は、設定部１６を有しない分、装置が簡略化される。

【0079】

・上記実施形態では、表示部１７に表示される２個のボタンが合成モデルＳＭの視点を切り替えるボタンとして用いられているが、これらのボタンに代えて、操作部１８の２個のキーを用いることもできる。

【0080】

・上記実施形態では、合成部１４において、地図画像ＭＩに変換撮影画像ＣＦＩを重畳するが、この重畳の前に、地図画像ＭＩの前加工として、地図画像ＭＩと変換撮影画像ＣＦＩとが視覚的に識別可能なように地図画像ＭＩを画像処理してもよい。例えば、地図画像ＭＩを、変換撮影画像ＣＦＩとは異なる色調の画像または、変換撮影画像ＣＦＩよりも低解像度の画像に変換する。これにより、このような前加工を行って形成された合成モデルＳＭまたは合成画像ＳＩにおいて変換撮影画像ＣＦＩ（すなわち使用者が監視する部分または使用者が注視する部分）の部分が容易に判別されるようになる。

【0081】

・上記実施形態では、合成部１４は、撮影画像ＦＩを射影変換した変換撮影画像ＣＦＩと地図画像ＭＩ（エリア画像）とに基づいて２次元の合成モデルＳＭを形成するが、３次元の合成モデルＳＭを形成してもよい。例えば、３次元空間上に撮影対象をモデル化したオブジェクトを形成する。更に、オブジェクトを構成するポリゴンに対応するように撮影画像ＦＩを分割して、それぞれを射影変換することにより、変換撮影画像ＣＦＩを形成する。一方、オブジェクトを構成するポリゴンに対応するように空中写真地図画像（地図画像ＭＩ）を分割し、空中写真地図画像の分割片を所定のポリゴンに貼り付ける。このようにして３次元の合成モデルＳＭが構成される。３次元の合成モデルＳＭは変換部１５により合成画像ＳＩに変換される。

【0082】

・本技術は、カメラ２０により得られた撮影画像ＦＩを用いて合成画像ＳＩを形成するものであるが、撮影画像ＦＩを形成するカメラ２０についてその構造は特に限定されない。例えば、撮影画像ＦＩを形成するためのカメラ２０として、監視用カメラ、広角カメラ、パノラマカメラ（例えば、魚眼レンズを有するカメラ、曲面ミラーを介して撮影対象を撮影するカメラ等が挙げられる。）等が挙げられる。

【0083】

・本技術の用途は、監視システム１への適用だけに限定されない。本技術は、背景となるエリア画像に対してカメラ２０により撮影された撮影画像ＦＩを重畳することにより合成画像ＳＩを形成する技術に対して適用可能である。例えば、ゲーム機において、背景画（エリア画像）として撮影画像ＦＩに類似する風景画像が用いられる場合に、本技術における課題と同様の課題が生じ得る。このため、このような映像産業分野において本技術を適用することができる。この場合においても、上記実施形態に示した効果に準じた効果が得られる。

【0084】

・本技術は、携帯電話等における地図検索技術に対しても適用されうる。
例えば、携帯電話の表示装置に空中写真地図画像（エリア画像）を表示させつつ、携帯電話のカメラにより周辺を撮影して、両者を合成させることにより、周りの景色と表示装置に表示される撮影画像ＦＩとから使用者に現在位置（特に、建物に対する自身の位置）を容易に把握させることができる。この技術において、表示部に表示される合成画像ＳＩとしては、俯瞰画像よりも使用者が見る実際の風景（または街並み）に合った画像であることが好ましい。そこで、俯瞰画像を示す第１視点ＦＦＰとは別に、使用者が風景（または街並み）を見る視線に合致した第２視点ＳＦＰによる合成画像ＳＩの表示があることが好ましい。このようなことから、本実施形態に係る技術が携帯電話等における地図検索技術に対して好適に適用される。

【符号の説明】

【0085】

１…監視システム、１０…画像処理システム、１１…蓄積部、１２…画像処理部、１２Ａ…歪み補正部、１２Ｂ…射影変換部、１３…記憶部、１４…合成部、１５…変換部、１６…設定部、１７…表示部、１８…操作部、１９…選択部、２０…カメラ、１００…通信ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】