特許 6983651 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6983651

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/33 20170101AFI20211206BHJP

   G06T 5/50 20060101ALI20211206BHJP

   G03B 37/00 20210101ALI20211206BHJP

   H04N 7/18 20060101ALI20211206BHJP

【ＦＩ】

   G06T7/33

   G06T5/50

   G03B37/00 A

   H04N7/18 D

   H04N7/18 K

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2017-254647(P2017-254647)

(22)【出願日】2017年12月28日

(65)【公開番号】特開2019-121090(P2019-121090A)

(43)【公開日】2019年7月22日

【審査請求日】2020年12月4日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(72)【発明者】

【氏名】渡邉 達也

【審査官】 野口 俊明

(56)【参考文献】

【文献】 特開２０１６−２０８３０６（ＪＰ，Ａ）

【文献】 特開２０１３−１０２３６６（ＪＰ，Ａ）

【文献】 特開２０１１−２４４１１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／３３

Ｇ０６Ｔ ５／５０

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

全周囲の撮像範囲を分担して撮像する複数の撮像装置から、複数の撮像画像を取得する取得手段と、
前記取得手段により取得された複数の撮像画像を前記撮像範囲に対応するように配列させてパノラマ画像とする際に、隣り合う画像の隣接する端部同士の差が、前記パノラマ画像の端部同士の差よりも小さくなるように、前記複数の画像を配置させて前記パノラマ画像として出力する出力手段と、を備えることを特徴とする画像処理装置。

【請求項2】

前記出力手段は、前記取得手段により取得された複数の画像を表示装置に並べて表示させるように制御することで、前記パノラマ画像を出力することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記出力手段は、前記複数の画像の配列順序に対応した順序で、前記複数の画像を順に前記表示装置へ配信することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記出力手段は、前記取得手段により取得した複数の画像を合成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記取得手段により取得された複数の画像のそれぞれについて、前記画像の端部の輝度情報に基づいて、前記画像の端部の評価値を算出する算出手段をさらに備え、
前記出力手段は、前記算出手段により算出された評価値に基づいて、前記パノラマ画像の両端に配置する画像を決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記出力手段は、隣り合う前記画像の隣接する端部同士の前記評価値の差が、前記パノラマ画像の端部同士の前記評価値の差よりも小さくなるように、前記パノラマ画像の両端に配置する画像を決定することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記算出手段は、前記評価値として、前記画像の端部を構成する各画素の平均輝度値を算出することを特徴とする請求項５または６に記載の画像処理装置。

【請求項8】

前記算出手段は、前記評価値として、前記画像の端部に存在する特徴点の画像内位置を算出することを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記特徴点は、前記画像の端部において隣接する画素との輝度差分値が所定の閾値以上である画素であることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記算出手段は、撮像モードに基づいて、前記評価値の重み付け処理を行うことを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。

【請求項11】

前記撮像モードは、前記パノラマ画像の特定の領域に注視するモードであり、
前記算出手段は、隣り合う前記画像の境界に跨って前記注視する領域が存在する場合、当該境界に対応する前記画像の端部同士の評価値の差を小さくする方向に重み付け処理を行うことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

全周囲の撮像範囲を分担して撮像する複数の撮像装置から、複数の撮像画像を取得する取得ステップと、
前記取得ステップにおいて取得された複数の撮像画像を前記撮像範囲に対応するように配列させてパノラマ画像とする際に、隣り合う画像の隣接する端部同士の差が、前記パノラマ画像の端部同士の差よりも小さくなるように、前記複数の画像を配置させて前記パノラマ画像として出力する出力ステップと、を含むことを特徴とする画像処理方法。

【請求項13】

コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、監視用途において、広範囲を高解像度で撮像したいという要望がある。高解像度のパノラマ画像を生成する方法の１つとして、撮像範囲を複数の撮像装置が分担して撮像した複数の画像を合成する方法がある。ところが、複数の画像を合成する方法では、撮像装置の物理的なずれ等によって、画像間のつなぎ目にずれが生じてしまうという課題がある。より自然なパノラマ画像とするためは、複数画像のつなぎ目の連続性は重要な要素である。

【0003】

特許文献１には、複数の撮像装置により撮像された画像をもとに、３６０°どの位置においてもつなぎ目が目立たない３６０°繋ぎ合わせ全周囲画像（以下、単に「全周囲画像」という。）を生成する技術が開示されている。この技術は、隣り合う画像の色調情報に注目してパノラマ画像の両端となる画像を選択し、０°と３６０°との接続部分が完全につなぎ合わされるよう、色調補正や幾何補正を行う技術である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−１４５６８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１に記載の技術では、全周囲画像を生成する際に、全周囲画像の０°と３６０°の位置に配置される画像には、つなぎ合わせたときに一番変化の少ない画像が選択される。しかし、監視用途でパノラマ画像をビューワに表示させる場合には好ましくないことがある。
そこで、本発明は、複数の画像を配列させてパノラマ画像を表示させる場合に、よりユーザにとって違和感の少ない表示を可能とすることを課題としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理装置は、全周囲の撮像範囲を分担して撮像する複数の撮像装置から、複数の撮像画像を取得する取得手段と、前記取得手段により取得された複数の撮像画像を前記撮像範囲に対応するように配列させてパノラマ画像とする際に、隣り合う画像の隣接する端部同士の差が、前記パノラマ画像の端部同士の差よりも小さくなるように、前記複数の画像を配置させて前記パノラマ画像として出力する出力手段と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数の画像を配列させてパノラマ画像を表示させる場合に、よりユーザにとって違和感の少ない表示を可能とすることができる。

【図面の簡単な説明】

【0008】

【図1】（ａ）画像処理システムの構成例を示すブロック図である。（ｂ）画像処理システムの構成例を示すブロック図である。

【図2】パノラマ画像と表示領域との関係を示す模式図である。

【図3】画像処理装置のハードウェア構成の一例を示すブロック図である。

【図4】パノラマ画像出力処理を示すフローチャートである。

【図5】評価値の算出方法を説明するための模式図である。

【図6】（ａ）生成されるパノラマ画像の一例を示す模式図である。（ｂ）生成されるパノラマ画像の一例を示す模式図である。

【図7】パノラマ画像出力処理を示すフローチャートである。

【図8】生成されるパノラマ画像の一例を示す模式図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

【0010】

（第一の実施形態）
図１（ａ）は、本実施形態における画像処理システム１０００の構成例の概略を示すブロックである。
画像処理システム１０００は、３６０度（全周囲）の撮像範囲を分担して撮像する複数の撮像装置を備え、複数の撮像装置によってそれぞれ撮像された複数の画像を繋ぎ合わせたパノラマ画像として出力し、ユーザに提示する。つまり、画像処理システム１０００は、広範囲な監視領域を監視するユーザに全周囲画像を提供する監視システムとすることができる。

【0011】

本実施形態では、画像処理システム１０００は、複数の画像を並べて表示することで、パノラマ画像として出力する。画像処理システム１０００は、複数の画像を配列させてパノラマ画像として出力する際に、隣り合う画像の隣接する端部同士の差が、パノラマ画像の端部同士の差よりも小さくなるように、パノラマ画像の両端に配置する画像を決定する。具体的には、画像処理システム１０００は、複数の画像のそれぞれについて、画像の端部の輝度情報に基づいて評価値を算出し、評価値の差分が最も大きくなる境界が、パノラマ画像の両端になるように、複数の画像の並べ方を決定する。

【0012】

図１（ａ）に示すように、画像処理システム１０００は、３６０度（全周囲）の撮像範囲を分担して撮像する複数の撮像装置１０１〜１０３と、画像処理装置２００と、表示装置３００と、を備える。画像処理装置２００と表示装置３００とは、ネットワーク４００によって相互に通信可能に接続されている。本実施形態において表示装置３００はクライアント装置に対応する。ネットワーク４００は、ＬＡＮ（Local Area Network）やインターネット、ＷＡＮ（Wide Area Network）などとすることができる。なお、ネットワーク４００への物理的な接続形態は、有線であってもよいし、無線であってもよい。

【0013】

撮像装置１０１〜１０３は、それぞれ撮像光学系を構成するレンズ部、撮像素子、画像処理部、通信部（すべて図示なし）を備え、３６０度の撮像範囲を分担して撮像し、画像処理装置２００に各撮像画像を提供するように配置されている。撮像装置１０１〜１０３において撮像された光景は、レンズ部に入射し、撮像素子の受光面上に結像する。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサなどを備え、その受光面上に形成された像を電気信号に変換する。撮像素子から出力された電気信号としての撮像信号は、画像処理部に入力される。画像処理部は、撮像信号に対して画素補間処理や色変換処理などの画像処理を行って画像データを生成し、通信部が画像処理装置２００へ送信する。通信部は、標準化団体であるＭＩＰＩ（Mobile Industry Processor Interface）で規定されているカメラ・シリアル・インタフェース２(CSI-2)や、ＰＣＩｅ、ＵＳＢ、イーサネット（登録商標）などの通信方式に従って画像処理装置２００と通信し画像データを送信する。通信部がイーサネットを利用する場合は、撮像装置１０１〜１０３は、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標））に対応し、ＬＡＮケーブルを介して電力が供給される構成にしてもよい。

【0014】

撮像装置１０１〜１０３は、１枚の画像（静止画）を撮像するカメラであってもよいし、１枚以上の画像を含む映像を撮像するカメラであってもよい。さらに、図１（ａ）では、画像処理システム１０００は、３台の撮像装置１０１〜１０３を備えているが、撮像装置の台数は２台以上であればよい。また、図１（ｂ）のように画像処理装置２００と複数の撮像装置とが一体的に構成されるようにしてもよい。撮像装置１０１〜１０４によって全周囲を撮像し、撮像装置１０５はＰＴＺ（パン・チルト・ズーム）制御によって回動可能となっている。表示装置３００は、表示部３０１と入力部３０２を備えている。以降の説明では図１（ａ）の構成に従って説明する。

【0015】

画像処理装置２００は、撮像装置１０１〜１０３によって撮像された画像を取得し、取得された複数の画像を配列させてパノラマ画像として出力するよう制御する。画像処理装置２００は、パノラマ画像の両端に配置する画像を、他の隣り合う画像の隣接する端部同士の差が、パノラマ画像の端部同士の差よりも小さくなるように決定し、パノラマ画像として表示されるよう制御する。
この画像処理装置２００は、撮像装置１０１〜１０３にそれぞれ対応した評価値算出部２０１〜２０３と、配信部２０４と、を備える。

【0016】

評価値算出部２０１〜２０３は、撮像装置１０１〜１０３によって撮像された画像のエッジの評価値を算出する。ここで、エッジとは、画像の端部であり、パノラマ画像を生成する際につなぎ目となる境界部分を示す。なお、境界部分を画像端の何画素分とするかは、撮像装置１０１〜１０３が撮像する範囲の重複分に応じて決定することができる。例えば、重複する画素分＋αを画像端として設定してもよい。
評価値算出部２０１〜２０３は、画像のエッジの輝度情報に基づいて、画像のエッジの評価値を算出する。本実施形態では、評価値として、画像のエッジを構成する各画素の平均輝度値、もしくは、画像のエッジに存在する特徴点の画像内位置を用いる。ここで、当該特徴点は、画像のエッジにおいて隣接する画素との輝度差分値が所定の閾値以上である画素である。なお、評価値は、上記に限定されるものではなく、撮像シーンに応じた値を用いることができる。評価値の算出方法の詳細は後述する。評価値算出部２０１〜２０３は、算出した評価値を画像と紐付けた状態で配信部２０４へ送信する。

【0017】

配信部２０４は、評価値算出部２０１〜２０３から受け取った画像と評価値とに基づいて、画像の並べ方を決定し、ネットワーク４００を介して画像を表示装置３００へ配信する。配信部２０４は、撮像装置１０１〜１０３によってそれぞれ撮像された複数の画像を表示装置３００に並べて表示させる表示制御を行うことで、パノラマ画像を出力するよう制御する。
図２は、表示装置３００の表示画面の一例を示す図である。表示画面には、表示領域Ａ、ＢおよびＣがある。表示領域Ａ、Ｂ、Ｃは、撮像装置１０１、１０２、１０３によって撮像された画像のいずれかが表示される領域である。表示領域Ａ、Ｂ、Ｃに撮像装置１０１〜１０３により撮像したそれぞれの画像が現実空間における位置関係に対応する順で表示されることで、点線枠で示すパノラマ画像Ｐのように表示される。つまり、撮像装置１０１〜１０３は、パノラマ画像Ｐの３分の１ずつを分担して撮像している。また、画像処理装置２００は、撮像装置１０１〜１０３によって撮像された画像を表示装置３００に並べて表示させる表示制御を行うことで、パノラマ画像Ｐを表示することができる。

【0018】

本実施形態では、配信部２０４は、画像に紐付けされた評価値に基づいて、表示装置３００における表示領域Ａ〜Ｃにセットする画像を決定する。そして、配信部２０４は、表示領域Ａ、Ｂ、Ｃの順にセットする画像を配信する。つまり、配信部２０４は、評価値に基づいて画像の配列順序を決定し、決定した配列順序に対応した順序で画像を配信する。このとき、表示装置３００は、画像処理装置２００から受信した画像を、表示領域Ａから順にセットしていく。
このように、本実施形態では、複数の撮像装置１０１〜１０３によってそれぞれ独立して生成された画像は、配信部２０４から順にネットワーク４００を介して表示装置３００に配信され、表示装置３００において並べて表示される。そのため、撮像装置間の物理的な配置のずれや、それぞれの画像処理パラメータや撮像素子の特性の違い、撮像方向の違いによる撮像環境の違いなどの複数の要因により、最終的な画像のつなぎ目にずれが生じるといった現象が起こり得る。
そこで、本実施形態では、配信部２０４は、画像間のつなぎ目の少ない、より自然なパノラマ画像を提供するべく、後述する評価値に基づいてパノラマ画像の両端の画像を決定する。

【0019】

表示装置３００は、例えば、パーソナルコンピュータ（ＰＣ）やモバイル端末などの汎用コンピュータと、パノラマ画像を表示可能なモニタを備える。表示装置３００は、ネットワーク４００を介して受け取った画像を、図２に示す表示領域Ａ〜Ｃにセットし、表示する。
画像処理装置２００および表示装置３００は、外部機器との間の無線または有線の通信インタフェースを提供する通信部をそれぞれ備える。例えば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚ−Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。
また、当該通信部は、有線ＬＡＮにより外部機器と通信してもよい。有線ＬＡＮとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。なお、通信部は、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。

【0020】

図３は、画像処理装置２００のハードウェア構成例である。
図３に示すように、画像処理装置２００は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、通信Ｉ／Ｆ２５と、システムバス２６とを備える。ＣＰＵ２１は、画像処理装置２００における動作を統括的に制御するものであり、システムバス２６を介して、各構成部（２２〜２５）を制御する。ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

【0021】

外部メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。通信Ｉ／Ｆ２５は、上述した通信部に対応する。図１に示す画像処理装置２００の各要素の一部または全部の機能は、ＣＰＵ２１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。

【0022】

なお、撮像装置１０１〜１０３の場合は、図３の構成に加えて撮像部のハードウェア構成をさらに具備する。ここで、撮像部は、被写体の撮像を行うための構成であり、上述したレンズ部や撮像素子を有する。
また、表示装置３００の場合は、図３の構成に加えて表示部や入力部のハードウェア構成をさらに具備する。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタを備えている。入力部は、キーボードやマウス等のポインティングデバイスを備えている。

【0023】

次に、本実施形態における画像処理装置２００の動作について説明する。
図４は、画像処理装置２００が実行するパノラマ画像出力処理の一例を示すフローチャートである。この図４の処理は、例えば、撮像装置１０１〜１０３から画像を取得したタイミングで開始される。ただし、図４の処理の開始タイミングは、上記のタイミングに限らない。
画像処理装置２００は、ＣＰＵ２１が必要なプログラムを読み出して実行することにより、図４に示す処理を実現することができる。ただし、図１に示す画像処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図４の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

【0024】

本実施形態では、画像処理装置２００は、２つのモードによりパノラマ画像出力処理を実行する場合について説明する。
まずＳ１において、画像処理装置２００は、撮像装置１０１〜１０３から画像を取得し、撮像開始モードに移行する。この撮像開始モードは、撮像装置１０１〜１０３による撮像が開始された時点でのパノラマ画像出力に関する設定をするためのモードである。具体的には、撮像開始モードは、撮像開始時に、撮像装置１０１〜１０３から取得した画像を表示領域Ａ、Ｂ、Ｃのどこにセットするかを決定する表示設定を行うモードである。

【0025】

Ｓ２では、評価値算出部２０１〜２０３は、撮像装置１０１〜１０３から取得された画像について、それぞれ各エッジの評価値を算出する。各エッジから評価値を算出する方法について、図５を参照しながら説明する。
図５において、画像ａは、撮像装置１０１により撮像された画像、画像ｂは、撮像装置１０２により撮像された画像、画像ｃは、撮像装置１０３により撮像された画像である。また、各画像の両側のグラフは、各画像のエッジの輝度差分値を示すグラフであり、縦軸が輝度差分値、横軸が画像内における位置である。ここで、輝度差分値は、エッジにおいて隣り合う画素の輝度値の差分を示しており、撮像する風景の変化が大きい、つまり、特徴量が大きいほど大きな値となる。また、画像内における位置は、画像の上端から何画素目なのかを示している。

【0026】

このＳ２において、評価値算出部２０１〜２０３は、各エッジ内に輝度差分値が所定の閾値Ｔｈを超える画素があるか否かを判定し、所定の閾値Ｔｈを超える画素がある場合は、その画素を特徴点とし、特徴点の画像内位置を評価値として画像に紐付ける。一方、評価値算出部２０１〜２０３は、所定の閾値Ｔｈを超える画素（特徴点）が無いと判定した場合には、エッジを構成する各画素の平均輝度値を評価値として画像に紐付ける。ここで、上記所定の閾値Ｔｈは、例えばユーザが任意に設定することのできる値である。
このように、特徴量の大きな位置のみをピックアップすることで、画像に紐付けるデータ量を低減することができ、後述する処理の負荷を低減することができる。閾値Ｔｈが大きいほどピックアップされる位置が減り、紐付けるデータ量も減少するが、一方で、表示装置３００の表示領域Ａ〜Ｃにどの画像をセットするかの表示設定の判断に用いる情報量も減少してしまう。そのため、ユーザは、上記の点を加味したうえで、使用環境に応じた閾値Ｔｈを設定する必要がある。なお、閾値Ｔｈは、予め設定された固定値であってもよい。

【0027】

図４に戻って、Ｓ３では、配信部２０４は、評価値が紐付けされた画像をもとに、表示装置３００の表示設定を行う。具体的には、配信部２０４は、それぞれ隣り合うエッジについて評価値の差分を算出し、当該差分が最も大きい組み合わせがパノラマ画像の両端となるように、表示領域と画像とのセットを決定する。つまり、配信部２０４は、エッジに存在する特徴点の鉛直方向（チルト方向）における位置ずれが最も大きくなる組み合わせがパノラマ画像の両端になるように、表示領域と画像とのセットを決定する。

【0028】

図５に示す評価値を比較する場合、配信部２０４は、画像ａの右エッジと画像ｂの左エッジ、画像ｂの右エッジと画像ｃの左エッジ、画像ｃの右エッジと画像ａの左エッジにおける特徴点の画像内位置を比較する。図５の点線矢印に示すように、上記の組み合わせの中で最も位置のずれが大きくなる組み合わせは、画像ａと画像ｂとが隣り合う組み合わせである。図６（ａ）に示すように、表示装置３００の表示領域Ａに画像ａ、表示領域Ｂに画像ｂ、表示領域Ｃに画像ｃをセットした場合、画像ａの右エッジと画像ｂの左エッジとの隣接部分で、大きく画像がずれてしまう。

【0029】

そこで、配信部２０４は、画像ａの右エッジと画像ｂの左エッジとが、パノラマ画像の両端となるように表示領域と画像とのセットを決定する。つまり、配信部２０４は、図６（ｂ）に示すように、表示装置３００の表示領域Ａに画像ｂ、表示領域Ｂに画像ｃ、表示領域Ｃに画像ａをセットするように、画像の並べ方を決定する。そして、配信部２０４は、表示装置３００への画像の配信順序を、画像ｂ、画像ｃ、画像ａの順とする。これにより、表示装置３００は、画像ｂ、ｃ、ａの順に受信した画像を表示領域ＡからＣへ順にセットして表示する。その結果、ずれの存在しない自然なパノラマ画像を表示することができる。

【0030】

Ｓ４では、画像処理装置２００は、ユーザが予め設定した条件（設定条件）を満たすか否かを判定する。ここで、設定条件としては、例えば、前回の表示設定から撮像時間が一定時間経過したことや、評価値が一定以上変化したことが挙げられる。もしくは、ユーザが表示設定の更新を指示したことであってもよい。上記のいずれかの条件を満たしている場合、画像処理装置２００はＳ４からＳ５に移行する。一方、いずれの条件も満たさない場合は、表示設定の更新をせず、設定条件を満たすまで撮像を継続する。
Ｓ５では、画像処理装置２００は、マニュアルモードに移行する。ここで、マニュアルモードは、表示装置３００の表示領域と画像とのセットを更新するモードである。このとき、ユーザの指示によらずにマニュアルモードに移行する場合には、ユーザに対して表示設定を更新する旨を通知するよう制御してもよい。

【0031】

Ｓ６では、評価値算出部２０１〜２０３は、Ｓ２と同様に、撮像装置１０１〜１０３から取得された画像について、それぞれ各エッジの評価値を算出する。その際、閾値ＴｈはＳ２において用いられた値と同じでもよいし異なっていてもよい。閾値Ｔｈは、Ｓ４における設定条件に応じた値に設定する。
Ｓ７では、配信部２０４は、Ｓ３と同様に、評価値が紐付けされた画像をもとに、表示装置３００の表示設定を行い、複数の画像の並べ方を更新する。

【0032】

なお、本実施形態では、撮像装置１０１〜１０３および表示装置３００とは異なる画像処理装置２００が、複数の画像について評価値を算出し、パノラマ画像の出力を制御する画像処理装置として動作する場合について説明した。しかしながら、撮像装置１０１〜１０３や表示装置３００が、画像処理装置２００の一部の機能を備えていてもよい。つまり、画像処理装置は、必ずしも１台の装置として構成されている必要はない。これは、後述する第二の実施形態についても同様である。
例えば、図１の画像処理装置２００は、評価値を紐付けした複数の画像を一定の順序で表示装置３００へ配信し、表示装置３００が評価値に基づいてパノラマ画像の表示設定を行い、パノラマ画像を表示するようにしてもよい。また、表示装置３００が、複数の画像について評価値を算出し、評価値に基づいて複数の画像を並べて表示することでパノラマ画像を出力する画像処理装置として動作してもよい。

【0033】

さらに、本実施形態では、表示領域を固定して、そこにセットする画像を決定する表示設定を行う場合について説明したが、要旨の範囲内で他の方法を選択することもできる。例えば、表示領域と画像とのセットは変えずに、表示領域の位置関係を入れ替える方法を用いてもよい。
また、本実施形態では、複数の撮像装置によって撮像された複数の画像を並べて表示することでパノラマ画像を出力する場合について説明した。しかしながら、画像処理装置２００は、複数の撮像装置によって撮像された複数の画像をつなぎ合わせるように合成することで１枚のパノラマ画像として生成し、生成したパノラマ画像を表示装置３００に表示させるようにしてもよい。なお、合成する場合には、複数の画像の内容がズレ難いように、隣り合う画像の隣接する端部の特徴点が一致するように、位置をシフトさせたり部分的に拡大させたりした上で、隣接する端部の平均輝度が互いに近づくように輝度を補正するようにしてもよい。
さらに、本実施形態では、画像処理装置２００は、表示装置３００にパノラマ画像を表示させるよう制御する場合について説明したが、パノラマ画像を生成し、生成したパノラマ画像を外部機器に出力したり保存したりするようにしてもよい。

【0034】

以上説明したように、本実施形態における画像処理装置２００は、３６０度の撮像範囲を分担して撮像する複数の撮像装置から、それぞれ撮像された画像を取得する。画像処理装置２００は、上記複数の画像を配列させてパノラマ画像を出力する際に、隣り合う画像の隣接する端部同士の差が、パノラマ画像の端部同士の差よりも小さくなるように、パノラマ画像の両端に配置する画像を決定する。そして、画像処理装置２００は、決定された画像の並べ方に従って複数の撮像装置から取得された複数の画像を配列させ、パノラマ画像を出力するよう制御する。
これにより、画像間のずれが大きい境界をパノラマ画像の端に配置することができる。したがって、複数の撮像装置が分担して撮像した画像を繋ぎ合わせてパノラマ画像を出力する場合に、画像間のつなぎ目のずれが少ない、自然なパノラマ画像を出力することが可能となる。

【0035】

また、画像処理装置２００は、複数の画像を表示装置３００に並べて表示させる表示制御を行うことで、パノラマ画像を出力するよう制御する。このとき、画像処理装置２００は、表示制御として、決定された画像の配列順序に対応した順序で、複数の画像を順に表示装置３００へ配信する制御を行う。
このように、複数の画像を並べて表示させることでパノラマ画像を出力するので、複雑な合成処理等を必要とすることなく、容易にパノラマ画像を出力することができる。また、画像処理装置２００は、複数の画像の配列順序と画像の配信順序とを関連付けるので、画像の配列順序を示す情報を別途付加することなく、表示装置３００に対して画像の配列順序を通知することが可能となる。表示装置３００は、画像処理装置２００が配信する画像を、受信順に表示領域にセットするだけでよく、画像を並べて表示するための処理に関する付加を軽減することができる。

【0036】

また、画像処理装置２００は、画像の配列順序の決定に際し、複数の画像のそれぞれについて、画像の端部の輝度情報に基づいて、画像の端部の評価値を算出する。そして、画像処理装置２００は、算出された評価値に基づいて、パノラマ画像の両端に配置する画像を決定する。具体的には、上記評価値として、画像の端部を構成する各画素の平均輝度値、もしくは、画像の端部に存在する特徴点の画像内位置を用いることができる。そして、画像処理装置２００は、隣り合う画像の隣接する端部同士の評価値の差が、パノラマ画像の端部同士の評価値の差よりも小さくなるように、パノラマ画像の両端に配置する画像を決定する。

【0037】

このように、撮像シーンに応じた評価値を用いてパノラマ画像の両端に配置する画像を決定することで、より自然なパノラマ画像を出力することが可能となる。本実施形態のように、エッジに特徴点が存在しない場合には、エッジ領域の平均輝度値を評価値として用いることで、パノラマ画像を構成する複数の画像を、輝度差が小さくなるような並びにすることができる。したがって、撮像環境に違いなど、外光等による輝度ずれに対して適切に対応して自然なパノラマ画像を出力することができる。また、エッジに特徴点が存在する場合には、特徴点の画像内位置を評価値として用いることで、画像のつなぎ目において被写体の上下の位置ずれが目立たないパノラマ画像とすることができる。
さらに、上記特徴点は、画像の端部において隣接する画素との輝度差分値が所定の閾値以上である画素とすることができる。このように、特徴量の大きな位置のみをピックアップすることで、評価値のデータ量を削減し、表示設定や表示制御の処理負荷を軽減することができる。

【0038】

（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、評価値の差分が最も大きくなる端部がパノラマ画像の両端に持ってくる場合について説明した。この第二の実施形態では、上述した第一の実施形態における評価値に対して、撮像モードに応じた重み付け処理を行い、その結果に基づいてパノラマ画像の両端に配置する画像を決定する場合について説明する。
ここで、上記の撮像モードは、パノラマ画像から人物や車両などの特定の被写体（オブジェクト）を検知するオブジェクト検知処理や、パノラマ画像の特定の領域について持ち去りや置き去り、侵入や通過、滞留などのイベントを検知するイベント検知処理などの映像解析を実施する映像解析モードである。画像処理システム１０００が映像解析を使用する場合、解析内容に応じた表示設定を行う。

【0039】

本実施形態における画像処理システムの構成は、図１に示す画像処理システム１０００と同様である。
本実施形態では、画像処理装置２００の配信部２０４が、パノラマ画像に対する映像解析を行う場合について説明する。この場合、配信部２０４は、評価値算出部２０１〜２０３から受信した画像それぞれに対して映像解析を行い、その結果を画像に紐付けてネットワーク４００を介して表示装置３００へ配信する。なお、パノラマ画像に対する映像解析は、表示装置３００において行われてもよい。この場合、表示装置３００は、画像処理装置２００から提供されるパノラマ画像に対して映像解析処理を行う。

【0040】

図７は、画像処理装置２００が実行するパノラマ画像出力処理の一例を示すフローチャートである。ここでは、画像処理装置２００は、３つのモードによりパノラマ画像出力処理を実行する場合について説明する。この図７の処理は、Ｓ２１〜Ｓ２６の処理が追加されていることを除いては、図４に示すパノラマ画像出力処理と同様である。したがって、以下、図４のフローチャートと異なる部分を中心に説明する。
Ｓ２１では、画像処理装置２００は、映像解析処理の開始や終了を含めた設定変更が行われたか否かを判定し、映像解析処理を使用しているか否かをする。そして、画像処理装置２００は、映像解析処理を使用していると判定した場合、Ｓ２２へ移行し、映像解析処理を使用していないと判定した場合にはＳ４に移行する。

【0041】

Ｓ２２では、画像処理装置２００は、映像解析モードに移行する。ここで、映像解析モードは、表示装置３００の表示領域と画像とのセットを映像解析処理の内容を加味して更新するモードである。映像解析処理の内容に応じて加味する点としては、例えば、輝度値が一定値以下では映像解析処理を行いにくい点、注視している領域を確認しやすいパノラマ画像の生成を優先する点、などが挙げられる。
Ｓ２３では、画像処理装置２００は、映像解析モードにおいてユーザが予め設定した条件（設定条件）を満たすか否かを判定する。ここで、設定条件は、映像解析処理の内容を加味した上でユーザが新たに設定してもよいし、Ｓ４の設定条件を映像解析処理の内容を加味して調整したものであってもよい。上記のいずれかの条件を満たしている場合、画像処理装置２００はＳ２３からＳ２４に移行する。一方、いずれの条件も満たさない場合は、表示設定の更新をせず、設定条件を満たすまで撮像を継続する。

【0042】

Ｓ２４では、評価値算出部２０１〜２０３は、Ｓ２と同様に、撮像装置１０１〜１０３から取得された画像について、それぞれ各エッジの評価値を算出する。その際、閾値ＴｈはＳ２において用いられた値と同じでもよいし異なっていてもよい。閾値Ｔｈは、Ｓ２３における設定条件に応じた値に設定する。
Ｓ２５では、配信部２０４は、Ｓ２４において算出された評価値に対して、実行している映像解析処理に基づいた重み付け処理を行う。

【0043】

図８は、映像解析処理として、パノラマ画像の特定の領域に注視する映像解析処理を実行している場合の重み付け処理について説明する図である。図８（ａ）および図８（ｂ）における実線枠は、それぞれ表示装置３００に設けられた表示領域Ｄ、Ｅ、Ｆ、Ｇ、Ｈを示しており、５つの表示領域にセットされた画像をつなげることによってパノラマ画像が生成されることを示している。ここでは、画像処理システムが、３６０度の撮像範囲を分担して撮像する５台の撮像装置を有し、各撮像装置により撮像された５枚の画像ｄ、ｅ、ｆ、ｇ、ｈを、表示領域Ｄ、Ｅ、Ｆ、Ｇ、Ｈのいずれかにセットする場合について説明する。
画像ｄ〜ｈの濃淡は、撮像している風景の明暗を示しており、濃いほど暗く、淡いほど明るいことを示している。また、点線枠Ｍは、ユーザの注視したい領域（以下、「注視領域」という。）を示している。

【0044】

図８（ａ）は、撮像開始モードにおける表示設定により生成されるパノラマ画像である。図８（ａ）に示す画像ｄ〜ｈには、各エッジ内に輝度差分値が閾値Ｔｈを超える画素ないため、撮像開始モードでは、エッジの平均輝度値を評価値として表示設定が行われる。これにより、平均輝度値の差分が最も大きくなる画像ｄと画像ｈとがパノラマ画像の両端にセットされる。しかしながら、この場合、図８（ａ）に示すように、注視領域Ｍがパノラマ画像の両端にかかってしまい、ユーザが本来注視したい領域が見にくいパノラマ画像となってしまう。

【0045】

そこで、図７のＳ２５における重み付け処理では、注視領域Ｍがパノラマ画像の両端にかからないように、画像ｄの左エッジと画像ｈの右エッジの評価値の差を小さくする方向に重み付けする。
なお、映像解析処理として特定の被写体を検知する処理を実行する場合には、当該特定の被写体を含む領域を上記注視領域Ｍとし、重み付け処理を行うことができる。また、輝度値が一定値以下では映像解析処理を行いにくい点を加味し、輝度値が一定値以下の領域はパノラマ画像の端に配置されてもよいとして、画像の端部同士の評価値の差が大きくなる方向に重み付けしてもよい。

【0046】

そして、Ｓ２６では、配信部２０４は、Ｓ２５における重み付け処理後の評価値に基づいて、Ｓ３と同様に、表示装置３００の表示設定を行い、複数の画像の並べ方を更新する。
図８（ａ）に示す例では、Ｓ２５における重み付け処理により、画像ｄの左エッジと画像ｈの右エッジの評価値の差を小さくする処理が行われる。重み付け処理を行う前において、画像ｄと画像ｈとの次に評価値の差が大きい境界が、画像ｇと画像ｆとの隣接部分である場合、このＳ２６では、配信部２０４は、画像ｇと画像ｆとをパノラマ画像の両端にセットすべきと判断する。その結果、表示領域と画像とのセットは、図８（ｂ）に示すように更新される。

【0047】

以上説明したように、本実施形態における画像処理装置２００は、撮像モードに応じて、評価値の重み付け処理を行う。例えば、画像内の特定の物体や特定の領域に注視する映像解析処理を用いる撮像モードの場合には、注視領域がパノラマ画像の端に配置されないように評価値に対して重み付けを行う。つまり、隣り合う画像の境界に跨って注視領域が存在する場合、当該境界に対応する画像の端部同士の評価値の差を小さくする方向に重み付け処理を行う。これにより、注視領域がパノラマ画像の中心寄りに配置され、ユーザは注視領域を確認しやすくなる。
このように、パノラマ画像の端に配置されてほしくない画像をパノラマ画像の中心寄りに配置するなど、映像解析処理の内容を加味した適切なパノラマ画像の生成が可能となる。

【0048】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0049】

１０１〜１０３…撮像装置、２００…画像処理装置、２０１〜２０３…評価値算出部、２０４…配信部、３００…表示装置、４００…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】