特開 2023-139821 画像管理システムおよび画像管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023139821

(43)【公開日】2023-10-04

(54)【発明の名称】画像管理システムおよび画像管理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230927BHJP

   H04N 23/60 20230101ALI20230927BHJP

   G06T 7/38 20170101ALI20230927BHJP

【ＦＩ】

H04N7/18 U

H04N5/232 300

G06T7/38

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022045544

(22)【出願日】2022-03-22

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】笹川 剛

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】相川 徹郎

(72)【発明者】

【氏名】上田 紘司

(72)【発明者】

【氏名】笹川 憲二

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054CF06

5C054CF07

5C054CG05

5C054EA01

5C054EA05

5C054EA07

5C054FD03

5C054FD07

5C054FE12

5C054FE23

5C054FF03

5C054GB01

5C122DA11

5C122DA12

5C122EA47

5C122EA55

5C122FA01

5C122FA02

5C122FA18

5C122FH04

5C122FH06

5C122FH10

5C122FH11

5C122FH14

5C122FK23

5C122FK24

5C122GA24

5C122GA31

5C122GD04

5C122HA01

5C122HA35

5C122HA76

5C122HB05

5L096AA06

5L096CA05

5L096DA02

5L096EA07

5L096FA66

5L096FA69

(57)【要約】

【課題】画角が異なる複数のカメラで同一の被写体を撮影する場合において、それぞれの画像の管理を容易に行うことができる画像管理技術を提供する。
【解決手段】画像管理システム１は、第１カメラ４と第１カメラ４よりも広い画角で撮影可能な第２カメラ５とで撮影されたそれぞれの画像を管理する管理コンピュータ３を備え、管理コンピュータ３は、第１カメラ４で撮影された第１画像１３と第２カメラ５で撮影された第２画像１４とを取得し、第１カメラ４の撮影方向が第２カメラ５の撮影範囲に含まれている場合に、第２画像１４中の座標位置であって第１カメラ４の撮影方向と一致する座標位置に第１画像１３を対応付けて記録し、第２画像１４の任意の座標位置が選択された場合に、選択された座標位置に対応付けて記録されている第１画像１３を表示する、ように構成されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１カメラと前記第１カメラよりも広い画角で撮影可能な第２カメラとで撮影されたそれぞれの画像を管理する管理コンピュータを備え、
前記管理コンピュータは、
前記第１カメラで撮影された第１画像と前記第２カメラで撮影された第２画像とを取得し、
前記第１カメラの撮影方向が前記第２カメラの撮影範囲に含まれている場合に、前記第２画像中の座標位置であって前記第１カメラの前記撮影方向と一致する前記座標位置に前記第１画像を対応付けて記録し、
前記第２画像の任意の前記座標位置が選択された場合に、選択された前記座標位置に対応付けて記録されている前記第１画像を表示する、
ように構成されている、
画像管理システム。

【請求項2】

前記第２カメラは、全方位を撮影可能なものである、
請求項１に記載の画像管理システム。

【請求項3】

前記管理コンピュータは、前記第１画像の取得とともに前記第１カメラの前記撮影方向を示す情報を取得するように構成されている、
請求項１または請求項２に記載の画像管理システム。

【請求項4】

前記第１カメラは、少なくともパンチルト機能を有しており、
前記第１カメラの前記撮影方向を示す情報は、前記撮影方向を制御する制御コンピュータから出力される制御信号と前記撮影方向を検出するセンサから出力される検出信号の少なくとも一方である、
請求項３に記載の画像管理システム。

【請求項5】

前記管理コンピュータは、変換テーブルと変換式の少なくとも一方に基づいて、前記第１カメラの前記撮影方向を示す情報を前記第２画像の前記座標位置に変換するように構成されている、
請求項３または請求項４に記載の画像管理システム。

【請求項6】

前記管理コンピュータは、
前記第２画像のひずみを補正する画像処理を行い、
前記第１画像を取得したときに、前記第１画像と前記ひずみが補正された前記第２画像とを比較し、
前記第２画像における前記第１画像と類似する類似範囲を抽出し、
前記類似範囲を前記第１カメラの前記撮影方向と一致する前記座標位置を含むものとして特定する、
ように構成されている、
請求項１から請求項５のいずれか１項に記載の画像管理システム。

【請求項7】

前記管理コンピュータは、
前記第１カメラと前記第２カメラの少なくとも一方から被写体までの距離を測定する距離測定部から、前記距離を示す情報を取得し、
前記距離に基づいて、前記第２画像中の前記第１カメラの前記撮影方向と一致する前記座標位置を推定する、
ように構成されている、
請求項１から請求項６のいずれか１項に記載の画像管理システム。

【請求項8】

第１カメラと前記第１カメラよりも広い画角で撮影可能な第２カメラとで撮影されたそれぞれの画像を管理する管理コンピュータを用いて行う方法であり、
前記管理コンピュータが、前記第１カメラで撮影された第１画像と前記第２カメラで撮影された第２画像とを取得し、
前記第１カメラの撮影方向が前記第２カメラの撮影範囲に含まれている場合に、前記管理コンピュータが、前記第２画像中の座標位置であって前記第１カメラの前記撮影方向と一致する前記座標位置に前記第１画像を対応付けて記録し、
前記第２画像の任意の前記座標位置が選択された場合に、前記管理コンピュータが、選択された前記座標位置に対応付けて記録されている前記第１画像を表示する、
画像管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像管理技術に関する。

【背景技術】

【0002】

発電所などでは、工事進捗管理または異常検知のため、定期的な巡回点検が実施される。巡回点検では、点検箇所を記録するためにカメラで画像の撮影を行う。撮影のために魚眼レンズを有するカメラを使用する場合は、広範囲の画像を取得可能であり、複数の点検箇所がある場合であっても１枚の画像中に収めることが可能となる。さらに、魚眼レンズを有するカメラを複数配置して、全方位を撮影可能なカメラを使用することも可能となっている。一方、点検箇所の詳細な画像が撮影される場合は、カメラが点検箇所に接近した状態で撮影されたり、カメラのズーム機能の利用により撮影されたりしている。撮影された点検箇所は、記録用紙に記録したり、タブレットＰＣなどにより電子媒体に記録したりすることで管理されている。点検作業者は、撮影された画像を分析し、点検箇所の破損、変形、き裂、変色、内部の液体の漏えいなどの異常の検出を行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－１９２０５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮影された画像から点検箇所の異常の検出を行う場合には、点検箇所をズームしてより詳細な画像とすることが望ましい。しかし、複数の点検箇所が似た形状をしている場合には、撮影された画像に写る点検箇所が、いずれの点検箇所であるかを特定することが困難なことがある。特に、広角レンズまたは魚眼レンズを有するカメラで撮影された広角画像と、ズーム機能を有するカメラで撮影された詳細な画像とを用いて同一の被写体が撮影さされた場合に、それぞれの画像の管理をより容易に行いたいという要望がある。

【0005】

本発明の実施形態は、このような事情を考慮してなされたもので、画角が異なる複数のカメラで同一の被写体を撮影する場合において、それぞれの画像の管理を容易に行うことができる画像管理技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施形態に係る画像管理システムは、第１カメラと前記第１カメラよりも広い画角で撮影可能な第２カメラとで撮影されたそれぞれの画像を管理する管理コンピュータを備え、前記管理コンピュータは、前記第１カメラで撮影された第１画像と前記第２カメラで撮影された第２画像とを取得し、前記第１カメラの撮影方向が前記第２カメラの撮影範囲に含まれている場合に、前記第２画像中の座標位置であって前記第１カメラの前記撮影方向と一致する前記座標位置に前記第１画像を対応付けて記録し、前記第２画像の任意の前記座標位置が選択された場合に、選択された前記座標位置に対応付けて記録されている前記第１画像を表示する、ように構成されている。

【発明の効果】

【0007】

本発明の実施形態により、画角が異なる複数のカメラで同一の被写体を撮影する場合において、それぞれの画像の管理を容易に行うことができる画像管理技術が提供される。

【図面の簡単な説明】

【0008】

【図1】画像管理システムの全体構成を示すブロック図。

【図2】管理コンピュータを示すブロック図。

【図3】巡回点検ロボットを示す側面図。

【図4】全方位画像中の詳細画像の位置関係を示す説明図。

【図5】全方位画像に対応点を設定する態様を示す説明図。

【図6】カメラのパンチルト角と全方位画像の座標との関係を示す説明図。

【図7】画像管理システムの画像の表示態様を示す画面図。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、画像管理システムおよび画像管理方法の実施形態について詳細に説明する。

【0010】

図１の符号１は、本実施形態の画像管理システムである。この画像管理システム１は、例えば、所定の点検現場に設けられた機器または構造物などの被写体を撮影し、撮影された画像に基づいて各種の点検を行うために用いられる。画像管理システム１は、主に、点検現場で画像を撮影し、撮影された多数の画像の管理を行う。点検現場としては、発電プラント、化学プラント、工場などがある。これらのプラントには、点検の対象となる多数の機器または構造物が配置されている。

【0011】

画像管理システム１は、巡回点検ロボット２と管理コンピュータ３とを備える。巡回点検ロボット２は、第１カメラとしてのパンチルトズームカメラ４と、第２カメラとしての全方位カメラ５と、撮影方向検出部６と、距離測定部７と、位置検出部８と、走行装置９と、これらを統括的に制御する制御コンピュータ１０とを備える。なお、制御コンピュータ１０は、管理コンピュータ３に接続されている。

【0012】

制御コンピュータ１０と管理コンピュータ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるものである。さらに、本実施形態の画像管理方法は、各種プログラムをコンピュータに実行させることで実現される。

【0013】

巡回点検ロボット２は、点検現場内を予め設定されたルートに従って走行し、点検現場の撮影を行う。この巡回点検ロボット２で撮影された画像は、管理コンピュータ３に送られる。点検作業者（ユーザ）は、管理コンピュータ３に記憶された画像をチェックすることで、点検現場の機器または構造物の点検を行うことができる。

【0014】

管理コンピュータ３で管理される画像は、静止画を例示する。なお、画像は、動画を含むものでも良いし、静止画と動画の双方が混在していても良い。

【0015】

この巡回点検ロボット２について図３を用いて説明する。なお、図３の紙面左側を巡回点検ロボット２の進行方向である正面側（前方側）として説明する。

【0016】

巡回点検ロボット２は、車輪１１を有する走行装置９により地面を走行可能となっている。巡回点検ロボット２は、例えば、自律制御により走行する。なお、巡回点検ロボット２は、点検作業者の遠隔操作により走行しても良い。

【0017】

巡回点検ロボット２の上部には、第１カメラとしてのパンチルトズームカメラ４が設けられている。このパンチルトズームカメラ４は、水平方向への首振りが可能なパン機能、垂直方向への首振りが可能なチルト機能、ズームイン（望遠）とズームアウト（広角）が可能なズーム機能を有する。このパンチルトズームカメラ４により、点検現場の機器または構造物などの被写体の詳細な画像を撮影することができる。このパンチルトズームカメラ４で撮影された詳細画像１３（図７）が、本実施形態の第１画像となっている。

【0018】

撮影方向検出部６（図１）は、パンチルトズームカメラ４の撮影方向を検出する。撮影方向とは、パンチルトズームカメラ４の向きであり、詳細画像１３の中心位置に相当する。

【0019】

この撮影方向検出部６は、例えば、パンチルトズームカメラ４の可動部位に設けられた複数のセンサなどで構成される。なお、撮影方向検出部６は、パンチルトズームカメラ４を可動させる複数のモータなどで構成されても良い。例えば、モータの回転数（回転角度）によりパンチルトズームカメラ４の向きが特定される。撮影方向検出部６で検出したパンチルトズームカメラ４の撮影方向は、制御コンピュータ１０に入力される。

【0020】

制御コンピュータ１０から管理コンピュータ３に、パンチルトズームカメラ４の撮影方向を示す撮影方向情報１５（図２）が送られる。この撮影方向情報１５は、例えば、撮影方向を検出するセンサ（撮影方向検出部６）から出力される検出信号でも良いし、撮影方向を制御する制御コンピュータ１０から出力される制御信号でも良い。このようにすれば、パンチルトズームカメラ４の撮影方向が変化しても、その撮影方向を管理コンピュータ３が特定することができる。

【0021】

パンチルトズームカメラ４（第１カメラ）の近傍には、第２カメラとしての全方位カメラ５が設けられている。なお、パンチルトズームカメラ４と全方位カメラ５の相対的な位置は、一定の距離をあけて固定されている。また、パンチルトズームカメラ４は、全方位カメラ５よりも若干高い位置に設けられている。このようにすれば、パンチルトズームカメラ４の撮影範囲に、全方位カメラ５が含まれず、かつ邪魔にならずに済む。

【0022】

全方位カメラ５（第２カメラ）は、パンチルトズームカメラ４（第１カメラ）よりも広い画角で撮影可能となっている。例えば、全方位カメラ５の画角は、パンチルトズームカメラ４がズームアウトしたときよりも広い画角となっている。

【0023】

この全方位カメラ５は、広角レンズまたは魚眼レンズを有して全方位を撮影可能なものである。このようにすれば、全方位カメラ５で広い範囲を撮影することができる。そして、パンチルトズームカメラ４で撮影された被写体が存在する箇所を全方位カメラ５で把握することができる。

【0024】

例えば、全方位カメラ５には、それぞれに魚眼レンズが付いたイメージセンサを有する２つの広角カメラ１２が搭載されている。これら広角カメラ１２により全方位カメラ５の周囲の広い範囲を写すことができる。

【0025】

２つの広角カメラ１２は、背中合わせになるように配置され、前後の風景を同時に撮影することができる。つまり、全方位カメラ５を用いて巡回点検ロボット２の上下左右の全方位が写る３６０度パノラマ画像である全方位画像１４（図７）の同時撮影が可能となっている。この全方位カメラ５で撮影された全方位画像１４が、本実施形態の第２画像となっている。なお、第２画像は、全方位画像１４でなくても良く、単に詳細画像１３よりも画角が広い広角画像であれば良い。

【0026】

本実施形態では、全方位カメラ５（第２カメラ）として、２つの広角カメラ１２を例示しているが、１つのカメラを用いても全方位カメラ５を構成しても良い。例えば、凸面鏡などを用いて周囲の風景を１つのカメラに導き、全方位画像１４を撮影しても良い。
について説明する。

【0027】

全方位カメラ５であれば、点検現場でその向きを変化させなくても、１台の全方位カメラ５で全方位の画像を撮影することができる。また、１つのイメージセンサを有するカメラを２台以上使用し、これらのカメラで撮影された画像を合成することにより、全方位画像１４を撮影しても良い。

【0028】

全方位画像１４は、例えば、全天球画像となっている。なお、全方位画像１４は、全天球画像でなくても良く、少なくとも水平方向の３６０度の範囲（左右全方位）を写したものであれば良い。

【0029】

全方位カメラ５の近傍には、距離測定部７が設けられている。この距離測定部７は、全方位カメラ５から被写体までの距離を測定する。なお、パンチルトズームカメラ４（第１カメラ）と全方位カメラ５（第２カメラ）の相対的な位置関係が予め決まっている場合には、全方位カメラ５から被写体までの距離に基づいて、パンチルトズームカメラ４から被写体までの距離を推定することができる。つまり、距離測定部７は、パンチルトズームカメラ４と全方位カメラ５の少なくとも一方から被写体までの距離を測定する。

【0030】

距離測定部７は、パンチルトズームカメラ４のパンチルト機構（パンチルト機能）と連動して方向を変更できるレーザ距離計などで構成される。また、距離測定部７は、パンチルト機構を有する所定のカメラのフォーカス情報に基づいて、被写体までの距離を測定するものでも良い。

【0031】

なお、距離測定部７は、赤外線センサまたはＬｉＤＡＲなどのレーザセンサを用いて、点検現場をレーザスキャンすることで、被写体までの距離を測定しても良い。例えば、距離測定部７は、物体にレーザを投光してその反射光を受光素子により受光することで、物体までの距離を測定することができる。また、距離測定部７は、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、周辺の物体までの距離を測定することができる。

【0032】

さらに、巡回点検ロボット２の上部には、位置検出部８が設けられている。この位置検出部８は、巡回点検ロボット２の現在位置（撮影位置）を検出する。この位置検出部８は、例えば、衛星測位システム、レーダなどを用いて自己位置を検出する。

【0033】

なお、位置検出部８は、情報の送受信に用いる電波信号などにより自己位置を検出しても良い。例えば、位置検出部８は、無線通信を利用して位置情報１６を取得しても良い。また、位置検出部８は、加速度センサなどを利用するＰＤＲにより位置情報１６を取得しても良い。

【0034】

また、位置検出部８は、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いて自己位置を検出しても良い。さらに、位置検出部８は、地面に配置された所定の位置マーカなどにより自己位置を検出しても良い。

【0035】

全方位カメラ５（第２カメラ）は、広範囲の画像が撮影可能であるため、機器または構造物などの点検対象（被写体）の位置を把握し易いが、その反面、点検対象の詳細な画像が撮影できないという欠点もある。一方、パンチルトズームカメラ４（第１カメラ）は、点検対象の方向を向いた場合に、ズーム機能などを用いて点検対象のみを撮影することができる。そのため、高精細な画像が得られるが、その反面、得られる画像が拡大されたものであるため、点検現場（例えば、建物内）における点検対象の存在位置が、把握し難くなり、画像を管理する点検作業者（ユーザ）の負担が生じる。特に、全方位画像１４（第２画像）と詳細画像１３（第１画像）に写る点検対象の位置関係を関連付けて管理し、点検対象の管理をより容易に実現可能とすることが望まれている。本実施形態は、このような課題を解決することができる。

【0036】

図４に示すように、管理コンピュータ３は、パンチルトズームカメラ４（第１カメラ）の撮影方向が全方位カメラ５（第２カメラ）の撮影範囲に含まれている場合に、全方位画像１４（第２画像）中の座標位置であって、パンチルトズームカメラ４の撮影方向と一致する座標位置に、詳細画像１３（第１画像）を対応付けて記録（登録）する。そして、管理コンピュータ３は、全方位画像１４の任意の座標位置が選択された場合に、選択された座標位置に対応付けて記録されている詳細画像１３を表示する。

【0037】

例えば、図７に示すように、点検現場に多数のメータ２８とバルブ２９が存在するものとする。ここで、全方位画像１４は、多数のメータ２８とバルブ２９が写る広い範囲が撮影されたものである。一方、詳細画像１３は、メータ２８とバルブ２９が個々に写る狭い範囲が撮影されたものである。

【0038】

管理コンピュータ３は、全方位画像１４をディスプレイに表示するときに、点検対象となるメータ２８とバルブ２９の近傍に所定のマーク２７を表示させる。点検作業者（ユーザ）は、マウスカーソル３０を用いて任意のマーク２７を選択する。管理コンピュータ３は、選択されたマーク２７に対応する詳細画像１３をディスプレイに表示する。例えば、全方位画像１４では、メータ２８の数値が読み取れない場合でも、点検作業者は、そのメータ２８に対応するマーク２７を選択することで、メータ２８が拡大された詳細画像１３を表示させることができる。このようにして、メータ２８の数値が読み取れるようになる。

【0039】

次に、管理コンピュータ３のシステム構成を図２に示すブロック図を参照して説明する。なお、図２中の矢印は、処理の流れを示す一例であり、矢印以外の処理の流れがあっても良い。また、必ずしも、それぞれの処理の前後関係が固定されるものではなく、一部の処理の前後関係が入れ替わっても良い。また、一部の処理が他の処理と並列に実行されても良い。さらに、管理コンピュータ３には、図２に示す構成以外のものが含まれても良いし、図２に示す一部の構成が省略されても良い。

【0040】

管理コンピュータ３には、詳細画像１３（第１画像）と全方位画像１４（第２画像）とともに、撮影方向情報１５と位置情報１６と距離情報１７とが入力される。

【0041】

撮影方向情報１５は、撮影方向検出部６（図１）が検出したパンチルトズームカメラ４（第１カメラ）の撮影方向を示す情報である。例えば、撮影方向情報１５は、パン角度またはチルト角などのパンチルトズームカメラ４の向きを示す角度情報を含む。

【0042】

なお、撮影方向情報１５は、必ずしも制御コンピュータ１０から管理コンピュータ３に入力されなくても良い。例えば、管理コンピュータ３は、全方位カメラ５で撮影された全方位画像１４に写っているパンチルトズームカメラ４のパンチルト機構の動作に基づいて、パン角またはチルト角を推定しても良い。このようにして撮影方向情報１５が取得されても良い。

【0043】

位置情報１６（図２）は、位置検出部８が検出した巡回点検ロボット２の位置であって、撮影位置を示す情報である。距離情報１７（図２）は、距離測定部７が測定した被写体までの距離であって、パンチルトズームカメラ４と全方位カメラ５の少なくとも一方から被写体までの距離を示す情報である。

【0044】

管理コンピュータ３は、第１画像取得部１８と第２画像取得部１９とひずみ補正部２０と撮影位置推定部２１と表示制御部２２とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0045】

さらに、管理コンピュータ３は、画像データベース２３を備える。この画像データベース２３は、メモリ、ＨＤＤまたはクラウドに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

【0046】

管理コンピュータ３の各構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、１つの管理コンピュータ３が、ネットワークで互いに接続された複数のコンピュータで実現されても良い。例えば、画像データベース２３が、別のコンピュータに搭載されていても良い。

【0047】

特に図示はしないが、管理コンピュータ３は、入力部と出力部とを備える。入力部には、ユーザの操作に応じて所定の情報が入力される。この入力部には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が入力部に入力される。

【0048】

出力部は、所定の情報の出力を行う。管理コンピュータ３には、ディスプレイなどの画像の表示を行う装置が含まれる。なお、ディスプレイはコンピュータ本体と別体であっても良いし、一体であっても良い。追加的または代替的に、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を管理コンピュータ３が行っても良い。

【0049】

第１画像取得部１８は、制御コンピュータ１０（図１）から、パンチルトズームカメラ４（第１カメラ）で撮影された詳細画像１３（第１画像）を取得するとともに、詳細画像１３が撮影されたときのパンチルトズームカメラ４の撮影方向を示す撮影方向情報１５を取得する。このようにすれば、パンチルトズームカメラ４の撮影方向を取得し、これに基づいて、全方位画像１４における対応する座標位置を特定することができる。

【0050】

なお、詳細画像１３などに写る被写体に基づいて、パンチルトズームカメラ４の撮影方向を推定することができる場合には、管理コンピュータ３が制御コンピュータ１０から撮影方向情報１５を取得しなくても良い。例えば、管理コンピュータ３が詳細画像１３に基づいて、撮影方向情報１５を生成しても良い。

【0051】

第２画像取得部１９は、制御コンピュータ１０（図１）から、全方位カメラ５（第２カメラ）で撮影された全方位画像１４（第２画像）を取得する。

【0052】

ひずみ補正部２０は、第２画像取得部１９が取得した全方位画像１４のひずみを補正する画像処理を行う。このひずみ補正部２０は、例えば、魚眼レンズなどでひずんだ像を詳細画像１３と同じようなひずみの無い像に補正する処理を行う。

【0053】

撮影位置推定部２１は、詳細画像１３と全方位画像１４と位置情報１６と距離情報１７とを取得する。

【0054】

この撮影位置推定部２１は、パンチルトズームカメラ４（第１カメラ）で所定の方向が撮影されたときの詳細画像１３（第１画像）が、全方位カメラ５（第２カメラ）で撮影された全方位画像１４（第２画像）中のいずれの座標位置に対応しているかを推定する処理を行う。つまり、撮影位置推定部２１は、パンチルトズームカメラ４の撮影方向（例えば、撮影された画像の中心位置）が全方位カメラ５の撮影範囲に含まれている場合に、全方位画像１４中の座標位置であって、パンチルトズームカメラ４の撮影方向と一致する座標位置に、詳細画像１３を対応付ける処理を行う。

【0055】

例えば、予めパンチルトズームカメラ４を用いて、それぞれの異なるパン角とチルト角で複数回の撮影を行う。そして、これらの撮影により取得された詳細画像１３を、全方位カメラ５で撮影された全方位画像１４中の座標位置に関連付ける。なお、この関連付ける処理は、管理コンピュータ３が自動的に行っても良いし、ユーザによる手動操作で行っても良い。

【0056】

図５を用いて、ユーザによる手動操作で設定を行う態様について説明する。まず、ユーザは、例えば、全方位画像１４の撮影範囲に含まれる一部の範囲２４であって、パンチルトズームカメラ４の撮影方向が含まれていると推定される一部の範囲２４を選択する。ユーザは、パンチルトズームカメラ４で撮影された詳細画像１３の中心位置（撮影方向）を確認しながら、手動操作により全方位画像１４に対応点２５を設定する。これらの対応点２５は、例えば、パンチルトズームカメラ４のパン角とチルト角のそれぞれが１度ずつずれた位置に設定される。さらに、それぞれの対応点２５を繋ぎ、かつ対応点２５の間の座標を補完するグリッド線２６が設定される。これら対応点２５とグリッド線２６に基づいて、座標が変換可能となる。

【0057】

予めこのような処理を行うことで、パンチルトズームカメラ４のパン角とチルト角から、全方位画像１４の座標位置が変換可能となる。また、全方位画像１４の座標位置から、パンチルトズームカメラ４のパン角とチルト角が変換可能となる。これらの変換が可能となる変換テーブルまたは変換式が生成される。

【0058】

例えば、図６に示すように、パンチルトズームカメラ４のパン角を横軸（ｐ軸）、チルト角を縦軸（ｔ軸）にした第１座標（図６の紙面左側の座標）があり、全方位画像１４の横方向を横軸（ｘ軸）、縦方向を縦軸（ｙ軸）にした第２座標（図６の紙面右側の座標）があるとする。

【0059】

ここで、第１座標の任意の正方形の角部に相当する４つの既知の対応点ｄがあるとする。これら既知の対応点ｄに相当する４つの既知の対応点ｂが第２座標にも存在する。それぞれの既知の対応点ｂ，ｄが予め関連付けられる。そして、第１座標において任意の対応点ｄが決まれば、第２座標において１つの対応点ｂが特定される。さらに、第２座標において任意の対応点ｂが決まれば、第１座標において１つの対応点ｄが特定される。このような座標の変換が可能な変換テーブルまたは変換式が予め生成される。

【0060】

撮影位置推定部２１は、変換テーブルと変換式の少なくとも一方に基づいて、パンチルトズームカメラ４の撮影方向を示す撮影方向情報１５を全方位画像１４の座標位置に変換する処理を行う。このようにすれば、パンチルトズームカメラ４の撮影方向を全方位画像１４の座標位置に変換する処理を容易に行える。

【0061】

なお、パンチルトズームカメラ４（第１カメラ）と全方位カメラ５（第２カメラ）のそれぞれから被写体までの距離が、それぞれ異なる場合は、パンチルトズームカメラ４を中心とした空間座標と、全方位カメラ５を中心とした空間座標とが異なる。そのため、変換テーブルまたは変換式は、被写体との距離が異なる条件でも変換可能なように構成される。

【0062】

画像データベース２３は、撮影位置推定部２１において関連付けの処理がなされた詳細画像１３（第１画像）と全方位画像１４（第２画像）を記録（記憶）する。なお、管理コンピュータ３は、画像データベース２３に蓄積された詳細画像１３を解析し、その解析結果に基づいて、点検対象の異常を検出する処理を自動的に行っても良い。

【0063】

表示制御部２２は、ディスプレイに表示された全方位画像１４（第２画像）の任意の座標位置が、ユーザにより選択された場合に、選択された座標位置に対応付けて、画像データベース２３に記録されている詳細画像１３（第１画像）をディスプレイに表示する処理を行う。

【0064】

例えば、表示制御部２２は、撮影位置推定部２１により推定された座標の情報に基づいて、全方位カメラ５で撮影された全方位画像１４中に、座標を選択可能なマーク２７を表示する処理を行う。点検作業者（ユーザ）が、ディスプレイに表示された全方位画像１４中のマーク２７を選択したときに、表示制御部２２は、これに対応する詳細画像１３を表示する制御を行う。

【0065】

なお、パンチルトズームカメラ４（第１カメラ）の中心（装置の物理的な中心）と全方位カメラ５（第２カメラ）の中心が同じ位置にある場合には、パンチルトズームカメラ４のパンチルト角と全方位画像１４の座標位置とは、単純な演算で変換が可能になる。しかし、巡回点検ロボット２に取り付けるときの物理的な制約上、パンチルトズームカメラ４と全方位カメラ５が、一定の距離をあけて固定される。そのため、本実施形態では、パンチルトズームカメラ４のパンチルト角と全方位画像１４の座標位置との関係を予め取得する処理を行うようにしている。

【0066】

また、撮影位置推定部２１は、取得した距離情報１７に基づいて、全方位画像１４中のパンチルトズームカメラ４の撮影方向と一致する座標位置を推定する。このようにすれば、パンチルトズームカメラ４または全方位カメラ５から被写体との距離から、詳細画像１３と全方位画像１４との対応関係を特定する精度を向上させることができる。

【0067】

図７に示すように、撮影位置推定部２１（図２）は、パンチルトズームカメラ４の撮影方向情報１５の入力に基づいて、その撮影位置を推定する。表示制御部２２（図２）は、全方位画像１４中の対応する座標位置にマーク２７を表示する。そして、点検作業者（ユーザ）が、マウスカーソル３０でマーク２７を選択することにより、表示制御部２２が、選択された座標位置に対応する詳細画像１３を、画像データベース２３から抽出し、ディスプレイに表示させる。このようにすれば、パンチルトズームカメラ４により撮影された詳細画像１３と、全方位カメラ５で撮影された全方位画像１４とを、紐づけることが可能となり、点検対象が写る画像の管理を容易に行うことができる。

【0068】

なお、マーク２７以外の座標位置がマウスカーソル３０で選択されたときに、この座標位置に対応する詳細画像１３がディスプレイに表示されても良い。また、全方位画像１４には、マーク２７が表示されなくても良く、任意の座標位置が選択可能であれば良い。また、マウスカーソル３０以外の方法で座標位置が選択されても良い。例えば、ディスプレイがタッチパネルである場合には、ディスプレイをタッチしたときの座標位置が選択される態様でも良い。

【0069】

本実施形態では、ディスプレイに静止画の全方位画像１４が表示されているときに、任意の座標位置が選択されると、静止画の詳細画像１３が表示される。なお、この詳細画像１３は、動画で表示されても良い。また、ディスプレイに表示される全方位画像１４は、動画でも良い。

【0070】

追加的または代替的に、撮影位置推定部２１は、詳細画像１３を取得したときに、詳細画像１３と、ひずみが補正された全方位画像１４とを比較する。次に、撮影位置推定部２１は、ひずみ補正済みの全方位画像１４において、詳細画像１３と類似する類似範囲を抽出する。次に、撮影位置推定部２１は、抽出された類似範囲をパンチルトズームカメラ４の撮影方向と一致する座標位置を含むものとして特定する。このようにすれば、全方位画像１４から詳細画像１３に対応する類似範囲を抽出して、詳細画像１３と全方位画像１４との対応関係を特定する精度を向上させることができる。

【0071】

なお、撮影位置推定部２１は、全方位画像１４における詳細画像１３と類似する類似範囲を抽出するときに、人工知能の学習に基づく解析技術を用いても良い。例えば、撮影位置推定部２１は、機械学習を行う人工知能（ＡＩ：Artificial Intelligence）を備えるものでも良い。

【0072】

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0073】

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一時的な記憶媒体に記憶されて提供するようにしても良い。

【0074】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用回線で相互に接続し、組み合わせて構成することもできる。

【0075】

なお、本実施形態では、パンチルトズームカメラ４（第１カメラ）自体がパン機能を有しているが、その他の態様であっても良い。例えば、パンチルトズームカメラ４のパン機能が、巡回点検ロボット２の旋回により実現されても良い。つまり、巡回点検ロボット２の機能がパンチルトズームカメラ４の機能として含まれても良い。さらに、撮影方向検出部６は、巡回点検ロボット２が向いている方向（旋回方向）を検出するものでも良い。

【0076】

なお、本実施形態では、パンチルトズームカメラ４（第１カメラ）と全方位カメラ５（第２カメラ）が、巡回点検ロボット２に搭載されているが、その他の態様であっても良い。例えば、点検作業者が、パンチルトズームカメラ４と全方位カメラ５を持運びしても良く、点検現場において、三脚などの固定器具を用いて、パンチルトズームカメラ４と全方位カメラ５を固定的に配置して撮影が行われても良い。

【0077】

以上説明した実施形態によれば、第１カメラの撮影方向が第２カメラの撮影範囲に含まれている場合に、第２画像中の座標位置であって第１カメラの撮影方向と一致する座標位置に第１画像を対応付けて記録することにより、画角が異なる複数のカメラで同一の被写体を撮影する場合において、それぞれの画像の管理を容易に行うことができる。

【0078】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態またはその変形は、発明の範囲と要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0079】

１…画像管理システム、２…巡回点検ロボット、３…管理コンピュータ、４…パンチルトズームカメラ、５…全方位カメラ、６…撮影方向検出部、７…距離測定部、８…位置検出部、９…走行装置、１０…制御コンピュータ、１１…車輪、１２…広角カメラ、１３…詳細画像、１４…全方位画像、１５…撮影方向情報、１６…位置情報、１７…距離情報、１８…第１画像取得部、１９…第２画像取得部、２０…ひずみ補正部、２１…撮影位置推定部、２２…表示制御部、２３…画像データベース、２４…一部の範囲、２５…対応点、２６…グリッド線、２７…マーク、２８…メータ、２９…バルブ、３０…マウスカーソル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】