特許 6784199 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784199

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   B66B 5/00 20060101AFI20201102BHJP

   B66B 3/00 20060101ALI20201102BHJP

   G06T 3/00 20060101ALI20201102BHJP

【ＦＩ】

   B66B5/00 G

   B66B3/00 R

   G06T3/00 710

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2017-45268(P2017-45268)

(22)【出願日】2017年3月9日

(65)【公開番号】特開2018-150086(P2018-150086A)

(43)【公開日】2018年9月27日

【審査請求日】2019年1月28日

(73)【特許権者】

【識別番号】000112705

【氏名又は名称】フジテック株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】石岡 早織

【審査官】 今野 聖一

(56)【参考文献】

【文献】 特開２０１４−００５１１７（ＪＰ，Ａ）

【文献】 特開２０１２−０８７５６９（ＪＰ，Ａ）

【文献】 登録実用新案第３０６６５９４（ＪＰ，Ｕ）

【文献】 特開２０１６−０９８０６３（ＪＰ，Ａ）

【文献】 特開２００５−２８６８２０（ＪＰ，Ａ）

【文献】 国際公開第９７／０５０２５２（ＷＯ，Ａ１）

【文献】 特開２０１９−０１２３０２（ＪＰ，Ａ）

【文献】 特開２０１８−１６４１６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｂ ５／００ − ５／２８

Ｂ６６Ｂ ３／００ − ３／０２

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

３６０度カメラで撮影された、エレベータの昇降路内の３６０度画像を平面画像へ展開して表示する際の、前記３６０度画像の切れ目となる境界を規定する境界情報を取得する境界情報取得部と、
前記境界情報により規定される境界を複数の３６０度画像に対して適用することにより、各３６０度画像を平面画像へ展開する展開部と、
前記３６０度画像の画像データに対する画像認識処理により、前記エレベータの昇降路およびかごの少なくとも一方の構造的特徴に基づいて予め定められた条件を満たす部分を特定し、その部分を前記境界とする境界情報を生成して前記境界情報取得部へ提供する第１境界情報生成部と、を備えることを特徴とする画像処理装置。

【請求項2】

前記境界情報取得部は、平面上に位置する互いに異なる４つの方位に対応する４つの平面画像へ３６０度画像を分割しつつ展開するために必要な境界情報を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１境界情報生成部は、前記条件を満たす部分を前記境界の１つとして特定した後、前記昇降路の寸法および前記かごのサイズの少なくとも一方の比率に基づき、残りの前記境界を特定する、請求項２に記載の画像処理装置。

【請求項4】

前記展開部によって展開された４つの平面画像を横に並べた画面を生成する画面生成部をさらに備えることを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記画面生成部は、前記各３６０度画像に対応する横に並べた前記平面画像の組みを縦に並べた画面を生成することを特徴とする請求項４に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、エレベータの昇降路内を撮影した画像を処理する画像処理装置に関する。

【背景技術】

【0002】

エレベータにおいては、昇降路内の点検や異常検知のために、かごにカメラを設置して昇降路内を撮影することが行われている。その際、通常のカメラを使用した撮影では、昇降路内の四方を別々に撮影する必要が生じ不便であることから、全天球カメラの使用が検討されている。全天球カメラとは、上下左右全方位の３６０度パノラマ撮影を行うカメラであり、全方位カメラとも呼ばれている。

【0003】

全天球カメラにより撮影された画像は、画像処理を施すことにより、複数の領域に分割することができ、分割された領域ごとに画面表示することができる。このように分割を行うことについては、例えば特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−５４４２３号公報（２０１６年４月１４日公開）

【発明の概要】

【発明が解決しようとする課題】

【0005】

エレベータの昇降路内の撮影は、かごの移動方向に沿った複数の位置での静止画撮影、または、かごの移動方向に沿って移動しつつの動画撮影が行われることが多い。この撮影に全天球カメラを用いた場合、各位置において撮影された静止画、または動画の各フレームに対して個別に上述した領域分割を行うことは煩雑な作業となる。

【0006】

一方、特許文献１に開示された技術では、全天球カメラによって撮影した画像を、同カメラ内において特定の画像領域数に分割することとされている。このような全天球カメラを用いると領域分割のための煩雑さは解消されるが、各画像領域の境界がカメラによって特定されてしまっているため、点検や異常検知において重要なポイントが境界に重なってしまい、点検や異常検知に不都合をきたすおそれがある。

【0007】

この問題を回避するためには、撮影時に全天球カメラの撮影方向を適切に調整することが考えられるが、このような調整作業は撮影時の煩雑さを招来することとなる。

【0008】

本発明は、以上の課題に鑑み、上記煩雑さを抑制できる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、３６０度カメラで撮影された３６０度画像を平面画像へ展開して表示する際の、前記３６０度画像の切れ目となる境界を規定する境界情報を取得する境界情報取得部と、前記境界情報により規定される境界を複数の３６０度画像に対して適用することにより、各３６０度画像を平面画像へ展開する展開部と、を備える。

【0010】

上記の構成によれば、取得した境界情報に基づき、複数の３６０度画像それぞれを平面画像へ展開することができる。そのため、複数の３６０度画像それぞれに対して個別に境界を指定することの煩雑さを抑制することができる。また、点検や異常検知における重要ポイントと重ならないように境界を設定すれば、３６０度画像の撮影時に３６０度カメラの撮影方向を調整する必要がなくなり、それゆえ、撮影方向を調整することの煩雑さを抑制することができる。

【0011】

なお、境界情報は、例えば３６０度画像を構成する画像データにおける座標など、画像データのフォーマット上での位置を特定する情報であればよい。

【0012】

また、上記「３６０度画像」には、円筒スクリーンへの投影に対応する「全周画像」、半球スクリーンへの投影に対応する「全天周画像」、全球スクリーンへの投影に対応する「全天球画像」が含まれる。

【0013】

また、上記画像は、静止画像であっても、一連の動画像の１フレームであってもよい。さらに、上記画像処理装置は、上記カメラに内蔵されていてもよいが、上記カメラとは別に、例えばパーソナルコンピュータとして実現されてもよい。

【0014】

また、本発明の一態様に係る画像処理装置において、前記３６０度画像の画像データに対する画像認識処理により、予め定められた条件を満たす部分を特定し、その部分を前記境界とする境界情報を生成して前記境界情報取得部へ提供する第１境界情報生成部をさらに備えてもよい。

【0015】

エレベータの昇降路内を３６０度カメラで撮影した３６０度画像には、例えば昇降路の四隅やかごの四隅など、３６０度画像を平面画像へ展開して表示する際の境界として適し、かつ画像認識処理により特定可能な特徴部分が写っている。

【0016】

上記の構成によれば、境界情報生成部により特徴部分を特定し、該特徴部分を境界とする境界情報を生成することができる。これにより、自動的に適切な境界を設定して平面画像への展開を行うことが可能となる。

【0017】

また、本発明の一態様に係る画像処理装置において、前記３６０度画像を表示装置に表示させる画像表示部と、前記画像表示部により表示された３６０度画像に基づき前記境界の位置をユーザに特定させ、その位置に対応する境界情報を生成して前記境界情報取得部へ提供する第２境界情報生成部と、をさらに備えてもよい。

【0018】

上記の構成によれば、ユーザが、表示された３６０度画像を見ながら境界の位置を特定する必要は生じるが、１つの３６０度画像に対して特定した境界の位置を展開部において他の３６０度画像へも適用することができるため、ユーザに求められる作業が煩雑となることを回避することができる。

【0019】

また、本発明の一態様に係る画像処理装置において、前記境界情報取得部は、平面上に位置する互いに異なる４つの方位に対応する４つの平面画像へ３６０度画像を分割しつつ展開するために必要な境界情報を取得してもよい。

【0020】

エレベータの昇降路は通常、ほぼ直方体形状となっている。そのため、上記の構成のとおり、境界情報取得部が、平面上に位置する互いに異なる４つの方位に対応する４つの平面画像へ３６０度画像を分割しつつ展開するために必要な境界情報を取得し、この境界情報に基づいて３６０度画像を平面画像へ展開することにより、昇降路内の各側壁を正面とした領域への画像の分割を行うことができるようになる。これにより、分割された画像に基づく点検や異常検知が容易となる。

【0021】

また、本発明の一態様に係る画像処理装置において、前記展開部によって展開された４つの平面画像を横に並べた画面を生成する画面生成部をさらに備えてもよい。

【0022】

上記の構成によれば、昇降路内の各側壁を撮影した画像を横に展開した状態で一覧することができるため、分割された画像に基づく点検や異常検知がさらに容易になる。

【0023】

また、本発明の一態様に係る画像処理装置において、前記画面生成部は、前記各３６０度画像に対応する横に並べた前記平面画像の組みを縦に並べた画面を生成してもよい。

【0024】

上記の構成によれば、昇降路内を縦方向に沿って撮影した複数の３６０度画像を対象とすることにより、側壁ごとに、複数の撮影位置を縦に展開した状態で一覧することができるため、分割された画像に基づく点検や異常検知がさらに容易になる。

【発明の効果】

【0025】

本発明の一態様によれば、３６０度画像を平面画像へ展開して表示する際の３６０度画像の切れ目となる境界を複数の３６０度画像それぞれに対して個別に指定することの煩雑さを抑制することができるという効果を奏する。

【0026】

また、点検や異常検知における重要ポイントと重ならないように境界を設定すれば、３６０度画像の撮影時に３６０度カメラの撮影方向を調整する必要がなくなり、それゆえ、撮影方向を調整することの煩雑さを抑制することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態１に係る画像処理システムに含まれる画像処理装置の要部構成の一例を示すブロック図である。

【図2】図１に示すエレベータの構成の一例を示す概略図である。

【図3】図１に示す表示装置が表示する全天球画像の一例を示す図である。

【図4】図１に示す表示装置が表示する平面画像の一例を示す図である。

【図5】図１に示す画像処理装置が実行する画像展開処理の流れの一例を示すフローチャートである。

【図6】本発明の実施形態２に係る画像処理システムに含まれる画像処理装置の要部構成の一例を示すブロック図である。

【図7】図６に示す画像処理装置が実行する画像展開処理の流れの一例を示すフローチャートである。

【図8】本発明の実施形態３に係る画像処理システムに含まれる画像処理装置の要部構成の一例を示すブロック図である。

【図9】（ａ）は、分割画像を生成するための境界を示す図である。（ｂ）は、図８に示す表示装置が表示する分割画像の一例を示す図である。

【図10】図８に示す画像処理装置が実行する画像展開処理の流れの一例を示すフローチャートである。

【図11】エレベータの他の構成例を示す概略図である。

【図12】エレベータのさらなる他の構成例を示す概略図である。

【発明を実施するための形態】

【0028】

〔実施形態１〕
以下、本発明の実施形態について、図１から図５に基づいて詳細に説明する。

【0029】

（エレベータ２０の概要）
まず、本実施形態に係るエレベータ２０の基本構造について、図２を参照して説明する。図２は、エレベータ２０の構成の一例を示す概略図である。なお、エレベータ２０の概略構成は図示の例に限定されない。

【0030】

図示のエレベータ２０は、昇降路２１と機械室２３とを備えたエレベータである。なお、機械室２３の位置は、昇降路２１の上方に限定されない。また、エレベータ２０は、機械室２３を備えない構成であってもよい。

【0031】

図示のように、エレベータ２０のかご２２は、ロープの一端部に連結されている。また、ロープの他端部には釣合おもりが連結されている。該ロープを機械室２３に設置された巻上機が巻き上げることで、かご２２が昇降路２１内を昇降する。

【0032】

機械室２３には、エレベータ２０の各部に対する制御を行う制御盤２４が設置されている。制御盤２４は、エレベータ２０に設けられた各種ボタン（例えば乗場ボタン）などから取得した制御信号に応じて、利用者が指定した階床へのかご２２の移動および該階床での停止、かご２２および乗場に設けられたドアの開閉、乗場に設けられた位置表示機の表示変更などを制御する。

【0033】

また、制御盤２４は、所定の通信網（例えば、インターネットなど）を介して、外部の装置と通信可能に構成されていてもよく、上記通信網を介して、本実施形態に係る画像処理装置１と通信してもよい。

【0034】

（全天球カメラ２）
図示のように、本実施形態に係るかご２２には、全天球カメラ２が設置されている。全天球カメラ２は、かご２２の移動方向に沿った複数の位置での昇降路２１内の静止画撮影、および、かご２２の移動方向に沿って移動しつつの昇降路２１内の動画撮影の少なくとも一方を行い、画像を生成する。また、全天球カメラ２は、上下左右全方位の３６０度パノラマ撮影を行う、いわゆる「３６０度カメラ」である。換言すれば、全天球カメラ２が生成した画像は、全球スクリーンへの投影に対応する、いわゆる「全天球画像」（３６０度画像）である。また、本実施形態に係る全天球カメラ２は、作業員の遠隔操作によって、または、所定の期間ごとに自動的に撮影を行うカメラである。

【0035】

なお、本実施形態では、かご２２に設置するカメラとして、全天球カメラ２を例に挙げて説明するが、これに限定されるものではない。例えば、かご２２に設置するカメラは、円筒スクリーンへの投影に対応する、いわゆる全周画像を生成するカメラであってもよいし、半球スクリーンへの投影に対応する、いわゆる全天周画像を生成するカメラであってもよい。

【0036】

図示の例では、全天球カメラ２は、かご２２の外側上部に設置されている。ただし、全天球カメラ２の設置位置は図示の例に限定されない。全天球カメラ２は、昇降路２１内を撮影できる位置に設置されていればよく、例えば、かご２２の外側下部に設置されてもよい。

【0037】

さらに、全天球カメラ２は、かご２２に常時設置されていなくてもよい。具体的には、全天球カメラ２は、エレベータ２０の点検を行う作業員によって保守点検時に持ち込まれ、かご２２に設置されてもよい。また、全天球カメラ２は、かご２２に設置されていない状態で使用されてもよい。具体的には、かご２２の上に乗った作業員が全天球カメラ２を手に持った状態で昇降路２１内を撮影してもよい。この例の場合、全天球カメラ２は、作業員の遠隔操作によって撮影を行う機能、または、所定の期間ごとに自動的に撮影を行う機能を備えていなくてもよい。

【0038】

（画像処理システム１００の概要）
次に、本実施形態に係る画像処理システム１００の概要について、図１を参照して説明する。図１は、画像処理システム１００に含まれる画像処理装置１の要部構成の一例を示すブロック図である。図示のように、画像処理システム１００は、画像処理装置１、上述した全天球カメラ２、記憶装置３、入力装置４、および表示装置５を含む。画像処理装置１は、入力された画像を処理し出力する、いわゆるコンピュータである。

【0039】

入力装置４は、ユーザの操作を受け付けて、該操作に応じた信号（図示の操作信号）を画像処理装置１へ入力する。入力装置４は、例えばマウスおよびキーボードである。表示装置５は、画像処理装置１が生成した画像（図示の表示データ）を取得し、表示する。表示装置５は、例えば液晶ディスプレイである。また、入力装置４および表示装置５は、画像処理装置１と一体となった構成であってもよい。

【0040】

記憶装置３は、全天球カメラ２が生成した全天球画像を記憶する。記憶装置３は、典型的には、全天球カメラ２に着脱可能なＳＤ（Secure Digital）メモリーカードなどの、画像処理装置１と物理的に接続することが可能な記憶装置であるが、所定の通信網（例えば、インターネットなど）を介して、全天球カメラ２および画像処理装置１と通信可能な記憶装置であってもよい。なお、全天球カメラ２が有線または無線で画像処理装置１と通信可能であり、かつ、全天球カメラ２が生成した全天球画像が画像処理装置１へ直接送信される構成である場合、画像処理システム１００は記憶装置３を含んでいなくてもよい。

【0041】

（画像処理装置１の要部構成）
次に、画像処理装置１の要部構成について、引き続き図１を参照して説明する。画像処理装置１は、図示のように、制御部１０、記憶部１１、および通信部１２を備えている。制御部１０は画像処理装置１の各部を統括して制御する。なお、制御部１０の詳細については後述する。

【0042】

記憶部１１は、画像処理装置１が使用する各種データを記憶する。本実施形態に係る記憶部１１は、全天球カメラ２が生成した全天球画像、および、画像処理装置１が全天球画像を展開して生成した平面画像を記憶する。平面画像とは、平面のスクリーンへの投影に対応する画像である。また、記憶部１１は、全天球画像を表示装置５に表示させるためのアプリケーション（以下、「全天球画像ビューア」と称する。）を記憶する。なお、記憶部１１は、画像処理装置１の内蔵メモリであってもよいし、画像処理装置１に外付けされるハードディスクであってもよい。

【0043】

通信部１２は、外部装置と有線または無線で通信可能に接続し、接続した外部装置からデータを取得する。本実施形態に係る通信部１２は、記憶装置３から全天球画像を取得し、取得した全天球画像を記憶部１１に記憶させる。通信部１２は、入力装置４からの操作信号をトリガとして、記憶装置３から全天球画像を取得してもよい。また、通信部１２は、画像処理装置１と記憶装置３とが通信可能に接続されたときに、自動的に記憶装置３から全天球画像を取得してもよい。

【0044】

制御部１０は、図示のように、入力制御部１０１、境界情報生成部１０２（第２境界情報生成部）、展開部１０３、および表示制御部１０５（画像表示部）を含んでいる。

【0045】

入力制御部１０１は、入力装置４からの操作信号を取得して、該操作信号に応じた指示を制御部１０の各部へ出力する。特に、入力制御部１０１は、全天球画像または平面画像を表示装置５へ表示させる操作を示す操作信号を取得すると、これらの画像を表示装置５へ表示させる指示（図示の画像表示指示）を表示制御部１０５へ出力する。また、入力制御部１０１は、全天球画像を平面画像へ展開して表示する際に、該全天球画像の切れ目となる境界の起点となる位置を指定する操作（以下、「指定操作」と称する。）を示す操作信号を取得すると、該境界を規定する境界情報を生成させる指示（以下、「生成指示」と称する。）を境界情報生成部１０２へ出力する。なお、生成指示には、指定された位置を示す情報（以下、「位置情報」と称する。）、および、指定操作がなされた全天球画像を示す情報（以下、「画像情報」と称する。）が含まれている。位置情報の典型例は、表示装置５の表示領域における座標である。

【0046】

ここで、図３を参照して、指定操作について具体的に説明する。図３は、表示装置５が表示する全天球画像の一例を示す図である。より詳細に説明すると、図３は、一般的な全天球画像ビューアにより、昇降路２１内を撮影した全天球画像５１を表示装置５に表示させた様子の一例を示す図である。同図では、全天球画像ビューアの表示領域には全天球画像５１の一部のみが表示されており、その他の部分は表示されていない。表示されていない部分を表示させるには、通常、ユーザの操作に応じて、表示領域内の全天球画像５１をスライドさせる。該操作の典型例は、全天球画像ビューアの表示領域内にカーソル５２がある状態での、入力装置４であるマウスを用いたドラッグ操作である。

【0047】

指定操作の典型例は、マウスを用いたクリック操作である。具体的には、ユーザは、マウスを用いて全天球画像５１上でカーソル５２を移動させ、全天球画像５１を展開する際の切れ目となる境界の起点としたい位置でクリック操作を行う。なお、指定操作はマウスを用いたクリック操作に限定されるものではない。

【0048】

再び図１に戻り説明する。境界情報生成部１０２は、入力制御部１０１からの生成指示に従い、上述した境界情報を生成し、該境界情報を境界情報取得部１０４へ提供する。本実施形態に係る境界情報生成部１０２は、生成指示に含まれる位置情報が示す、表示装置５の表示領域における座標を、全天球画像５１において対応する座標に変換する。境界情報生成部１０２は、変換後の座標を、境界情報として展開部１０３へ出力する。なお、境界情報は、全天球画像上の位置を特定することができる情報であれば、座標に限定されない。また、境界情報生成部１０２は、境界情報とともに、生成指示に含まれる画像情報を展開部１０３へ出力する。

【0049】

展開部１０３は、全天球画像を平面画像へ展開するものであり、境界情報取得部１０４を含んでいる。境界情報取得部１０４は、境界情報生成部１０２から境界情報および画像情報を取得する。境界情報取得部１０４が境界情報および画像情報を取得すると、展開部１０３は、画像情報で示される全天球画像が静止画像である場合、画像情報で示される全天球画像とともに、該全天球画像とは別の１つ以上の全天球画像を記憶部１１から読み出す。別の全天球画像の典型例は、（１）画像情報で示される全天球画像と同一のフォルダに格納されている全天球画像、（２）ユーザによって選択された全天球画像であるが、この例に限定されるものではない。一方、画像情報で示される全天球画像が動画像の１フレームである場合、展開部１０３は、当該動画像の各フレームを記憶部１１から読み出す。

【0050】

展開部１０３は、記憶部１１から読み出した複数の全天球画像の各々を、境界情報により規定される境界を切れ目として、平面画像へ展開する。このとき、展開部１０３は、一つの境界情報により規定される境界を複数の全天球画像に対して一律に適用することにより、複数の全天球画像の各々を一括して平面画像へ展開する。

【0051】

上記境界は、全天球画像の天頂と天底とを端点とし、位置情報が示す座標を通る、天球面に沿った曲線である。なお、天頂とは、天球の中心から真上に延ばした線が天球面と交わる点である。また、天底とは、天球の中心から真下に延ばした線が天球面と交わる点である。そして、上記曲線を境界として全天球画像を平面画像に展開しただけでは全天球画像由来の歪みが残存するため、展開部１０３はこの歪みを無くすように補正する。これにより、平面画像は、平面のスクリーンへの投影に対応する画像となる。そして、展開部１０３は、生成した複数の平面画像を記憶部１１に記憶させる。なお、全天球画像を平面画像へ展開する技術、および、歪みを補正する技術については、既存の技術を用いることができるため、詳細な説明を省略する。

【0052】

表示制御部１０５は、表示データを生成し、該表示データを表示装置５に表示させる。本実施形態に係る表示制御部１０５は、入力制御部１０１から、全天球画像の表示指示を取得すると、該表示指示で示される全天球画像を記憶部１１から読み出し、全天球画像ビューアを起動して、表示装置５に表示させる。これにより、表示装置５は、図３に示すように、全天球画像５１を表示する。

【0053】

また、表示制御部１０５は、平面画像を記憶部１１から読み出し、表示装置５に表示させる。このとき、表示制御部１０５は、全天球画像ビューアを起動して平面画像を表示させてもよいし、他の画像ビューアを起動して平面画像を表示させてもよい。また、表示制御部１０５は、入力制御部１０１から、平面画像の表示指示を取得したことをトリガとして、平面画像を表示させてもよいし、展開部１０３によって平面画像が生成されたことをトリガとして、平面画像を表示させてもよい。また、表示制御部１０５は、同じ境界情報に基づいて生成された複数の平面画像を表示装置５に同時に表示させてもよい。

【0054】

ここで、図４を参照して、平面画像を表示する様子について具体的に説明する。図４は、一般的な画像ビューアにより、平面画像を表示装置５に表示させた様子の一例を示す図である。同図に示す例は、画像ビューアにて、２つの全天球画像それぞれを同じ境界情報に基づいて展開した平面画像５３ａおよび５３ｂを表示させている例である。また、平面画像５３ａ上の破線内の領域は、図３に示す全天球画像ビューアの表示領域に表示されている全天球画像５１に対応する領域である。なお、以降では、平面画像５３ａおよび５３ｂを区別しない場合、単に「平面画像５３」と記載する。

【0055】

平面画像５３は、上述したように、境界情報により規定される境界を切れ目として全天球画像を展開した画像である。図示のように、表示制御部１０５は、画像ビューアの表示領域に、平面画像５３の全領域を表示させる。これにより、ユーザは、一般的な全天球画像ビューアにて全天球画像を確認する際に通常行っていたスライド操作を行わずとも、全領域を、一目で、かつ視認しやすい状態で確認することができる。

【0056】

全天球画像の各々は、かご２２に設置された全天球カメラ２によって時間をずらして撮影された画像であり、また、複数の平面画像５３の各々は、同じ境界情報に基づいて全天球画像の各々を展開した画像である。よって、各撮影の時点で全天球カメラ２に対する相対方向が同じ部分は、各全天球画像の同じ領域に写ることとなり、それゆえ、各平面画像５３においても同じ領域に写ることとなる。例えば、昇降路２１を構成する側壁は、いずれも、各撮影の時点で全天球カメラ２に対する相対方向が変わらないから、平面画像５３の各々において同じ領域に写る。したがって、表示制御部１０５は、図示の平面画像５３ａおよび５３ｂのように、表示対象である複数の平面画像５３を、縦方向にスクロール可能に並べて表示させることが、視認性向上の観点から好ましい。このように表示させておけば、例えば、昇降路２１の側壁を、複数の平面画像５３にまたがって続けて確認したい場合、画面を縦方向にスクロールするだけで容易に確認することができる。また、ユーザが注目する側壁が表示される画面上の領域は、画面をスクロールしても変わらない。つまりユーザは、昇降路２１の確認したい側壁の状態を、目線を横方向に大きく移動させることなく続けて確認することができる。

【0057】

なお、上述した例では、予め全天球画像を平面画像へ展開しておくものとして説明したが、表示制御部１０５が平面画像の表示指示を受け付けたことをトリガとして、全天球画像を平面画像へ展開するようにしてもよい。

【0058】

（画像展開処理の流れ）
次に、画像処理装置１が実行する画像展開処理の流れについて、図５を参照して説明する。図５は、画像展開処理の流れの一例を示すフローチャートである。図５の（ａ）は、画像展開処理の前半の流れの一例を示し、図５の（ｂ）は、画像展開処理の後半の流れの一例を示す。

【0059】

まず、図５の（ａ）に示すように、通信部１２は、記憶装置３から取得した複数の全天球画像を記憶部１１に記憶させる（Ｓ１）。続いて、入力制御部１０１は、入力装置４から、いずれかの全天球画像を表示させるための操作信号を受け付けると、該全天球画像の表示指示を表示制御部１０５に出力する。表示制御部１０５は、取得した表示指示で示される全天球画像を記憶部１１から読み出し、全天球画像ビューアを起動して、表示装置５に表示させる（Ｓ２）。

【0060】

続いて、図５の（ｂ）に示すように、入力制御部１０１は、全天球画像の切れ目となる境界を指定する指定操作の操作信号を待機する状態となる（Ｓ３）。入力制御部１０１が、入力装置４から指定操作の操作信号を取得すると（Ｓ３でＹＥＳ）、入力制御部１０１は、取得した操作信号に従って、境界情報を生成させる生成指示を境界情報生成部１０２に出力する。

【0061】

続いて、境界情報生成部１０２は、生成指示に含まれる位置情報で示される位置を通る境界を指定する境界情報を生成する（Ｓ４）。そして、境界情報取得部１０４は、境界情報生成部１０２が生成した境界情報、および、生成指示に含まれる画像情報を取得する（Ｓ５）。

【0062】

続いて、展開部１０３は、境界情報とともに取得した画像情報で示される全天球画像を含む、複数の全天球画像を読み出す。そして、展開部１０３は、境界情報により規定される境界を切れ目として、読み出した複数の全天球画像の各々を平面画像へ展開する（Ｓ６）。そして、展開部１０３は、平面画像を記憶部１１に記憶させる（Ｓ７）。

【0063】

最後に、表示制御部１０５は、記憶部１１から平面画像を読み出し、表示装置５に表示させる（Ｓ８）。以上で、画像処理装置１が実行する画像展開処理は終了する。

【0064】

（画像処理装置１が奏する効果）
以上のように、画像処理装置１によれば、１つの全天球画像に対して生成した境界情報により規定される境界を、複数の全天球画像に対して一律に適用することにより、複数の全天球画像のそれぞれを一括して平面画像に展開することができる。また、境界情報の生成のために、ユーザは、１つの全天球画像に対して境界の起点となる位置を指定するだけでよい。これにより、複数の全天球画像のそれぞれに対して、個別に境界を指定することの煩雑さを抑制することができる。

【0065】

また、境界の起点となる位置を点検や異常検知における重要ポイントと重ならないように指定しさえすれば、全天球画像の撮影時に全天球カメラ２の撮影方向を調整する必要がなくなり、それゆえ、撮影時に撮影方向を調整することの煩雑さを抑制することができる。

【0066】

〔実施形態２〕
本発明の他の実施形態について、図６および図７に基づいて詳細に説明する。なお、これ以降の各実施形態では、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材に同じ符号を付記し、その説明を省略する。

【0067】

本実施形態では、画像認識処理（画像パターン認識処理）によって、全天球画像の切れ目となる境界を特定し、境界情報を自動生成する画像処理装置１ａについて説明する。

【0068】

（画像処理装置１ａの要部構成）
まず、画像処理装置１ａの要部構成について、図６を参照して説明する。図６は、本実施形態に係る画像処理システム１００ａに含まれる画像処理装置１ａの要部構成の一例を示すブロック図である。

【0069】

画像処理装置１ａは、図示のように、制御部１０ａ、記憶部１１、通信部１２を備えている。制御部１０ａは、図示のように、入力制御部１０１、境界情報生成部１０２ａ（第１境界情報生成部）、展開部１０３、および表示制御部１０５を含んでいる。

【0070】

上述したように、本実施形態に係る画像処理装置１ａは、境界情報を自動生成する。そのため、本実施形態に係る入力制御部１０１は、指定操作の操作信号を取得する機能、および、生成指示を出力する機能を備えていなくてもよい。

【0071】

境界情報生成部１０２ａは、全天球画像に対する画像認識処理の結果に基づいて、境界情報を生成する。具体的には、境界情報生成部１０２ａは、まず、記憶部１１に記憶された複数の全天球画像を読み出す。なお、複数の全天球画像とは、実施形態１にて展開部１０３が読み出す複数の全天球画像と同様である。また、境界情報生成部１０２ａが全天球画像を読み出すトリガは特に限定されない。例えば、通信部１２が、全天球画像を記憶部１１に記憶したことをトリガとしてもよい。

【0072】

そして、境界情報生成部１０２ａは、読み出した全天球画像のいずれか１つに対して画像認識処理を行い、全天球画像のうち、昇降路２１やかご２２の構造的特徴に基づいて予め定められた条件を満たす部分を特定する。条件の一例としては、（１）昇降路２１内の隣接する側壁の境目、（２）かご２２の四隅、（３）昇降方向に沿った柱、（４）乗場ドアと昇降路２１内の側壁との境目、などが挙げられる。なお、条件は、ユーザが境界に適すると考える部分として、予め指定されるものとする。

【0073】

そして、境界情報生成部１０２ａは、条件を満たす部分を境界とする境界情報を生成する。境界情報生成部１０２ａは、生成した境界情報を境界情報取得部１０４に出力する。また、境界情報生成部１０２ａは、記憶部１１から読み出した全天球画像を展開部１０３へ出力する。

【0074】

（画像展開処理の流れ）
次に、画像処理装置１ａが実行する画像展開処理の流れについて、図７を参照して説明する。図７は、画像展開処理の流れの一例を示すフローチャートである。なお、実施形態１で説明した画像展開処理の各ステップと同じ処理を実行するステップについては、同じステップ番号を付し、その説明を省略する。

【0075】

境界情報生成部１０２ａは、記憶部１１から複数の全天球画像を読み出し、読み出した全天球画像のいずれか１つに対して画像認識処理を行い、条件を満たす部分を特定する（Ｓ１１）。そして、境界情報生成部１０２ａは、条件を満たす部分を境界とする境界情報を生成する（Ｓ１２）。境界情報生成部１０２ａは、生成した境界情報を境界情報取得部１０４に出力する。また、境界情報生成部１０２ａは、記憶部１１から読み出した全天球画像を展開部１０３へ出力する。

【0076】

（画像処理装置１ａが奏する効果）
以上のように、画像処理装置１ａによれば、全天球画像に写る、境界として適した部分を特定し、該特定した部分を境界とする境界情報を自動生成することができる。これにより、画像処理装置１ａは、自動的に適切な境界を設定し、該設定した境界を切れ目として全天球画像を平面画像に展開することができる。よって、ユーザは、境界を設定する操作を行うことなく、全天球画像を展開した平面画像を確認することができる。

【0077】

なお、画像処理装置１ａは、自動生成された境界情報を、ユーザの操作に従って修正する機能を備えていてもよい。具体的には、表示制御部１０５が平面画像を表示装置５に表示させた後、入力制御部１０１が、指定操作の操作信号（実施形態１参照）を取得すると、入力制御部１０１は、境界指定を境界情報生成部１０２ａへ出力する。そして、境界情報生成部１０２ａは、取得した境界指定に基づいて、境界情報を新たに生成し、展開部１０３へ出力する。これにより、展開部１０３は、境界が修正された平面画像を生成することができる。つまりユーザは、表示装置５に表示された平面画像が、適切でないと判断した場合、自身の操作によって、自身が適すると考える平面画像に修正することができる。

【0078】

〔実施形態３〕
本発明のさらなる別の実施形態について、図８から図１０に基づいて詳細に説明する。本実施形態では、１つの全天球画像を１つの平面画像へ展開するのではなく、１つの全天球画像を分割しつつ複数の平面画像へ展開する画像処理装置１ｂについて説明する。全天球画像を分割しつつ展開した平面画像を、以下では「分割画像」と称する。

【0079】

（画像処理装置１ｂの要部構成）
まず、画像処理装置１ｂの要部構成について、図８を参照して説明する。図８は、本実施形態に係る画像処理システム１００ｂに含まれる画像処理装置１ｂの要部構成の一例を示すブロック図である。

【0080】

画像処理装置１ｂは、図示のように制御部１０ｂ、記憶部１１、通信部１２を備えている。制御部１０ｂ、図示のように、入力制御部１０１、境界情報生成部１０２、展開部１０３ｂ、および表示制御部１０５（画面生成部）を含んでいる。

【0081】

画像処理装置１ｂは、全天球画像を、平面上に位置する互いに異なる方位に対応する分割画像へ分割する。一般的な昇降路２１は、直方体形状であり４つの側壁を有するから、本実施形態では、画像処理装置１ｂは、全天球画像を、平面上に位置する互いに異なる４つの方位に対応する４つの分割画像へ分割するものとして説明する。よって、本実施形態では、指定操作は、４つの境界の位置を指定する操作であるものとする。したがって、入力制御部１０１は、指定操作に基づく４つの位置それぞれの位置情報を含む生成指示を境界情報生成部１０２へ出力する。なお、本実施形態では、指定された４つの位置が、それぞれ、昇降路２１の隣接する側壁の境目の位置に対応する例を説明する。より具体的には、指定された４つの位置は、それぞれ、昇降路２１における４つの上記境目の位置に対応する。

【0082】

境界情報生成部１０２は、４つの位置情報の各々に基づいて、４つの境界情報を生成する。なお、各境界情報の生成については、実施形態１で説明した方法と同様であるため、ここでの説明は省略する。

【0083】

展開部１０３ｂは、境界情報取得部１０４が、境界情報生成部１０２から取得した４つの境界情報により規定される境界を切れ目として、記憶部１１から読み出した複数の全天球画像を、４つの分割画像へ分割しつつ展開する。そして、展開部１０３ｂは、４つの分割画像を一つの組みとして記憶部１１に記憶させる。

【0084】

ここで、図９を参照して、画像の分割について具体的に説明する。図９の（ａ）は、分割画像を生成するための境界を示す図である。また、図９の（ｂ）は、表示装置５が表示する分割画像の一例を示す図である。図９の（ａ）に示す平面画像５３ａは、実施形態１で説明した、１つの境界情報に基づいて全天球画像５１を展開した図である。本実施形態の展開部１０３ｂは、さらに３つの境界情報に基づいて、平面画像５３ａを４つに分割する。この３つの境界情報は、例えば、図９の（ａ）に記載の破線で示される境界を規定する情報である。これにより、平面画像５３ａは、図９の（ｂ）に示す分割画像の組み５４ａに含まれる、４つの分割画像となる。上述したように、４つの境界情報はそれぞれ、昇降路２１の隣接する側壁の境目に対応するため、分割画像はそれぞれ、昇降路２１の各側壁を正面とした画像となる。

【0085】

なお、分割処理および展開処理の順序は限定されるものではない。すなわち、展開部１０３ｂは、全天球画像から、図９の（ａ）に示すような平面画像を生成した後に、該平面画像を分割することにより、図９の（ｂ）に示すような分割画像を生成する構成に限定されない。例えば、展開部１０３ｂは、４つの境界情報に基づいて、全天球画像から直接分割画像を生成してもよい。

【0086】

表示制御部１０５は、分割画像の組みを記憶部１１から読み出し、表示装置５に表示させる。なお、表示制御部１０５は、入力制御部１０１から、分割画像の表示指示を取得したことをトリガとして、分割画像を表示させてもよいし、展開部１０３ｂによって分割画像が生成されたことをトリガとして、分割画像を表示させてもよい。また、表示制御部１０５は、同じ境界情報に基づいて生成された複数の分割画像の組みを表示装置５に同時に表示させてもよい。

【0087】

ここで、図９の（ｂ）を参照して、分割画像の組みを表示する様子について具体的に説明する。なお以降、分割画像の組み５４ａおよび５４ｂを区別しない場合、「分割画像の組み５４」と記載する。

【0088】

表示制御部１０５は、図示の分割画像の組み５４のように、分割画像の組み５４に含まれる４つの分割画像を横方向に並べて表示装置５に表示させることが好ましい。これにより、表示制御部１０５は、４つの方位に対応する４つの分割画像を、横方向に並べて表示させることができる。例えば、表示制御部１０５は、４つの側壁それぞれを正面とした４つの分割画像を、横方向に並べて表示させることができる。これにより、ユーザは、各分割画像に写る領域の位置関係を容易に把握することができるとともに、注目する側壁を容易に確認することができる。したがって、昇降路２１の点検や異常検知をさらに容易に実施することができる。

【0089】

また、表示制御部１０５は、図示の分割画像の組み５４ａおよび５４ｂのように、表示対象である複数の分割画像の組み５４を、縦方向にスクロール可能に並べて表示装置５に表示させることが、視認性向上の観点から好ましい。このとき、同じ方位が撮影された分割画像を縦方向にスクロール可能に並べて表示させることが好ましい。例えば、表示制御部１０５は、４つの側壁それぞれを正面とした、横並びの画像の組みを、同じ横並び順で、縦方向にスクロール可能に並べて表示させる。このように表示させておけば、例えば、昇降路２１の側壁を連続して確認したい場合、画面を縦方向にスクロールするだけで容易に確認することができる。また、ユーザが注目する側壁が表示される画面上の領域は、画面をスクロールしても変わらない。つまり、ユーザは、昇降路２１の確認したい側壁の状態を、目線を横方向に大きく移動させることなく続けて確認することができる。

【0090】

なお、上述した例では、予め全天球画像を分割画像へ展開しておくものとして説明したが、表示制御部１０５が分割画像の表示指示を受け付けたことをトリガとして、全天球画像を分割画像へ展開するようにしてもよい。

【0091】

（画像展開処理の流れ）
次に、画像処理装置１ｂが実行する画像展開処理の流れについて、図１０を参照して説明する。図１０は、画像展開処理の流れの一例を示すフローチャートである。図１０の（ａ）は、画像展開処理の前半の流れの一例を示し、図１０の（ｂ）は、画像展開処理の後半の流れの一例を示す。なお、実施形態１で説明した画像展開処理の各ステップと同じ処理を実行するステップについては、同じステップ番号を付し、その説明を省略する。このため、図１０の（ａ）については説明を省略する。

【0092】

図１０の（ｂ）に示すように、入力制御部１０１は、全天球画像の切れ目となる、４ヶ所の境界を指定する指定操作の操作信号を待機する状態となる（Ｓ２１）。入力制御部１０１が、入力装置４から指定操作の操作信号を取得すると（Ｓ２１でＹＥＳ）、入力制御部１０１は、取得した操作信号に従って、境界情報を生成させる生成指示を境界情報生成部１０２に出力する。

【0093】

境界情報生成部１０２は、生成指示に含まれる位置情報で示される位置を通る４つの境界の各々を規定する４つの境界情報を生成する（Ｓ２２）。そして、境界情報取得部１０４は、境界情報生成部１０２が生成した４つの境界情報、および、生成指示に含まれる画像情報を取得する（Ｓ２３）。

【0094】

続いて、展開部１０３ｂは、境界情報とともに取得した画像情報で示される全天球画像を含む、複数の全天球画像を読み出す。そして、展開部１０３ｂは、境界情報により規定される境界を切れ目として、読み出した複数の全天球画像の各々を分割画像へ展開する（Ｓ２４）。そして、展開部１０３ｂは、１つの全天球画像から分割された４つの分割画像を一つの組みとして、記憶部１１に記憶させる（Ｓ２５）。

【0095】

最後に、表示制御部１０５は、記憶部１１から分割画像の組みを読み出し、表示装置５に表示させる（Ｓ２６）。以上で、画像処理装置１ｂが実行する画像展開処理は終了する。

【0096】

（画像処理装置１ｂが奏する効果）
以上のように、画像処理装置１ｂによれば、１つの全天球画像に対して生成した４つの境界情報に基づき、複数の全天球画像のそれぞれを、４つの分割画像に展開することができる。これにより、ユーザは、昇降路２１内の、平面上に位置する互いに異なる４つの方位の状況について、それぞれ別画像として確認することができる。例えば、画像処理装置１ｂが、全天球画像のそれぞれを、昇降路２１の各側壁を正面とした分割画像とすれば、ユーザは、昇降路２１の各側壁の状況をそれぞれ別画像として確認することができるため、視認性が良い。よって、昇降路２１の点検や異常検知をさらに容易に実施することができる。

【0097】

なお、本実施形態では、全天球画像を４つの分割画像へ展開する例を説明したが、分割画像の数はこの例に限定されない。また、本実施形態では、境界の位置をユーザが指定する例を説明したが、実施形態２のように、境界の位置を画像認識処理によって自動的に特定してもよい。また、境界の位置をユーザが指定する構成と、境界の位置を自動的に特定する構成とを組み合わせてもよい。

【0098】

境界の位置を自動的に特定する構成の場合、画像処理装置１ｂは、昇降路２１の寸法やかご２２のサイズなどの比率（典型的には縦横比）を用いて、境界情報を生成してもよい。例えば、上面が四角形状であるかご２２の外側上部の中央付近に全天球カメラ２を設置するとともに、画像処理装置１ｂが、かご２２の上面（以下、単に「上面」と称する。）の縦横比を示す情報を記憶部１１に記憶させている場合を例に挙げて説明する。この場合、全天球カメラ２が撮影した全天球画像にはかご２２の上面のうち中央付近を除く部分がほぼ全て写ることとなる。よって、画像処理装置１ｂは、画像認識処理によって、例えばかご２２の四隅のうちの１ヶ所を特定しさえすれば、記憶部１１に記憶されている縦横比を示す情報に基づいて、全天球画像に写る上面の残りの三隅を特定することができ、全天球画像を分割するためのすべての境界情報を生成することができる。このように、この構成によれば、昇降路２１の寸法やかご２２のサイズなどの比率を用いることにより、分割画像を生成するために必要な境界情報を生成することができる。

【0099】

〔変形例１〕
本発明の各実施形態に係る変形例について、図１１および図１２に基づいて詳細に説明する。図１１は、エレベータ２０の他の構成例を示す概略図である。図１２は、エレベータ２０のさらなる他の構成例を示す概略図である。なお、ここでは、実施形態１の変形例として説明するが、本変形例は実施形態２および３にも適用可能である。

【0100】

上述した実施形態１では、全天球カメラ２が１つの例を説明した。しかしながら、全天球カメラ２の数は１つに限定されない。例えば、図１１に示すように、全天球カメラ２は、かご２２の外側上部に設置される全天球カメラ２ａと、かご２２の外側下部に設置される全天球カメラ２ｂとの２つであってもよい。

【0101】

また例えば、図１２に示すように、全天球カメラ２は、上記全天球カメラ２ａおよび全天球カメラ２ｂに、ピット２５に設置された全天球カメラ２ｃを加えた３つであってもよい。なお、全天球カメラ２は、全天球カメラ２ａおよび全天球カメラ２ｂのいずれか一方と、全天球カメラ２ｃとの２つであってもよい。

【0102】

これら複数の全天球カメラ２を設ける構成においては、全天球カメラ２の各々が、同じタイミングで静止画像の撮影を行う（あるいは、同じタイミングで動画像の撮影を行う）構成とすることが好ましい。

【0103】

また、本変形例に係る記憶部１１は、同時刻に撮影された複数の全天球画像を対応付けて記憶する構成であってもよい。これにより、本変形例に係る展開部１０３は、これら複数の全天球画像から展開した平面画像の各々を対応付けて記憶部１１に記憶することができる。そして、本変形例に係る表示制御部１０５は、対応付けられた平面画像を縦方向に並べて表示装置５に表示させてもよい。これにより、ユーザは、昇降路２１の注目する側壁の異なる位置における同時刻の状況を、一目で確認することができる。

【0104】

〔変形例２〕
本発明の各実施形態に係る他の変形例について、詳細に説明する。なおここでは、実施形態１の変形例として説明するが、本変形例は実施形態２および３にも適用可能である。

【0105】

上述した実施形態１では、境界情報生成部１０２および展開部１０３は、画像処理装置１の制御部１０に含まれる構成として説明した。しかしながら、境界情報生成部１０２および展開部１０３は、全天球カメラ２に含まれる構成であってもよい。つまり、全天球カメラ２は、生成した全天球画像を平面画像に展開し、該平面画像を記憶装置３に記憶させる構成であってもよい。この場合、画像処理システム１００は、画像処理装置１に代えて、入力装置４からの操作信号を受け付けて、記憶部１１に記憶されている平面画像を読み出し、表示装置５に該平面画像を表示させる機能を有する情報処理装置を含む構成であればよい。

【0106】

〔ソフトウェアによる実現例〕
画像処理装置１、１ａ、１ｂの制御ブロック（特に制御部１０、１０ａ、１０ｂ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0107】

後者の場合、画像処理装置１、１ａ、１ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0108】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0109】

１、１ａ、１ｂ 画像処理装置
２ 全天球カメラ（３６０度カメラ）
５ 表示装置
５１ 全天球画像（３６０度画像）
５３、５３ａ、５３ｂ 平面画像
１０２、１０２ｂ 境界情報生成部（第２境界情報生成部）
１０２ａ 境界情報生成部（第１境界情報生成部）
１０３、１０３ｂ 展開部
１０４ 境界情報取得部
１０５ 表示制御部（画像表示部、画面生成部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】