(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-27
(45)【発行日】2023-07-05
(54)【発明の名称】機器検出装置
(51)【国際特許分類】
G06K 7/14 20060101AFI20230628BHJP
G06K 7/10 20060101ALI20230628BHJP
G06K 7/12 20060101ALI20230628BHJP
G06K 17/00 20060101ALI20230628BHJP
G06K 19/06 20060101ALI20230628BHJP
【FI】
G06K7/14 047
G06K7/10 456
G06K7/12
G06K7/14 017
G06K17/00
G06K19/06 037
G06K19/06 131
G06K19/06 140
(21)【出願番号】P 2019123077
(22)【出願日】2019-07-01
【審査請求日】2022-02-07
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(74)【代理人】
【識別番号】100091982
【氏名又は名称】永井 浩之
(74)【代理人】
【識別番号】100091487
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100107582
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100124372
【氏名又は名称】山ノ井 傑
(72)【発明者】
【氏名】堀江 勝大
(72)【発明者】
【氏名】横井 謙太朗
(72)【発明者】
【氏名】丸山 一紀
(72)【発明者】
【氏名】細谷 憲一
【審査官】北村 学
(56)【参考文献】
【文献】特開2004-196439(JP,A)
【文献】特開2005-083984(JP,A)
【文献】特開2006-219244(JP,A)
【文献】特開2007-279155(JP,A)
【文献】特開2017-014014(JP,A)
【文献】特開2018-002331(JP,A)
【文献】特開2019-014593(JP,A)
【文献】特開2019-094191(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
IPC G06K 7/00 - 7/14
G06K 17/00
G06K 19/00 - 19/18
(57)【特許請求の範囲】
【請求項1】
建物内を移動する撮像装置により撮像された撮像画像を取得する撮像部と、
前記撮像画像から、前記建物内の機器の識別用に前記機器または前記機器付近に設けられた図形である機器識別図形と、前記建物内の位置の識別用に前記建物内に設けられた図形である位置識別図形とを検出する検出部と、
前記機器識別図形から得られた第1の識別情報と、前記機器の識別情報として格納部内に格納されている第2の識別情報とを照合して、前記第1の識別情報に対応する前記第2の識別情報を前記格納部から抽出し、かつ、前記位置識別図形から得られた第3の識別情報と、前記建物内の位置の識別情報として前記格納部内に格納されている第4の識別情報とを照合して、前記第3の識別情報に対応する前記第4の識別情報を前記格納部から抽出する抽出部と、
前記第1の識別情報に対応する前記第2の識別情報が抽出された場合に、前記撮像装置から出力された情報、または前記撮像装置と共に移動する装置から出力された情報を利用して、前記建物内における前記機器の位置を示す位置情報を決定する決定部と、
前記機器の識別情報と、前記決定部により決定された前記位置情報とを関連付けて登録する登録部と、
を備え、
前記決定部は、前記第3の識別情報に対応する前記第4の識別情報が前記格納部から抽出された前記位置識別図形を利用して、前記位置情報を決定する、機器検出装置。
【請求項2】
前記決定部は、前記機器の位置を示す前記位置情報を、前記機器の前記機器識別図形と同じ前記撮像画像から検出された前記位置識別図形を利用して決定する、請求項1に記載の機器検出装置。
【請求項3】
前記位置識別図形は、前記建物の床の上に設置されている、請求項1または2に記載の機器検出装置。
【請求項4】
前記位置識別図形は、前記建物の壁面に設置されている、請求項1に記載の機器検出装置。
【請求項5】
前記検出部は、前記撮像画像から、前記建物内の所定の部分を検出し、
前記決定部は、前記撮像画像から検出された前記所定の部分を利用して、前記位置情報を決定する、請求項1に記載の機器検出装置。
【請求項6】
前記決定部は、前記撮像装置と共に移動する装置により計測された前記建物内の所定の箇所までの距離を利用して、前記位置情報を決定する、請求項1に記載の機器検出装置。
【請求項7】
前記撮像装置は、前記撮像装置を移動させる移動体、または、前記撮像装置および前記撮像装置と共に移動する装置を移動させる移動体に取り付けられている、請求項1から6のいずれか1項に記載の機器検出装置。
【請求項8】
前記位置情報は、前記建物内において前記機器が位置する区画に関する情報である、請求項1から7のいずれか1項に記載の機器検出装置。
【請求項9】
前記撮像画像を利用して、前記撮像装置が移動中であるか否かを検出する移動検出部をさらに備え、
前記移動検出部は、前記撮像装置が移動中であるか否かの検出結果を利用して、前記撮像部が前記機器識別図形の検出用に前記撮像装置から前記撮像画像を取得するタイミングを制御する、請求項1から8のいずれか1項に記載の機器検出装置。
【請求項10】
前記決定部により決定された前記位置情報を利用して、前記撮像装置により撮像された複数の前記撮像画像を連結し、複数の前記撮像画像を連結して得られた連結画像を出力する画像連結部をさらに備える、請求項1から9のいずれか1項に記載の機器検出装置。
【請求項11】
前記画像連結部は、前記機器の情報を前記連結画像中の前記機器の位置付近に付加して前記連結画像を出力する、請求項10に記載の機器検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、機器検出装置および機器検出方法に関する。
【背景技術】
【0002】
画像中に存在する2次元コードを検出することで、データベースに登録されている物体を検出する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第4724800号公報
【文献】特開2018-16489号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の技術では、物体に近い距離にカメラを設置する必要があることが問題となる。この場合、広範囲に設置されている物体を検出するためには、多くのカメラを設置する必要がある。
【0005】
よって、本発明の実施形態は、広範囲に設置されている物体を効率的に検出可能な機器検出装置および機器検出方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
一の実施形態によれば、機器検出装置は、建物内を移動する撮像装置により撮像された撮像画像を取得する撮像部を備える。前記機器検出装置はさらに、前記撮像画像から、前記建物内の機器の識別用に前記機器または前記機器付近に設けられた図形である機器識別図形を検出する検出部を備える。前記機器検出装置はさらに、前記機器識別図形から得られた第1の識別情報と、前記機器の識別情報として格納部内に格納されている第2の識別情報とを照合して、前記第1の識別情報に対応する前記第2の識別情報を前記格納部から抽出する抽出部を備える。前記機器検出装置はさらに、前記第1の識別情報に対応する前記第2の識別情報が抽出された場合に、前記撮像装置から出力された情報、または前記撮像装置と共に移動する装置から出力された情報に基づいて、前記建物内における前記機器の位置を示す位置情報を決定する決定部を備える。前記機器検出装置はさらに、前記機器の識別情報と、前記決定部により決定された前記位置情報とを関連付けて登録する登録部を備える。
【図面の簡単な説明】
【0007】
【
図1】第1実施形態の機器検出システムの構成を示すブロック図である。
【
図2】第1実施形態の機器検出装置の構成を示すブロック図である。
【
図3】第1実施形態の機器検出システムの構成を示す図である。
【
図4】第1実施形態の撮像装置から出力された撮像画像の例と、第1実施形態の機器マーカーの例とを示す図である。
【
図5】第1実施形態の撮像装置から出力された撮像画像の例を示す図である。
【
図6】第1実施形態のデータベース内の格納データの例を示す図である。
【
図7】第1実施形態の機器検出方法を説明するためのフローチャートである。
【
図8】第1実施形態の機器検出方法の詳細を説明するためのフローチャートである。
【
図9】第1実施形態の第1変形例の機器検出システムの構成を示す図である。
【
図10】第1実施形態の第1変形例の撮像装置から出力された撮像画像の例を示す図である。
【
図11】第1実施形態の第1変形例の位置座標テーブルの例を示す図である。
【
図12】第1実施形態の第1変形例の機器検出方法を説明するためのフローチャートである。
【
図13】第2実施形態の機器検出装置の構成を示すブロック図である。
【
図14】第2実施形態の機器検出方法を説明するためのフローチャートである。
【
図15】第3実施形態の機器検出装置の構成を示すブロック図である。
【
図16】第3実施形態の連結画像の例を示す図である。
【
図17】第3実施形態の機器検出方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態を、図面を参照して説明する。
図1から
図17において、同一または類似の構成には同一の符号を付し、重複する説明は省略する。
【0009】
(第1実施形態)
図1は、第1実施形態の機器検出システムの構成を示すブロック図である。
【0010】
本実施形態の機器検出システムは、
図1に示すように、機器検出装置1と、機器情報管理装置2と、1台以上の撮像装置3とを備えている。
図1は、1台以上の撮像装置3の例として、3台の撮像装置3a~3cを示している。
図1はさらに、撮像装置3による撮像対象となる機器マーカー4および位置マーカー5と、機器検出装置1および撮像装置3を移動させるクレーン6とを示している。機器マーカー4、位置マーカー5、クレーン6はそれぞれ、機器識別図形、位置識別図形、移動体の例である。機器マーカー4、位置マーカー5、クレーン6の詳細については後述する。
【0011】
本実施形態の機器検出システムは、後述するように、複数の機器が配置された建物内に設けられており、これらの機器を検出するように動作する。建物の例は、工業製品を製造する製造現場に建てられた建屋であり、機器の例は、工業製品の製造用の制御盤である。機器検出装置1は、各撮像装置3により建物内で撮像された撮像画像を取得し、撮像画像中の機器マーカー4に基づいて機器を検出し、撮像画像中の位置マーカー5に基づいて機器の位置を検出する。機器情報管理装置2は、機器検出装置1の動作に必要な情報や、機器検出装置1から出力された情報を管理する。
【0012】
機器検出装置1は例えば、PC(Personal Computer)やサーバ装置などのコンピュータである。機器検出装置1は、キーボード、マウス、ディスプレイ、通信デバイスなどの入出力装置11と、プロセッサやROM(Read Only Memory)などの演算装置12と、HDD(Hard Disc Drive)や半導体メモリなどの記憶装置13と、記憶装置13内のプログラム14とを備えている。機器検出装置1は、有線通信または無線通信により各撮像装置3と通信可能である。
【0013】
機器情報管理装置2は例えば、PCやサーバ装置などのコンピュータである。機器情報管理装置2は、プロセッサやROMなどの演算装置21と、HDDや半導体メモリなどの記憶装置22と、データベース23とを備えている。データベース23は、記憶装置22に含まれていてもよいし、記憶装置22とは別に設けられていてもよい。また、データベース23は、1台の装置により構成されていてもよいし、複数台の装置により構成されていてもよい。データベース23は、格納部の例である。機器情報管理装置2は、有線通信または無線通信により機器検出装置1と通信可能である。本実施形態の機器検出装置1と機器情報管理装置2は、ネットワークを介して互いに接続される。
【0014】
図2は、第1実施形態の機器検出装置1の構成を示すブロック図である。
【0015】
本実施形態の機器検出装置1は、
図2に示すように、撮像部31と、マーカー検出部32と、識別部33と、照合部34と、位置推定部35と、登録部36と、記憶部37とを備えている。これらのブロックは例えば、上述のプログラム14を機器検出装置1内で実行することで実現される。これらのブロックの詳細については後述する。識別部33および照合部34は抽出部の例であり、位置推定部35は決定部の例である。
【0016】
図3は、第1実施形態の機器検出システムの構成を示す図である。
【0017】
図3は、本実施形態の機器検出システムの全体構成を示す斜視図であり、上述した建物の床41と、床41の中央に設けられた通路42と、床41の上に配置された複数の機器43と、機器43を運搬する車両44とを示している。機器43の例は制御盤であり、車両44の例はトラックである。
図3はさらに、床41に平行で互いに垂直なx方向およびy方向と、床41に垂直なz方向とを示している。
【0018】
本実施形態では、ある製品の製造工程が進むと、この製品の製造に用いられる機器43の設置場所を移動する。本実施形態では、各機器43の設置場所の管理を機器検出装置1などにより行う。これにより、機器43の管理に要する手間を軽減することや、機器43の管理が遅れることで製造作業が遅れることを抑制することが可能となる。
【0019】
図3はさらに、機器検出装置1と、機器情報管理装置2と、撮像装置3(撮像装置3a~3c)と、複数の機器マーカー4と、複数の位置マーカー5と、クレーン6とを示している。
【0020】
機器検出装置1と撮像装置3は、建物内を移動することが可能なクレーン6に取り付けられている。
図3は、床41の上方でy方向に移動しようとしているクレーン6を示している。一方、機器情報管理装置2は、建物内に静止した状態で設置されている。撮像装置3は、クレーン6とは別の手段により建物内を移動してもよい。
【0021】
なお、機器情報管理装置2は、
図3に示す建物とは別の建物内に設置されていてもよい。このような構成は例えば、複数の建物内の機器43の情報をこの1台の機器情報管理装置2で管理する場合に採用可能である。この場合、個々の建物内に機器検出装置1を配置し、複数台の機器検出装置1と1台の機器情報管理装置2で機器検出システムを構成することが考えられる。
【0022】
機器マーカー4は、機器43を識別するために用いられる目印であり、個々の機器43に設けられている。本実施形態では、各機器43の上部に、紙に印刷された1つの機器マーカー4が貼られている。建物内のある機器43の上部と別の機器43の上部には、互いに異なる識別子を保持する機器マーカー4が貼られている。機器マーカー4は、このような識別子を保持することが可能であればどのような図形でもよく、例えば1次元バーコードや、2次元バーコードや、QRコードでもよい。また、ここでいう図形は、1つ以上の文字、数字、または記号や、これらの組合せでもよい。本実施形態の機器マーカー4は、複数種類の色のいずれかがm×n分割のセルの各々に配置されたカラーマーカーである。
【0023】
本実施形態の機器マーカー4は、上述のように、管理対象となる機器43の上部に設けられる。ただし、管理対象となる機器43が天井板を備えない場合には、その機器43の付近の机の上にその機器43の機器マーカー4を設けてもよい。機器マーカー4の向きはどのように設定してもよく、例えば、機器マーカー4の長辺をx方向に平行にしてもよいし、機器マーカー4の長辺をy方向に平行にしてもよい。また、機器マーカー4は、撮像装置3の撮像対象となるため、機器マーカー4と撮像装置3との間に撮像を妨げる遮蔽が生じないように配置される。機器マーカー4の表面には、光の反射を抑制する加工を施してもよい。機器マーカー4のさらなる詳細については後述する。
【0024】
位置マーカー5は、建物内の位置を識別するために用いられる目印であり、建物内の複数の場所に設けられている。本実施形態の位置マーカー5は、紙に印刷されて、建物の通路42の上に貼られている。本実施形態では、機器マーカー4の検出結果と位置マーカー5の検出結果とを組み合わせることで、各機器43が建物内のどの位置に設置されているかを判定(推定)することができる。建物内のある場所と別の場所には、互いに異なる識別子を保持する位置マーカー5が貼られている。位置マーカー5は、このような識別子を保持することが可能であればどのような図形でもよく、例えば1次元バーコードや、2次元バーコードや、QRコードや、ARコードでもよい。また、ここでいう図形は、1つ以上の文字、数字、または記号や、これらの組合せでもよい。本実施形態の位置マーカー5は、機器マーカー4と同様に、カラーマーカーである。
【0025】
位置マーカー5の向きは、どのように設定してもよい。また、位置マーカー5は、撮像装置3の撮像対象となるため、位置マーカー5と撮像装置3との間に撮像を妨げる遮蔽が生じないように配置される。位置マーカー5の表面には、光の反射を抑制する加工を施してもよい。位置マーカー5同士は、等間隔に配置されていてもよいし、非等間隔に配置されていてもよい。各位置マーカー5は、撮像装置3a、撮像装置3b、撮像装置3cのいずれに撮像されてもよい。位置マーカー5のさらなる詳細については後述する。
【0026】
撮像装置3は、機器マーカー4や位置マーカー5を撮像可能な角度でクレーン6に取り付けられている。本実施形態の撮像装置3は、床41を向く角度でクレーン6に取り付けられている。撮像装置3a~3cは、互いに重複する領域を撮像していてもよい。撮像装置3は、例えばCCTV(Closed-Circuit Television)カメラであるが、その他の撮像装置でもよい。撮像装置3は、動画を撮像する装置でもよいし、静止画を撮像する装置でもよい。
【0027】
図3は、撮像装置3の例として、3台の撮像装置3a~3cを示している。本実施形態の機器検出システムは、機器マーカー4と位置マーカー5が設置される可能性のある範囲をすべて撮像範囲として網羅するために、複数台の撮像装置3を備えている。機器検出システムの撮像装置3の台数は、撮像装置3の解像度や機器マーカー4と位置マーカー5の設置範囲に応じて、任意の台数に設定してもよい。よって、機器検出システムの撮像装置3の台数は、3台以外でもよい。
【0028】
ここで、本実施形態の撮像装置3a~3cは、建物内をクレーン6により移動することに留意されたい。これらの撮像装置3a~3cは、1箇所に静止したままでは機器マーカー4と位置マーカー5の全設置範囲を撮像することはできない。しかしながら、これらの撮像装置3a~3cが建物内を移動することで、機器マーカー4と位置マーカー5の全設置範囲を撮像することが可能となる。
【0029】
本実施形態の機器検出装置1は、撮像装置3により撮像された撮像画像を取得し、撮像画像から機器マーカー4と位置マーカー5とを検出し、機器マーカー4の検出結果と位置マーカー5の検出結果とを組み合わせることで各機器43の設置位置を判定(推定)する。この判定の前には、機器マーカー4から得られた識別子とデータベース23内の識別子との照合や、位置マーカー5から得られた識別子とデータベース23内の識別子との照合が行われる。機器マーカー4から得られる識別子の例は、機器43の登録番号であり、位置マーカー5から得られる識別子の例は、建物内の区画に関する情報である。上記の判定の結果は、データベース23内に登録され、データベース23内の情報が更新される。このようにして、本実施形態の機器検出システムは、各機器43の位置を自動的に管理することができる。
【0030】
撮像装置3により撮像された撮像画像の例は、後述するように、
図4(a)の撮像画像7a、
図5(a)の撮像画像7b、
図5(b)の撮像画像7c、
図10(a)の撮像画像7d、
図10(b)の撮像画像7eなどである。これらの図は、建物内のx方向に対応するX方向(X座標)や、建物内のy方向に対応するY方向(Y座標)を示している。本実施形態の機器検出システムは、機器マーカー4や位置マーカー5の位置を、X座標やY座標により管理する。以下、これらの撮像画像7a~7eを例とする任意の撮像画像について説明する際には、これを「撮像画像7」と表記することにする。
【0031】
以下、
図3を参照しながら、機器検出装置1の撮像部31、マーカー検出部32、識別部33、照合部34、位置推定部35、登録部36、および記憶部37の詳細を説明する。この説明中で、
図4から
図6も適宜参照する。
【0032】
撮像部31は、撮像装置3により撮像された撮像画像7を取得する。本実施形態の撮像装置3は、クレーン6と共に建物内の複数の箇所に移動し、これらの箇所で撮像した撮像画像7を撮像部31に出力する。撮像部31は、撮像画像7を半導体メモリ内に記憶させてもよいし、HDD内に保存してもよい。
【0033】
マーカー検出部32は、撮像画像7から、機器マーカー4が存在する領域や、位置マーカー5が存在する領域を検出する。本実施形態の機器マーカー4は、m×n個のセルと、これらのセルを取り囲む外枠とで構成されている。各セルは、6種類の色(赤、青、緑、黄、シアン、マゼンタ)のいずれかで塗りつぶされている。外枠は、背景色と分離可能な色で塗りつぶされている。本実施形態の位置マーカー5も、機器マーカー4と同様の構成を有している。マーカー検出部32は例えば、色抽出などの画像処理方法により撮像画像7から機器マーカー4や位置マーカー5を検出する。
【0034】
機器マーカー4は、機器マーカー4を構成するセルの色により、機器43の識別子(機器43の登録番号)を保持している。機器43の識別子は、データベース23にも格納されており、機器マーカー4から得られた識別子と照合するために使用される。機器マーカー4が保持する識別子は、第1の識別情報の例であり、これと照合するためにデータベース23に格納されている識別子は、第2の識別情報の例である。
【0035】
同様に、位置マーカー5は、位置マーカー5を構成するセルの色により、建物内の位置の識別子(建物内の区画に関する情報)を保持している。建物内の位置の識別子は、データベース23にも格納されており、位置マーカー5から得られた識別子と照合するために使用される。位置マーカー4が保持する識別子は、第3の識別情報の例であり、これと照合するためにデータベース23に格納されている識別子は、第4の識別情報の例である。
【0036】
図4は、第1実施形態の撮像装置3から出力された撮像画像7の例と、第1実施形態の機器マーカー4の例とを示す図である。
【0037】
図4(a)は、撮像画像7の一例として、いずれかの撮像装置3から出力された撮像画像7aを示している。撮像画像7aは、床41の上に配置された2台の機器43(機器43a、43b)と、これらの機器43の上部に貼られた2つの機器マーカー4(機器マーカー4a、4b)とを含んでいる。
図4(b)は、機器マーカー4aを示す拡大図である。
【0038】
マーカー検出部32は、撮像画像7aから、抽出対象の色と一致する画像範囲を抽出する。マーカー検出部32は、画像範囲の抽出に使用する色の識別の手法として、RGB色空間を用いてもよいし、HSV色空間を用いてもよい。マーカー検出部32は、撮像画像7aから、抽出対象の色以外の画像範囲を黒色に変換した画像を生成する。本実施形態のマーカー検出部32は、より高精度に機器マーカー4a、4bの画像範囲を特定するために、上記の変換後の画像の2値化やノイズ除去などの画像処理を行う。本実施形態のマーカー検出部32はさらに、画像処理後の画像を用いて上記の画像範囲(矩形領域)の面積を計算し、閾値の範囲内に入る機器マーカー4a、4bを特定する。
【0039】
マーカー検出部32は、撮像画像7aから色情報を抽出することで機器マーカー4を検出する。マーカー検出部32は、記憶部37に記憶された抽出対象の色と一致する色は、機器マーカー4の外枠の色であると認識する。また、矩形領域の面積の範囲を定めるための閾値も、記憶部37に記憶されている。
【0040】
マーカー検出部32は、撮像画像7aからある機器マーカー4の領域を検出した場合、その機器マーカー4の領域情報を識別部33に送出する。領域情報の例は、機器マーカー4の所定の角部のX座標およびY座標や、機器マーカー4のX方向の幅およびY方向の幅である。以上の処理は、位置マーカー5に対しても同様に行われる。なお、
図4(a)の撮像画像7aは2つの機器マーカー4a、4bを含んでいるが、各撮像画像7に含まれる機器マーカー4の個数は2つ以外でもよい。
【0041】
以下、
図3を参照しながら、機器検出装置1の各ブロックの説明を続ける。
【0042】
識別部33は、マーカー検出部32により検出された機器マーカー4の情報を、機器43の登録番号に変換する。このようにして、識別部33は、機器マーカー4が示す登録番号を識別することができる。識別部33はさらに、マーカー検出部32により検出された位置マーカー5の情報を、建物内の区画に関する情報(以下「区画情報」と呼ぶ)に変換する。このようにして、識別部33は、位置マーカー5が示す区画情報を識別することができる。区画情報の例は、建物内の各区画を表す番号または文字列や、建物内の区画間の境界を表す番号または文字列である。
【0043】
識別部33は、マーカー検出部32から機器マーカー4の領域情報を取得する。領域情報の例は、機器マーカー4の角部のX座標およびY座標や、機器マーカー4のX方向の幅およびY方向の幅である。識別部33は、機器マーカー4の領域情報に基づいて、撮像画像7から機器マーカー4の内部領域(機器マーカー4の外枠内の領域)を抽出する。具体的には、識別部33は、機器マーカー4の内部領域の角部のX座標およびY座標や、機器マーカー4の内部領域のX方向の幅およびY方向の幅を算出する。これらの値は、例えばピクセル数で表される。機器マーカー4から外枠を除外する割合は、外枠除外パラメータとして記憶部37に予め記憶しておくものとする。
【0044】
識別部33は、機器マーカー4の内部領域の情報に基づいて、機器マーカー4の情報を機器43の登録番号に変換する。この変換は、記憶部37に記憶されている色変換テーブルを用いて行われる。
【0045】
識別部33は、誤識別の抑制のために、撮像画像7中の輝度分布を均一化する画像処理や、撮像画像7内の色数を減少させる画像処理を行ってもよい。例えば、撮像画像7中の輝度分布の均一化のためのヒストグラム平均化処理やヒストグラム伸長処理を行ってもよい。また、セルへの誤配色を抑制するために、K-means法の処理を行ってもよい。以上の処理は、位置マーカー5に対しても同様に行われる。
【0046】
照合部34は、識別部33により識別された機器マーカー4の登録番号とデータベース23内の登録番号とを照合して、機器マーカー4の登録番号に対応する登録番号をデータベース23から抽出する。具体的には、機器マーカー4の登録番号と同じ登録番号がデータベース23内に存在する場合には、照合部34は、機器マーカー4の登録番号(すなわち、データベース23から抽出された登録番号)を位置推定部35に送出する。一方、機器マーカー4の登録番号と同じ登録番号がデータベース23内に存在しない場合には、照合部34は、機器マーカー4の検出が誤りだったものと判断し、この検出結果を処理対象から除外する。データベース23には、個々の機器43の登録番号があらかじめ登録されている。本実施形態では、ある登録番号を有する機器マーカー4を作成した際に、その登録番号をデータベース23に登録してもよい。
【0047】
照合部34はさらに、識別部33により識別された位置マーカー5の区画情報とデータベース23内の区画情報とを照合して、位置マーカー5の区画情報に対応する区画情報をデータベース23から抽出する。具体的には、位置マーカー5の区画情報と同じ区画情報がデータベース23内に存在する場合には、照合部34は、位置マーカー5の区画情報(すなわち、データベース23から抽出された区画情報)を位置推定部35に送出する。一方、位置マーカー5の区画情報と同じ区画情報がデータベース23内に存在しない場合には、照合部34は、位置マーカー5の検出が誤りだったものと判断し、この検出結果を処理対象から除外する。データベース23には、建物内の複数の位置の区画情報があらかじめ登録されている。本実施形態では、ある区画情報を有する位置マーカー5を作成した際に、その区画情報をデータベース23に登録してもよい。
【0048】
上述のように、位置マーカー5は、建物内の位置を識別するために用いられる目印であり、建物内の複数の場所に設けられている。本実施形態の位置マーカー5は、建物内の位置を一意に示す情報として区画情報を保持している。本実施形態では、区画間の境界を示す場所に位置マーカー5が設置され、各撮像画像7に少なくとも1つの位置マーカー5が含まれるように建物内の様々な場所に複数の位置マーカー5が設置されている。また、本実施形態の位置マーカー5は、区画情報を番号の形で保持しており、以下この番号を区画番号と呼ぶ。
【0049】
位置マーカー5は、機器マーカー4と同じ仕様で作成しても異なる仕様で作成してもよいが、本実施形態の位置マーカー5は、機器マーカー4と同じ仕様で作成されたカラーマーカーとなっている。本実施形態の位置マーカー5は、複数のセルと、これらのセルを取り囲む外枠とで構成されており、外枠は、床41の色と分離可能な色で塗りつぶされている。位置マーカー5は、位置マーカー5を構成するセルの色により、建物内の位置を一意に示す区画情報を保持している。
【0050】
位置推定部35は、機器マーカー4の検出結果と位置マーカー5の検出結果とを組み合わせることで、各機器43の設置位置を判定(推定)する。具体的には、1枚の同じ撮像画像7から1つの機器マーカー4と1つの位置マーカー5が検出された場合に、機器マーカー4が示す登録番号に基づいて機器43が特定され、位置マーカー5が示す区画情報に基づいてこの機器43の位置が特定される。本実施形態の位置推定部35は、撮像画像7に含まれる機器マーカー4の左上角部のY座標と位置マーカー5の左上角部のY座標とを取得し、これらのY座標の値を比較し、その比較結果に基づいて、機器マーカー4に対応する機器43の位置を示す位置情報を決定(設定)する。本実施形態の位置情報は、位置マーカー5が示す区画情報に基づいて決定される。
【0051】
図5は、第1実施形態の撮像装置3から出力された撮像画像7の例を示す図である。
【0052】
図5(a)は、撮像画像7の一例として、いずれかの撮像装置3から出力された撮像画像7bを示している。撮像画像7bは、床41の上に配置された1台の機器43(機器43c)と、この機器43の上部に貼られた1つの機器マーカー4(機器マーカー4c)と、床41に設けられた通路42の上に貼られた1つの位置マーカー5(位置マーカー5a)とを含んでいる。
図5(a)はさらに、機器マーカー4cの左上角部のY座標Y1と、位置マーカー5aの左上角部のY座標Y2とを示している。
【0053】
図5(b)は、撮像画像7の一例として、いずれかの撮像装置3から出力された撮像画像7cを示している。撮像画像7cは、床41の上に配置された1台の機器43(機器43d)と、この機器43の上部に貼られた1つの機器マーカー4(機器マーカー4d)と、床41に設けられた通路42の上に貼られた2つの位置マーカー5(位置マーカー5b、5c)とを含んでいる。
図5(b)はさらに、機器マーカー4dの左上角部のY座標Y3と、位置マーカー5bの左上角部のY座標Y4と、位置マーカー5cの左上角部のY座標Y5とを示している。
【0054】
図5(a)の場合、マーカー検出部32、識別部33、および照合部44は次のように動作する。マーカー検出部32は、
図5(a)の撮像画像7bから、位置マーカー5aの左上角部のX座標およびY座標や、位置マーカー5aのX方向の幅およびY方向の幅を算出する。識別部33は、マーカー検出部32により検出された位置マーカー5aの区画番号を算出する。照合部34は、識別部33により算出された位置マーカー5aの区画番号とデータベース23内の区画番号とを照合して、位置マーカー5aの区画番号に対応する区画番号をデータベース23から抽出する。以上は、
図5(b)の場合でも同様である。
【0055】
位置推定部35は、マーカー検出部32により1枚の撮像画像7から検出された位置マーカー5の数に応じて、位置情報を決定する処理を変える。例えば、
図5(a)の撮像画像7bは1つの位置マーカー5aを含んでおり、この位置マーカー5aに基づいて位置情報が決定される。一方、
図5(b)の撮像画像7bは2つの位置マーカー5b、5cを含んでおり、これらの位置マーカー5b、5cに基づいて位置情報が決定される。ただし、位置マーカー5の数をカウントする際には、照合部34によりデータベース23から区画情報が抽出された位置マーカー5のみをカウント対象とし、照合部34によりデータベース23から区画情報が抽出されなかった位置マーカー5はカウント対象から除外する。位置情報の決定は、区画情報が抽出された位置マーカー5を用いて行われる。
【0056】
図5(a)に示すように、マーカー検出部32が検出した位置マーカー5の数が1つ(位置マーカー5a)の場合には、機器マーカー4cの左上角部のY座標Y1と、位置マーカー5aの左上角部のY座標Y2とを比較する。そして、Y1がY2より大きい場合には、区画P1を示す区画情報が、機器マーカー4c(機器43c)の位置を示す位置情報として決定される(Y1>Y2)。一方、Y1がY2より小さいかY2と等しい場合には、区画P2を示す区画情報が、機器マーカー4cの位置を示す位置情報として決定される(Y1≦Y2)。
【0057】
区画P1は、位置マーカー5aの+Y方向側の区画であり、区画P2は、位置マーカー5aの-Y方向側の区画である。
図5(a)ではY1がY2より小さいため、区画P2を示す区画情報が、機器マーカー4cの位置を示す位置情報として決定される。決定された区画情報は、機器マーカー4cの登録番号と共に登録部36に送出される。
【0058】
図5(b)に示すように、マーカー検出部32が検出した位置マーカー5の数が2つ(位置マーカー5b、5c)の場合には、機器マーカー4dの左上角部のY座標Y3と、位置マーカー5bの左上角部のY座標Y4と、位置マーカー5cの左上角部のY座標Y5とを比較する。そして、Y3がY4より大きい場合には、区画P3を示す区画情報が、機器マーカー4d(機器43d)の位置を示す位置情報として決定される(Y3>Y4)。また、Y3がY4より小さいかY4と等しくかつY5より大きい場合には、区画P4を示す区画情報が、機器マーカー4dの位置を示す位置情報として決定される(Y5<Y3≦Y4)。一方、Y3がY5より小さいかY2と等しい場合には、区画P5を示す区画情報が、機器マーカー4dの位置を示す位置情報として決定される(Y3≦Y5)。
【0059】
区画P3は、位置マーカー5bの+Y方向側の区画であり、区画P4は、位置マーカー5bの-Y方向側で位置マーカー5cの+Y方向側の区画であり、区画P5は、位置マーカー5cの-Y方向側の区画である。
図5(b)ではY3がY4より小さくかつY5より大きいため、区画P4を示す区画情報が、機器マーカー4dの位置を示す位置情報として決定される。決定された区画情報は、機器マーカー4dの登録番号と共に登録部36に送出される。
【0060】
マーカー検出部32が検出した位置マーカー5の数が3つ以上の場合には、2つの場合と同様の処理が行われる。
【0061】
以下、
図3を参照しながら、機器検出装置1の各ブロックの説明を続ける。
【0062】
登録部36は、位置推定部35から送出された各機器マーカー4の登録番号および区画情報をデータベース23内に登録する。例えば、ある機器マーカー4の登録番号「N」および区画情報「I」が登録された場合には、登録番号「N」を有する機器43が、区画情報「I」で示す区画に位置することを意味する。この機器マーカー4の登録番号「N」と区画情報「I」は、同じ機器43の情報として、互いに関連付けられてデータベース23内に登録される。登録部36はさらに、位置推定部35から各機器マーカー4の登録番号および区画情報を取得した時刻を、データベース23内に登録してもよい。また、登録部36は、これらの情報をデータベース23以外の場所に登録してもよい。
【0063】
記憶部37は、機器検出装置1の動作に必要な種々の情報を所持しており、例えば、各位置マーカー5の設置位置(座標)を示す位置座標テーブルを所持している。本実施形態の位置座標テーブルは、建物の構造などを考慮に入れてあらかじめ作成され、記憶部37内に記憶しておく。
【0064】
なお、本実施形態で記憶部37から取得される情報は、代わりに記憶部37以外の記憶場所から取得されてもよい。また、本実施形態で記憶部37内に記憶される情報は、代わりに記憶部37以外の記憶場所に記憶されてもよい。このような記憶場所の例は、機器情報管理装置2や、機器検出システム外の記憶装置である。
【0065】
図6は、第1実施形態のデータベース23内の格納データの例を示す図である。
【0066】
図6は、格納データの項目として、機器マーカー4の登録番号(ID)と、機器マーカー4の位置を示す区画情報と、登録番号および区画情報がデータベース23に登録されたタイミング(更新日)と、製造される製品の客先とを示している。
図6は、一例として、4つの機器43のID、区画情報、更新日、および客先を示している。
【0067】
本実施形態では、出荷待ち状態のステータスをデータベース23に登録してもよい。また、ある機器43の区画情報の更新日が所定の日よりも前の場合には、その機器43について進捗遅れのステータスをデータベース23に登録してもよい。さらに、登録部36によりデータベース23に登録される機器マーカー4の登録番号は、識別部33により識別された登録番号でもよいし、照合部34によりデータベース23から抽出された登録番号でもよいし、この機器マーカー4を特定可能であればこれらの登録番号のいずれかを別の番号に変換した番号でもよい。
【0068】
図7は、第1実施形態の機器検出方法を説明するためのフローチャートである。
図7に示す機器検出方法は、本実施形態の機器検出装置1により行われる。
【0069】
まず、撮像部31が、建物内のいずれかの撮像装置3から撮像画像7を取得する(ステップS1)。撮像装置3は、終日連続して撮像を継続してもよいし、一定時間ごとに撮影を開始して一定期間の経過後に撮影を終了してもよい。後者の場合、記憶部37は、撮影開始時間および撮影終了時間のリストを記憶しておく。
【0070】
次に、マーカー検出部32が、撮像画像7から機器マーカー4や位置マーカー5を検出するために、撮像画像7から色情報を抽出する(ステップS2)。撮像画像7から機器マーカー4の領域が検出された場合には(ステップS3 YES)、ステップS4に移行する。撮像画像7から機器マーカー4の領域が検出されなかった場合には(ステップS3 NO)、ステップS1に戻る。
【0071】
次に、識別部33が、マーカー検出部32により検出された色情報を、機器43(機器マーカー4)の登録番号に変換する(ステップS4)。識別部33はさらに、マーカー検出部32により検出された色情報を、位置マーカー5の区画番号に変換する。
【0072】
次に、照合部34が、識別部33により得られた登録番号と、データベース23内に照合用に格納(登録)されている登録番号とを照合する。識別部33により得られた登録番号がデータベース23内に登録されている場合には(ステップS5 YES)、ステップS6に移行する。識別部33により得られた登録番号がデータベース23内に登録されていない場合には(ステップS5 NO)、ステップS1に戻る。照合部34は、識別部33により得られた区画番号についても同様の処理を行う。
【0073】
次に、位置推定部35が、データベース23内に登録されていると判断された登録番号および区画番号に基づいて、機器マーカー4の位置情報を推定する(ステップS6)。具体的には、位置推定部35は、機器マーカー4が位置する区画を、位置マーカー5の区画番号に基づいて判定し、機器マーカー4の位置情報として、機器マーカー4が位置する区画を示す区画情報を決定する。例えば、
図5(a)および
図5(b)に示す方法により区画情報が決定される。
【0074】
次に、登録部36は、位置推定部35により決定された機器マーカー4の区画情報を、この機器マーカー4の登録番号と共に機器情報管理装置2に送信する(ステップS7)。その結果、機器マーカー4の登録番号および区画情報が、データベース23に登録される。
【0075】
図8は、第1実施形態の機器検出方法の詳細を説明するためのフローチャートである。
図8は、本実施形態の機器検出装置1により位置マーカー5について行われる処理を示している。この説明中では、
図5(a)および
図5(b)を参照する。
【0076】
まず、マーカー検出部32が、撮像画像7から機器マーカー4や位置マーカー5を検出する(ステップS11)。次に、識別部33が、機器マーカー4が示す登録番号や、位置マーカー5が示す区画番号を識別する(ステップS12)。次に、これら登録番号および区画番号をデータベース23内の登録番号および区画番号と照合した後、ステップS13に移行する。
【0077】
図5(a)の撮像画像7bが撮像された場合のように、マーカー検出部32が検出した位置マーカー5の数が1つ(位置マーカー5a)の場合には(ステップS13 YES)、位置推定部35は、機器マーカー4cの左上角部のY座標Y1と、位置マーカー5aの左上角部のY座標Y2とを比較する。そして、Y1がY2より大きい場合には(ステップS14 YES)、区画P1を示す区画情報が、機器マーカー4c(機器43c)の位置を示す位置情報として決定され、機器情報管理装置2に送信される(ステップS21)。一方、Y1がY2より小さいかY2と等しい場合には(ステップS14 NO)、区画P2を示す区画情報が、機器マーカー4cの位置を示す位置情報として決定され送信される(ステップS22)。
【0078】
一方、
図5(b)の撮像画像7cが撮像された場合のように、マーカー検出部32が検出した位置マーカー5の数が2つ以上(位置マーカー5b、5c。ここでは2つ)の場合には(ステップS13 NO)、位置推定部35は、機器マーカー4dの左上角部のY座標Y3と、位置マーカー5bの左上角部のY座標Y4と、位置マーカー5cの左上角部のY座標Y5とを比較する。そして、Y3がY4より大きい場合には(ステップS15 YES)、区画P3を示す区画情報が、機器マーカー4d(機器43d)の位置を示す位置情報として決定され、機器情報管理装置2に送信される(ステップS23)。また、Y3がY4より小さいかY4と等しくかつY5より大きい場合には(ステップS15 NO、ステップS16 YES)、区画P4を示す区画情報が、機器マーカー4dの位置を示す位置情報として決定され送信される(ステップS24)。一方、Y3がY5より小さいかY2と等しい場合には(ステップS16 NO)、区画P5を示す区画情報が、機器マーカー4dの位置を示す位置情報として決定され送信される(ステップS25)。
【0079】
このように、本実施形態の機器検出システムは、各機器43に設置された機器マーカー4を検出し、機器マーカー4が建物内のどの位置に存在するかを推定することで、建物全体の機器43の設置位置を自動で検出することができる。本実施形態の機器検出システムはさらに、検出された機器43の設置位置を機器管理システム上に登録することで、機器43の位置を自動で管理することができる。
【0080】
(1)第1変形例
図9は、第1実施形態の第1変形例の機器検出システムの構成を示す図である。
【0081】
図9は、本変形例の機器検出システムの全体構成を示す斜視図であり、
図3に示す構成要素に加え、建物の壁面45を示している。
図3の位置マーカー5は、床41の中央に設置された通路42の上に設けられているが、
図9の位置マーカー5は、床41以外の場所、具体的には壁面45に設けられている。
図9は、y方向に延びる壁面45の高い位置に設けられた複数の位置マーカー5を示している。本変形例の位置マーカー5は、壁面45に塗料などで記載されていてもよいし、位置マーカー5が記載された板やシートが壁面に貼付される形で壁面45に設けられていてもよい。
【0082】
本変形例の撮像装置3は、床41を向く角度でクレーン6に取り付けられた撮像装置3a~3cに加え、壁面45を向く角度でクレーン6に取り付けられた撮像装置3dを含んでいる。撮像装置3a~3dは、クレーン6と共に建物内を移動する。本変形例の機器検出装置1は、撮像装置3a~3cにより撮像された撮像画像7から機器マーカー4を検出し、撮像装置3dにより撮像された撮像画像7から位置マーカー5を検出する。
【0083】
撮像装置3により撮像された撮像画像7の例は、前述したように、
図4(a)の撮像画像7a、
図5(a)の撮像画像7b、
図5(b)の撮像画像7cや、後述するように、
図10(a)の撮像画像7d、
図10(b)の撮像画像7eなどである。これらの図は、建物内のx方向に対応するX方向(X座標)や、建物内のy方向に対応するY方向(Y座標)や、建物内のz方向に対応するZ方向(Z座標)を示している。本変形例の機器検出システムは、機器マーカー4や位置マーカー5の位置を、X座標やY座標やZ座標により管理する。
【0084】
以下、本変形例のさらなる詳細を説明する。なお、
図1に示す機器検出システムの構成や、
図2に示す機器検出装置1の構成は、本変形例にも適用される。
【0085】
図10は、第1実施形態の第1変形例の撮像装置3から出力された撮像画像7の例を示す図である。
【0086】
図10(a)は、撮像画像7の一例として、撮像装置3dにより撮像された撮像画像7dを示している。撮像画像7dは、3つの位置マーカー5(位置マーカー5d~5f)を含んでいる。
図10(a)は、建物内のy方向に対応するY方向(Y座標)と、建物内のz方向に対応するZ方向(Z座標)とを示している。
図10(a)はさらに、位置マーカー5fのY座標Yaと、撮像画像7dのY方向の幅Waとを示している。本変形例の機器検出システムは、機器マーカー4や位置マーカー5の位置を、X座標、Y座標、およびZ座標により管理する。
【0087】
位置マーカー5d、5eはそれぞれ、2桁の数字「4-3」「4-4」により、建物内の区画情報を保持している。例えば、位置マーカー5eは、「4-4」という数字が印刷された板により構成されており、「4-4」という数字が、建物内の1つの区画を示す区画情報となっている。なお、位置マーカー5d、5eは、2桁以外の数字で表された区画情報を保持していてもよいし、数字以外の文字や形状などで表された区画情報を保持していてもよい。ただし、位置マーカー5d、5eは、数字の大きさの順番で区画が配置された順番が分かるような区画情報を保持していることが望ましい。
【0088】
位置マーカー5fは、建物内の区画間の境界を示すために設けられており、例えば三角形が印刷された板により構成されている。なお、この位置マーカー5fは、上述の他の位置マーカー5とは異なり、建物内の位置の識別子を保持していないことに留意されたい。本変形例では、位置マーカー5d、5eと同様に識別子を保持する複数の第1位置マーカー5が壁面45に一列に設けられており、位置マーカー5fと同様に識別子を保持しない複数の第2位置マーカー5が第1位置マーカー5の間に設けられている。本変形例の第2位置マーカー5は、いずれも三角形が印刷された板により構成されているが、これらの三角形は、別の図形に置き換えてもよい(例えば円や直線)。また、第2位置マーカー5は、第1位置マーカー5と同様に識別子を保持していてもよい。
【0089】
図10(b)は、撮像画像7の一例として、撮像装置3aにより撮像された撮像画像7eを示している。撮像画像7eは、撮像画像7dと同時刻に撮像された画像である。撮像画像7eは、床41の上に配置された1台の機器43(機器43e)と、この機器43の上部に貼られた1つの機器マーカー4(機器マーカー4e)とを含んでいる。
図10(b)はさらに、機器マーカー4eの左上角部のY座標Y6と、建物内の区画間の境界線のY座標Y7、Y8とを示している。
【0090】
本変形例では、マーカー検出部32が撮像画像7dから位置マーカー5d~5fを検出すると、識別部33が、位置マーカー5d、5eから位置マーカー5d、5eの区画情報を識別し、照合部34が、位置マーカー5d、5eから識別された区画情報をデータベース23内の区画情報と照合する。そして、位置マーカー5d、5eから識別された区画情報がデータベース23内に存在する場合、位置推定部35は、位置マーカー5fは、位置マーカー5d(4-3という区画情報を保持する第1位置マーカー5)と、位置マーカー5e(4-4という区画情報を保持する第1位置マーカー5)との間に位置する第2位置マーカー5であると判定する。これにより、位置推定部35は、位置マーカー5d、5eの情報に基づいて位置マーカー5fのY座標Yaを特定することができる。
【0091】
なお、位置推定部35は、位置マーカー5d、5eの両方が検出された場合に位置マーカー5fが検出されたと判定する代わりに、位置マーカー5d、5eの一方(例えば位置マーカー5e)が検出された場合に位置マーカー5fが検出されたと判定するようにしてもよい。実際、
図10(a)の撮像画像7d中の位置マーカー5dは、位置マーカー5dの半分しか撮像画像7d中に含まれていないため、マーカー検出部32により検出されないと考えられる。よって、以下の説明においては、位置推定部35は、位置マーカー5eが検出された場合に、位置マーカー5eの-Y方向に位置マーカー5eと隣接する位置マーカー5fが検出されたと判定すると想定する。
【0092】
一方、記憶部37は、各第2位置マーカー5と、区画間の境界線のY座標との対応関係を示す位置座標テーブルを予め保持している。位置座標テーブルは例えば、Y座標Yaを有する位置マーカー5fと、区画間の境界線のY座標Y7、Y8とが対応していることを示している。よって、位置推定部35は、撮像画像7dから位置マーカー5fが検出された場合、撮像画像7dと同時刻に撮像された撮像画像7e中には、Y座標Y7、Y8を有する境界線が存在すると判定する。その結果、本変形例の位置推定部35は、
図5(b)の撮像画像7cに対する処理と同様の処理を実施することが可能となる。
【0093】
具体的には、位置推定部35は、機器マーカー4eの左上角部のY座標Y6と、区画間の境界線のY座標Y7と、区画間の境界線のY座標Y8とを比較する。そして、Y6がY7より大きい場合には、区画P6を示す区画情報が、機器マーカー4e(機器43e)の位置を示す位置情報として決定される(Y6>Y7)。また、Y6がY7より小さいかY7と等しくかつY8より大きい場合には、区画P7を示す区画情報が、機器マーカー4eの位置を示す位置情報として決定される(Y8<Y6≦Y7)。一方、Y6がY8より小さいかY8と等しい場合には、区画P8を示す区画情報が、機器マーカー4eの位置を示す位置情報として決定される(Y6≦Y8)。
【0094】
区画P6は、Y座標Y7を有する境界線の+Y方向側の区画であり、区画P7は、Y座標Y7を有する境界線の-Y方向側でY座標Y8を有する境界線の+Y方向側の区画であり、区画P8は、Y座標Y8を有する境界線の-Y方向側の区画である。
図10(b)ではY6がY7より小さくかつY8より大きいため、区画P7を示す区画情報が、機器マーカー4eの位置を示す位置情報として決定される。決定された区画情報は、機器マーカー4eの登録番号と共に登録部36に送出される。
【0095】
図11は、第1実施形態の第1変形例の位置座標テーブルの例を示す図である。
【0096】
本変形例の記憶部37は、位置マーカー5fなどの第2位置マーカー5と、区画間の境界線のY座標との対応関係を示す位置座標テーブルを予め保持している。位置座標テーブルは例えば、Y座標Yaを有する位置マーカー5fと、区画間の境界線のY座標Y7、Y8とが対応していることを示している。なお、
図11の位置座標テーブルでは、位置マーカー5fのY座標Yaは、境界線のY座標Y7、Y8と異なる単位系で表示されている点に留意されたい。本変形例の位置マーカー5fのY座標Yaは、位置マーカー5fの中心Y座標を示している。
【0097】
図12は、第1実施形態の第1変形例の機器検出方法を説明するためのフローチャートである。
図12は、本変形例の機器検出装置1により位置マーカー5について行われる処理を示している。この説明中では、
図10(a)および
図10(b)を参照する。
【0098】
まず、マーカー検出部32が、
図10(a)の撮像画像7dから位置マーカー5eを検出する(ステップS31)。次に、識別部33が、位置マーカー5eが示す区画情報を識別する(ステップS32)。次に、位置マーカー5eから識別された区画情報をデータベース23内の区画情報と照合した後、ステップS33に移行する。
【0099】
次に、マーカー検出部32が、
図10(b)の撮像画像7dから位置マーカー5fを検出する(ステップS33)。ステップS33の処理は例えば、テンプレートマッチング処理やパターン認識処理などの画像処理により行われる。
【0100】
次に、位置推定部35が、位置マーカー5e、5fに関する情報を受け取ると共に、記憶部37から位置座標テーブルを読み込む(ステップS34)。これにより、位置推定部35は、位置マーカー5fは、位置マーカー5e(4-4という区画情報を保持する第1位置マーカー5)と隣接する第2位置マーカー5である判定することができる。また、位置推定部35は、位置マーカー5eの情報に基づいて位置マーカー5fのY座標Yaを特定することができる。位置推定部35はさらに、撮像画像7dと同時刻に撮像された撮像画像7e中には、Y座標Y7、Y8を有する境界線が存在すると判定することができる。
【0101】
次に、位置推定部35は、撮像画像7e中の機器マーカー4eの左上角部のY座標Y6と、区画間の境界線のY座標Y7と、区画間の境界線のY座標Y8とを比較する。そして、Y6がY7より大きい場合には(ステップS35 YES)、区画P6を示す区画情報が、機器マーカー4e(機器43e)の位置を示す位置情報として決定され、機器情報管理装置2に送信される(ステップS41)。また、Y6がY7より小さいかY7と等しくかつY8より大きい場合には(ステップS35 NO、ステップS36 YES)、区画P7を示す区画情報が、機器マーカー4eの位置を示す位置情報として決定され送信される(ステップS42)。一方、Y6がY8より小さいかY8と等しい場合には(ステップS36 NO)、区画P8を示す区画情報が、機器マーカー4eの位置を示す位置情報として決定され送信される(ステップS43)。
【0102】
このように、本変形例の機器検出システムは、床41ではなく壁面45に設けられた位置マーカー5を備えている。これにより、位置マーカー5が建物内を歩行する人(例えば物品の運搬作業員)により踏まれることを回避することができ、位置マーカー5が人に踏まれて劣化することを防止することができる。
【0103】
(2)第2変形例
第1実施形態の第2変形例については、
図3を参照しながら説明することにする。なお、
図1に示す機器検出システムの構成や、
図2に示す機器検出装置1の構成は、本変形例にも適用される。
【0104】
図3では、各機器マーカー4の位置を推定するために、位置マーカー5が利用される。一方、本変形例では、各機器マーカー4の位置を推定するために、建物内に存在する特徴的な部分が利用される。このような部分の例は、建物内の柱の角や、建物内の床41の色などである。このような部分の検出は例えば、テンプレートマッチング処理やパターン認識処理などの画像処理により行われる。
【0105】
例えば、各機器マーカー4の位置を推定するために柱の角を利用する場合には、マーク検出部32は、撮像画像7から柱の角を検出する。この場合、柱の角のY座標を予め記憶部37内に記憶しておく。そして、位置推定部35は、撮像画像7から機器マーカー4と柱の角とが検出された場合、機器マーカー4の位置情報を柱の角のY座標を用いて決定する。この位置情報は、
図5(a)の撮像画像7bに対する処理と同様の処理を実施することで決定することができる。
【0106】
このように、本変形例の機器検出システムは、位置マーカー5の代わりに建物内の特徴的な部分を利用して、各機器マーカー4の位置を推定する。これにより、位置マーカー5の設置やメンテナンスに要する手間を回避することが可能となる。
【0107】
なお、本変形例では、機器マーカー4の位置を推定するために、建物内に存在する複数の特徴的な部分を利用してもよい。このような部分の例は、建物内の複数本の柱の角である。この場合、柱同士の形状や色の違いを、位置マーカー5同士の区画情報の違いと同様に利用してもよい。これにより、第1の柱は建物内の第1の区画に配置され、第2の柱は建物内の第2の区画に配置されている、といったような判断が可能となる。この場合、柱の識別は識別部33が行い、柱の識別が正しいか否かの判定は照合部34が行う。
【0108】
(3)第3変形例
第1実施形態の第3変形例については、
図3を参照しながら説明することにする。なお、
図1に示す機器検出システムの構成や、
図2に示す機器検出装置1の構成は、本変形例にも適用される。
【0109】
図3では、位置マーカー5を撮像する撮像装置3は可視カメラであり、撮像装置3により撮像された位置マーカー5を用いて機器マーカー4の位置情報を決定する。一方、本変形例では、クレーン6に撮像装置3と共に取り付けられた別の装置を用いて機器マーカー4の位置情報を決定する。このような装置の例は、レーザーセンサやステレオカメラである。
【0110】
レーザーセンサを利用する場合、レーザーセンサは例えば、+y方向または-y方向を向くようにクレーン6に取り付けられる。レーザーセンサは、撮像装置3やクレーン6と共に建物内を±y方向に移動する。レーザーセンサが+y方向を向くようにクレーン6に取り付けられている場合には、レーザーセンサは、クレーン6の+y方向に位置する建物の壁までの距離を計測することで、撮像装置3の位置を推定する。一方、レーザーセンサが-y方向を向くようにクレーン6に取り付けられている場合には、レーザーセンサは、クレーン6の-y方向に位置する建物の壁までの距離を計測することで、撮像装置3の位置を推定する。壁とレーザーセンサとの間の距離は、例えば既知の方法により計測可能である。
【0111】
この場合、撮像画像3から機器マーカー4が検出された場合には、位置推定部35は、この機器マーカー4の位置情報を、この撮像画像3が撮像された際にレーザーセンサにより計測された上記距離に基づいて決定する。具体的には、レーザーセンサにより計測された上記距離に基づいて撮像装置3の位置が推定され、推定された撮像装置3の位置に基づいて機器マーカー4の位置情報が決定される。
【0112】
ステレオカメラを利用する場合、ステレオカメラは例えば、+y方向または-y方向を向くようにクレーン6に取り付けられる。ステレオカメラは、撮像装置3やクレーン6と共に建物内を±y方向に移動する。ステレオカメラが+y方向を向くようにクレーン6に取り付けられている場合には、ステレオカメラは、クレーン6の+y方向に位置する建物の壁までの距離を計測することで、撮像装置3の位置を推定する。一方、ステレオカメラが-y方向を向くようにクレーン6に取り付けられている場合には、ステレオカメラは、クレーン6の-y方向に位置する建物の壁までの距離を計測することで、撮像装置3の位置を推定する。壁とステレオカメラとの間の距離は、例えば三角測量の原理で奥行方向の距離を計算する既知の方法により計測可能である。この場合の機器マーカー4の位置情報は、レーザーセンサの場合と同様に決定可能である。
【0113】
このように、本変形例の機器検出システムは、撮像装置3の代わりにレーザーセンサやステレオカメラを利用して、各機器マーカー4の位置を推定する。これにより、位置マーカー5の設置やメンテナンスに要する手間を回避することが可能となる。なお、本変形例のレーザーセンサやステレオカメラは、撮像装置3と建物内の壁以外の箇所との距離を計測してもよい。
【0114】
以上のように、本実施形態の機器検出装置1は、建物内を移動する撮像装置3から撮像画像7を取得し、撮像画像7から検出された機器マーカー4に基づいて建物内の機器43を特定し、撮像装置3または撮像装置3と共に移動する装置からの情報に基づいて機器43(機器マーカー4)の位置を決定する。例えば、本実施形態の機器検出装置1は、
図3等を参照して説明したように、撮像画像7から検出された位置マーカー5に基づいて、機器43(機器マーカー4)の位置を決定する。
【0115】
よって、本実施形態によれば、機器43に近い距離に撮像装置3を設置しなくても、撮像装置3が機器43に近付くように移動することで、広範囲に設置されている機器43を検出することが可能となる。このように、本実施形態によれば、広範囲に設置されている機器43を効率的に検出することが可能となる。
【0116】
なお、撮像装置3は、本実施形態ではクレーン6により移動されるが、その他の手段により移動されてもよい。例えば、撮像装置3は、建物内を移動するフォークリフトに取り付けられていてもよいし、建物内を移動する作業員のヘルメットに取り付けられていてもよい。これは、後述する第2実施形態や第3実施形態でも同様である。
【0117】
(第2実施形態)
図13は、第2実施形態の機器検出装置1の構成を示すブロック図である。本実施形態の機器検出装置1は、
図2に示す構成要素に加え、移動検出部38を備えている。本実施形態については、
図3を参照しながら説明することにする。なお、
図1に示す機器検出システムの構成は、本実施形態にも適用される。
【0118】
第1実施形態の場合、撮像装置3は、終日連続して撮像を継続してもよいし、一定時間ごとに撮影を開始して一定期間の経過後に撮影を終了してもよい。後者の場合、記憶部37は、撮影開始時間および撮影終了時間のリストを記憶しておく。撮像部31は、このような撮像装置3から撮像画像7を取得する。
【0119】
本実施形態の場合、移動検出部38は、撮像装置3からの撮像画像7に基づいて、撮像装置3が移動中であるか否かを検出する。そして、移動検出部38は、撮像装置3が移動中であるか否かの検出結果に基づいて、撮像部31が機器マーカー4の検出用に撮像装置3から撮像画像7を取得するタイミングを制御する。例えば、撮像装置3が移動中ではないと検出された場合には、移動検出部38は、撮像装置3から撮像画像7を取得しないことを要求する信号を撮像部31に送信する。一方、撮像装置3が移動中であると検出された場合には、移動検出部38は、撮像装置3から撮像画像7を取得することを要求する信号を撮像部31に送信する。撮像部31は、このような信号に応じて、撮像装置3から撮像画像7を取得するか否かを決定する。これにより、本実施形態の機器検出装置1は、撮像装置3が移動中である場合に限り撮像部31に機器マーカー4の検出用の撮像画像7を取得させるような自動制御を行うことができる。
【0120】
本実施形態によれば、移動検出部38が画像処理により撮像装置3の移動を検出することで、機器マーカー4や位置マーカー5の検出処理を開始するタイミングを自動的に設定することが可能となる。本実施形態によれば、このような検出処理を撮像装置3が移動中の場合に限り行うことが可能となるため、検出処理の対象となる撮像画像7の枚数を削減することや、撮像画像7の保存量を削減することが可能となる。
【0121】
図14は、第2実施形態の機器検出方法を説明するためのフローチャートである。
図14のフローチャートは、
図7に示すステップS1からS7の前に、ステップS8を含んでいる。
【0122】
ステップS8では、移動検出部38が、撮像装置3から取得した撮像画像7に基づいて撮像装置3が移動したか否かを判断する。具体的には、移動検出部38は、複数枚の撮像画像7の時系列の変化量を算出する。時系列の変化量は例えば、背景差分処理やフレーム間差分処理により各撮像画像7をその前フレームまたは後フレームの撮像画像7と比較して差分画像を取得することで算出可能である。また、時系列の変化量は例えば、オプティカルフロー処理により各画素の移動を算出することで算出してもよい。あるいは、移動検出部38は、撮像装置3の移動開始前の撮像画像7をテンプレート画像とするテンプレートマッチング処理により、撮像画像とテンプレート画像とを比較することで、撮像装置3が移動したか否かを判断してもよい。
【0123】
撮像装置3が移動していないと判断された場合には(ステップS8 NO)、ステップS8の処理を後に再び行う。一方、撮像装置3が移動したと判断された場合には(ステップS8 YES)、ステップS1に移行する。ステップS1では、撮像部31が機器マーカー4の検出用の撮像画像7を撮像装置3から取得する。
【0124】
以上のように、本実施形態の機器検出装置1は、撮像装置3の移動を検出する移動検出部38を備えている。よって、本実施形態によれば、機器マーカー4等の検出処理の対象となる撮像画像7の枚数を削減することや、撮像画像7の保存量を削減することが可能となる。
【0125】
(第3実施形態)
図15は、第3実施形態の機器検出装置1の構成を示すブロック図である。本実施形態の機器検出装置1は、
図2に示す構成要素に加え、画像連結部39を備えている。本実施形態については、
図3や
図16を参照しながら説明することにする。
図16は、第3実施形態の連結画像の例を示す図である。なお、
図1に示す機器検出システムの構成は、本実施形態にも適用される。
【0126】
画像連結部39は、1台以上の撮像装置3により撮像された複数枚の撮像画像7を連結し、これらの撮像画像7を連結して得られた、機器43の設置場所全体の状態を表す連結画像を出力する。このような連結画像の例は、
図16(a)の連結画像8aや、
図16(b)の連結画像8bである。
図16(a)の連結画像8aは例えば、
図3の撮像装置3a~3cにより撮像された複数枚の撮像画像7を連結することで得られる。
図16(b)の連結画像8bは例えば、
図9の撮像装置3a~3dにより撮像された複数枚の撮像画像7を連結することで得られる。以下、これらの連結画像8a、8bを例とする任意の連結画像について説明する際には、これを「連結画像8」と表記することにする。本実施形態によれば、建物全体を俯瞰する連結画像8を出力することで、各機器43の位置や機器43同士の位置関係をわかりやすく表示することが可能となる。
【0127】
画像連結部39は、撮像部31から複数枚の撮像画像7を受け取り、これらの撮像画像7を、位置推定部35から受け取った情報に基づいて連結する。例えば、画像連結部39は、これらの撮像画像7中に含まれる複数の機器マーカー4の位置情報を受け取り、生成される連結画像8内の機器マーカー4同士の位置関係が、この位置情報が示す機器マーカー4の位置と整合するように、これらの撮像画像7を連結する。連結画像8の生成には、機器マーカー4の位置情報以外の情報を利用してもよい。このような情報の例は、区画間の境界線のY座標や、位置マーカー5の区画情報などである。
【0128】
画像連結部39は、その他の方法で撮像画像7同士を連結してもよい。例えば、画像連結部39は、テンプレートマッチング処理により撮像画像7同士の類似領域を重ね合わせることで、撮像画像同士を連結してもよい。また、画像連結部39は、ORB特徴量などの撮像画像7中の特徴量を算出し、特徴量に基づいて撮像画像7同士の類似領域を重ね合わせることで、撮像画像7同士を連結してもよい。
【0129】
なお、
図16(a)の連結画像8aは、X軸が縦向きでY軸が横向きになる形、すなわち、元々の各撮像画像7の向きを90度回転させた形で表示されているが、このような回転をせずに連結画像8aを表示してもよい。連結画像8aをディスプレイに表示する際に、連結画像8aは回転して表示してもよいし、拡大または縮小して表示してもよい。これは、
図16(b)の連結画像8bについても同様である。
【0130】
ここで、
図16(b)の連結画像8bについて説明する。
【0131】
図16(b)は、連結画像8bに付加された付加情報9を示している。付加情報9は、連結画像8b中のある機器43に関する情報であり、連結画像8b中でこの機器43が配置されている位置付近に付加されている。
図16(b)の付加情報9は、この機器43の登録番号と区画情報とを含んでいる。画像連結部39は、連結画像8b中にこの付加情報9を付加する位置を、この機器43の区画情報に基づいて決定する。連結画像8bは例えば、連結画像8b中に付加情報9が付加された形で出力され、連結画像8b上に付加情報9が重畳表示される形でディスプレイ上に表示される。
【0132】
図16(b)の連結画像8bはさらに、壁面45(
図9を参照)に設けられた複数の位置マーカー5を含んでいる。これらの位置マーカー5は、実際に撮像画像7中に含まれていた位置マーカー5でもよいし、付加情報9と同様に連結画像8bに付加された付加物でもよい。
【0133】
また、付加情報9は、機器43の登録番号や区画情報以外の情報でもよい。例えば、付加情報9は、データベース23に記憶されている機器情報(機器43に関する情報)や、記憶部37に予め記憶させておいた機器情報でもよい。付加情報9を表示する際の表示色は、どのような色でもよい。例えば、付加情報9は、白色などの背景と分離可能な特定の色で表示してもよいし、付加情報9の下に隠れる画像が見えるように若干の透明度を持たせて表示してもよい。
【0134】
図17は、第3実施形態の機器検出方法を説明するためのフローチャートである。
図17のフローチャートでは、
図7のフローチャートのステップS7がステップS9およびS10に置き換えられている。
【0135】
図17のフローチャートでは、ステップS6において位置情報の推定が終わると、画像連結部39が、位置推定部35から受け取った情報に基づいて複数枚の撮像画像3を連結し、連結画像8を作成する(ステップS9)。
【0136】
次に、登録部36は、位置推定部35により決定された機器マーカー4の区画情報を、この機器マーカー4の登録番号や、画像連結部39により作成された連結画像8と共に機器情報管理装置2に送信する(ステップS7)。その結果、機器マーカー4の登録番号および区画情報や、上記の連結画像8が、データベース23に登録される。
【0137】
以上のように、本実施形態の機器検出装置1は、1台以上の撮像装置3により撮像された複数枚の撮像画像7を連結して連結画像8を出力する画像連結部39を備えている。よって、本実施形態によれば、建物内の広範囲を俯瞰する連結画像8を出力することで、各機器43の位置や機器43同士の位置関係をわかりやすく表示することが可能となる。
【0138】
なお、画像連結部39により連結される撮像画像3同士は、同じ撮像装置3により異なる時刻に撮像された撮像画像3でもよいし、異なる撮像装置3により同じ時刻に撮像された撮像画像3でもよいし、異なる撮像装置3により異なる時刻に撮像された撮像画像3でもよい。
【0139】
ここで、
図1の機器検出装置1中のプログラム14について説明する。
【0140】
このプログラム14は、インストール可能な形式または実行可能な形式のファイルで、CD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等の、コンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、このプログラム14を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、このプログラム14を、インターネット等のネットワーク経由で提供または配布するようにしてもよい。第1から第3実施形態では、いずれの方法でプログラム14を機器検出装置1内に提供してもよい。また、このプログラム14は、機器検出装置1内のROMに予め組み込まれていてもよい。
【0141】
以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置および方法は、その他の様々な形態で実施することができる。また、本明細書で説明した装置および方法の形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。
【符号の説明】
【0142】
1:機器検出装置、2:機器情報管理装置、
3、3a、3b、3c、3d:撮像装置、
4、4a、4b、4c、4d、4e:機器マーカー、
5、5a、5b、5c、5d、5e、5f:位置マーカー、
6:クレーン、7、7a、7b、7c、7d、7e:撮像画像、
8、8a、8b:連結画像、9:付加情報、
11:入出力装置、12:演算装置、13:記憶装置、14:プログラム、
21:演算装置、22:記憶装置、23:データベース、
31:撮像部、32:マーカー検出部、33:識別部、
34:照合部、35:位置推定部、36:登録部、
37:記憶部、38:移動検出部、39:画像連結部、
41:床、42:通路、43、43a、43b、43c、43d、43e:機器、
44:車両、45:壁面