(58)【調査した分野】(Int.Cl.,DB名)
撮影装置で撮影した写真が、撮影日時、前記撮影装置の撮影位置および前記撮影装置の注視点の各情報と共に記憶された撮影結果を撮影対象ごとに振り分ける撮影結果振り分け部と、
各撮影対象の撮影結果の過去の撮影結果からの変化量を算出する変化量算出部と、
撮影結果と過去の撮影結果からの変化量を対応付けて記憶する記憶部と、
前記変化量算出部が算出した変化量を閾値と比較し、各撮影対象の撮影結果の過去の撮影結果からの変化の有無を判定する変化有無判定部と、
前記撮影装置の各撮影タイミングにおける前回からの変化の有無を変化予測情報として算出する変化予測算出部と、
各撮影対象の前記変化予測情報と前記変化量算出部が算出した撮影結果の変化量に基づいて写真の選別を行う選別部と、
を備えることを特徴とする写真管理装置。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本発明は実施形態に限定されるものではない。本明細書および図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付することとし、重複する説明は省略する。なお、説明は以下の順序で行うものとする。
1.写真管理システムの構成
2.写真撮影装置の構成
3.写真管理装置の構成
4.写真管理システムの動作例
4−1.自律移動体の動作
4−2.撮影結果選別装置の動作
4−3.効果の例
【0011】
<1.写真管理システムの構成>
図1は、本発明の実施形態に係る写真管理システムの構成の一例を示すブロック図の例である。
図1に示すように、本実施形態に係る写真管理システム1は、写真撮影装置10と写真管理装置20とから構成されており、時間による状態の変化が予測可能な場所、例えば工事現場での写真撮影および写真管理に用いられる。但し、工事現場への適用は一例であり、この適用例に限られるものではなく、時間による状態の変化が予測可能な場所全般に対して適用可能である。
【0012】
工事現場においては、短い時間で撮影対象の様子(状況)が変化するため過去の状態に戻すことが難しいこと、写真が公的記録となることから、撮影漏れが発生し発覚が遅れると不具合が発生する場合がある。工事現場では、チェックリストや作業進捗有無に基づき、作業員が撮影の要否を確認しながら写真撮影を行うことになるが、撮影対象と撮影工程の組み合わせは膨大である。したがって、例えば間違った対象を撮影してしまったり、未撮影のものを撮影済みと処理してしまったりするなど、人為的な誤りや撮影抜け(撮影漏れ)が発生し得る環境となっている。
【0013】
本実施形態に係る写真管理システム1は、人為的な誤りや撮影抜けが発生し得る環境での写真撮影および写真管理に用いて好適なものである。写真管理システム1において、写真撮影装置10は、撮影対象の撮影位置まで自律的に移動し、写真撮影を行う自律移動型の写真撮影装置であり、
図2に示す自律移動体100の構成を採っている。
【0014】
図2は、自律移動体100の外観の一例を示す斜視図の例である。
図2に示すように、自律移動体100は、自己位置の認識が可能な自律移動部110と、自律移動部110に搭載された撮影部120と、を備えている。
図2には、自律移動体100として、車両型の自律移動体を示しているが、これに限られるものではない。すなわち、自律移動体100として、車輪による走行以外にも、飛行、レール移動、水上航行など、自己位置の認識が可能であれば、撮影エリアに適した移動体を用いることができる。
【0015】
撮影部120で撮影した写真は、後述する種々の情報と共に撮影結果として、写真撮影装置10から写真管理装置20へ伝達される。このときの情報伝達手段としては、通信インターフェイスを用いることもできるし、USBメモリなどの記憶媒体を用いることもできる。ただし、紛失などの可能性がある記憶媒体を用いるよりも、その可能性がない通信インターフェイスを用いて撮影結果を転送する方が好ましい。写真管理装置20は、写真撮影装置10から伝達された写真等の情報を管理するとともに、写真を選別する処理を行う。
【0016】
以下に、写真管理システム1を構成する写真撮影装置10および写真管理装置20の個々の構成について、より具体的に説明する。
【0017】
<2.写真撮影装置の構成>
図3は、写真撮影装置10の構成の一例を示すブロック図の例である。写真撮影装置10は、自律移動型の写真撮影装置であり、自律移動体100の構成を採っている。自律移動体100は、自己位置の認識が可能な自律移動部110と、自律移動部110に搭載された撮影部120と、各種の情報を記憶する記憶部130と、情報伝達手段の一例である通信インターフェイス(通信部)140と、を備えている。
【0018】
記憶部130は、撮影エリア情報131、撮影対象情報132および撮影結果情報133を保存する内蔵メモリである。そして、撮影エリア情報131および撮影対象情報132を記憶する領域が第1の記憶部となり、撮影結果情報133を記憶する領域が第2の記憶部となる。記憶部130は、自律移動体100に対して着脱可能な光ディスク、磁気ディスクまたはメモリーカード等の記憶媒体を利用することができる。
【0019】
自律移動部110は、自己位置認識部111と駆動部112とを有する。自己位置認識部111は、記憶部130に記憶されている撮影対象情報132に基づいて指定される撮影位置に移動するために、必要に応じて撮影エリア情報131を参照しながら、自律移動体100の駆動部112に指示を出す。駆動部112は、自己位置認識部111からの指示により、自律移動体100そのものを移動させる。また、自己位置認識部111は、自律移動体100の撮影位置への移動が完了し、撮影対象が撮影可能となった際に、撮影部120に対して撮影指示を出す。
【0020】
撮影部120は、撮影制御部121と、注視点(撮影方向)の調整が可能な撮影装置122とを有する。撮影制御部121は、自己位置認識部111からの指示により、撮影対象が撮影可能な領域に収まるように撮影装置122の注視点を制御し、撮影装置122に撮影指示を出す。また、撮影制御部121は、撮影装置122から得た写真情報と、撮影日時、撮影位置および撮影装置122の向き・仰角とを対応付けて(紐付けて)、撮影結果情報133として記憶部130に記録する。
【0021】
撮影装置122は、撮影制御部121からの指示により、写真の撮影を行い、撮影した写真を記録する。撮影装置122は、写真情報に奥行き情報を付与することもできる。これにより、写真管理装置20における後述する変化量の算出精度の向上を図ることができる。ここで、「奥行き情報」とは、被写体と撮影装置122の撮像面との間の距離の情報である。また、撮影装置122は、撮影した画像から撮影対象以外の領域を削除することもできる。これにより、後述する変化量の算出精度の向上を図ることができる。
【0022】
通信インターフェイス140は、写真管理装置20へ撮影結果情報133の転送を行う。本実施例では、自律移動型の写真撮影装置10と写真管理装置20とは、別のハードウェア上に実現されていることを想定しているが、写真管理装置20は、その一部または全てを自律移動型の写真撮影装置10と同一ハードウェア上に実現してもよい。
【0023】
<3.写真管理装置の構成>
図4は、写真管理装置20の構成の一例を示すブロック図の例である。写真管理装置20は、写真撮影装置10から伝送される撮影結果を管理するとともに、当該撮影結果を選別する撮影結果選別装置200の構成を採っている。撮影結果選別装置200は、通信インターフェイス210と、撮影結果振り分け部220と、変化量算出部230と、変化予測算出部240と、記憶部250と、選別部260と、を備えている。
【0024】
通信インターフェイス210は、自律移動体100(写真撮影装置10)から伝送される撮影結果情報133を受信し、撮影結果振り分け部220に供給する。撮影結果振り分け部220は、通信インターフェイス210から供給される撮影結果情報133の各写真に記録されている撮影日時、撮影位置、撮影装置の向き・仰角の情報のうち、一部または全部を利用して、全ての撮影結果を撮影対象ごとに振り分ける。そして、撮影結果振り分け部220は、振り分けた情報を振り分け済み撮影結果情報251として記憶部250に記憶する。
【0025】
この撮影結果振り分け部220の処理、即ち振り分け処理については、自律移動型写真撮影装置10(自律移動体100)側で行うようにすることもできる。すなわち、自律移動型写真撮影装置10は、撮影結果情報133の各々の画像に対して、対応する撮影対象の情報を割り当てることもできる。これにより、撮影結果振り分け部220の振り分け処理を簡略化することができる
【0026】
変化量算出部230は、撮影対象ごとに1つ以上の過去の撮影結果と今回の撮影結果の差分を数値化し、今回の撮影結果の過去の撮影結果からの変化量を算出する。差分抽出には、画像処理で用いられる2値化や特徴抽出等の周知の技術を利用することができる。但し、2値化や特徴抽出等の技術に限られるものではなく、今回の撮影結果の変化量を数値化できるのであれば、異なる評価技術を利用してもよい。このようにして求めた変化量から、変化量算出部230は、撮影対象の変化の有無を判断する。
【0027】
撮影対象の変化の有無を判断するにあたって、影の位置などの軽微な差を無視するために閾値を設ける。変化量算出部230は、今回の撮影結果の過去の撮影結果からの変化量が閾値を超えたか否かをもって、撮影対象の変化の有無を判断する。ここで、変化量算出部230が使用する閾値は、全ての撮影対象に同じ値を適用しても良いし、撮影対象ごとに設けても良い。また、閾値は、固定であってもよいし、任意に変更できるようにしてもよい。閾値を変更する場合は、すでに撮影済みの全ての撮影結果に対して、再度変化量算出部230で変化の有無を判断し直せばよい。
【0028】
変化量算出部230は、その判断結果を変化の有無情報252として、撮影対象に対応付けて(紐付けて)記憶部250に記憶する。変化量算出部230は、変化の有無だけでなく、変化量も撮影結果と対応付けて記憶部250に保存することもできる。このようにすることにより、変化の有無を決定する閾値が変更された場合、再度変化量の算出処理を行うことなく変化の有無を判断し直すことができる。
【0029】
変化予測算出部240は、記憶部250にあらかじめ記憶されている施工計画情報253を基に、撮影対象ごとの撮影タイミング間における作業予定の有無から、作業があれば変化有り、作業が無ければ変化無しというように、撮影タイミングごとの変化の有無を算出する。変化予測算出部240は、その算出結果を変化予測情報254として記憶部250に記憶する。
【0030】
記憶部250は、振り分け済み撮影結果情報251、変化有無情報252、施工計画情報253および変化予測情報254を記憶する。選別部260は、管理者(利用者)が指定する条件に対して、記憶部250に蓄積されている変化有無情報252、施工計画情報253、変化予測情報254の一部または全てを使用して振り分け済み撮影結果情報251の選別を行う。そして、選別部260は、選別後の撮影結果群を管理者に提示する。選別部260は、写真の選別の条件に撮影日時の範囲、撮影対象の何れかまたは全てを追加することもできる。
【0031】
<4.写真管理システムの動作例>
次に、本実施形態に係る写真管理システム1の動作について説明する。本写真管理システム1では、例えば
図2に示す車両型の自律移動体100を使用し、所定のペースで、例えば一日一回のペースで撮影を行う。ここでは、理解を容易にするために、今回の施工計画、撮影エリアおよび撮影対象を例示する
図5を用いて説明する。
【0032】
図5は、本実施形態に係る写真管理システム1に入力する、施工計画、撮影エリアおよび撮影対象の情報の一例を示す図の例である。
図5Aは、作業ごとの対象と作業予定期間を示す施工計画を表している。この施工計画は、撮影結果選別装置200の記憶部250に施工計画情報253としてあらかじめ記憶される。
図5Bは、各撮影対象の位置と撮影指示を示す撮影対象情報を表している。この撮影対象情報は、自律移動体100の記憶部130に撮影対象情報132としてあらかじめ記憶される。
図5Cは、自律移動体100が利用する作業エリア情報を座標(X,Y)で表している。この作業エリア情報は、自律移動体100の記憶部130に撮影エリア情報131としてあらかじめ記憶される。
【0033】
ここで、作業1の撮影について説明する。作業1は、4月1日(4/1)から4月4日(4/4)まで行う。一日一回、本写真管理システム1の自律移動体100によって自動撮影が行われる。
図5Cにおいて、作業対象Aの位置は座標(1,4)、自律移動体100の撮影位置は座標(3,4)である。また、自律移動体100の向いている方位角は270度の西向き、仰角は0度である。このとき、自律移動体100は、西向きの例えば壁側を向いて、座標(3,4)の撮影位置Aから座標(1,4)の作業対象Aを撮影する。
【0034】
同様に、作業2の撮影について説明する。4月2日(4/2)から4月3日(4/3)まで、一日一回、自律移動体100は、方位角0度の北向き、仰角45度で天井を向いて、座標(8,5)の撮影位置Bから座標(8,7)の作業対象Bを撮影する。同様に、作業3の撮影について説明する。4月3日(4/3)から4月6日(4/6)まで、一日一回、自律移動体100は、方位角180度の南向き、仰角−10度で床側を向いて、座標(6,3)の撮影位置Cから座標(6,1)の作業対象Cを撮影する。
【0035】
本写真管理システム1の管理者は、撮影前の準備として、撮影対象と対応付けられる施工計画情報253を撮影結果選別装置200の記憶部250に、撮影対象情報132と撮影エリア情報(作業エリア情報)131を自律移動体100の記憶部130にそれぞれ入力する。なお、
図5に例示した情報は一例として挙げたものであり、情報の形式を規定するものではない。具体的な情報の形式は、自律移動体100の自己位置認識部111や撮影制御部121、撮影結果選別装置200の変化予測算出部240や選別部260に依存する。
【0036】
[4−1.自律移動体の動作]
次に、自律移動体100の動作について
図6を用いて説明する。
図6は、自律移動体100の処理の流れの一例を示すフローチャートの例である。
【0037】
一日の施工作業の終了後、管理者が自律移動体100に撮影の開始を指示することで、自律移動体100の動作が開始する。撮影指示については、管理者が指示を出すようにしてもよいし、タイマーや時計を使用してあらかじめ指定した日時に自動的に指示を出すようにしてもよい。
【0038】
撮影指示を受けた自律移動体100は、自己位置認識部111により自己(自身)の位置を特定し(ステップS11)。次いで、記憶部130に記憶されている撮影対象情報132で定義された全ての撮影対象を撮影し終えたか否かを判断する(ステップS12)。そして、全ての撮影対象の撮影が終わっていないと判断したら(S12のNO)、自律移動体100は、記憶部130に記憶されている撮影対象情報132が指定する撮影位置に移動する(ステップS13)。
【0039】
次に、自律移動体100は、撮影装置122の注視点(撮影方向)を調整し(ステップS14)、次いで撮影を行い、撮影した写真を記録する(ステップS15)。その後、自律移動体100は、ステップS12に戻り、全ての撮影対象を撮影し終えたと判断する(S12のYES)まで、ステップS13からステップS15までの処理を繰り返して実行する。そして、自律移動体100は、撮影対象情報132で定義された全ての撮影対象の撮影が完了したと判断したら(S12のYES)、今回の撮影結果情報133を撮影1回分としてグループ化し、通信インターフェイス140を通して撮影結果選別装置200へ送信し(ステップS16)、一連の撮影処理を終了する。
【0040】
撮影を行う際の撮影範囲は、同一の撮影対象であれば前回の撮影時と同一であることを期待する。そこで、前回の撮影結果情報133を記憶部130に保存しておき、今回の撮影装置122の位置・方向の調整に用いるようにするとよい。これにより、前回の撮影範囲と今回の撮影範囲の誤差を小さくすることができる。
【0041】
また、自律移動体100の移動系路上に障害物を検出した場合、静止障害物であれば迂回し、移動障害物であれば音や光で警告を行って進路を確保するといった機能を自律移動体100に持たせることもできる。これにより、移動経路上に障害物が存在しても、自律移動体100は進路を確保することができるため、撮影対象情報132で定義された全ての撮影対象を確実に撮影することができる。
【0042】
さらに、撮影終了後に帰着する位置を事前に指定しておき、撮影が終了したら、あらかじめ指定された位置に移動する機能を自律移動体100に持たせるようにすることもできる。そして、自律移動体100が帰着する位置を、例えば次回の撮影位置に指定しておくことにより、次回使用時の利便性の向上を図ることができる。
【0043】
[4−2.撮影結果選別装置の動作]
次に、撮影結果選別装置200の動作について
図7を用いて説明する。
図7は、撮影結果選別装置200の処理の流れの一例を示すフローチャートの例である。
【0044】
変化予測算出部240は、事前に記憶部250に記憶されている施工計画情報253を入力とし、各撮影対象が各撮影タイミングにおいて前日から変化が発生するか否かを算出し、変化予測情報254を作成するとともに記憶部250に記録する(ステップS21)。
【0045】
変化予測情報254の一例を
図8Aに示す。
図8Aにおいて、作業対象Aは、4/1から4/4まで作業予定があり、前日から変化があると予測される箇所を○で示した。作業対象Bは、4/2から4/3まで作業予定があり、前日から変化があると予測される箇所を○で示した。作業対象Cは、4/3から4/6まで作業予定があり、前日から変化があると予測される箇所を○で示した。
【0046】
その後、撮影結果選別装置200は、撮影期間が終了したか否かを判断し(ステップS22)、撮影期間が終了していないと判断したら(S22のNO)、即ち撮影期間内であれば、自律移動体100からの撮影結果情報133の受信を待つ。そして、通信インターフェイス210が撮影結果情報133を受信すると(ステップS23)、撮影結果振り分け部220が、全ての撮影結果を撮影対象ごとに振り分ける(ステップS24)。具体的には、撮影結果振り分け部220は、撮影結果情報133に含まれる撮影結果を、撮影日時、撮影位置および撮影装置122の向きと仰角の一部または全てを用いて、撮影対象ごとに振り分ける処理を行う。
【0047】
続いて、変化有無判定部としての変化量算出部204が、今回振り分けを行った振り分け済み撮影結果情報251のそれぞれの撮影結果に対して、過去の同一撮影対象の撮影結果からの変化量を算出する(ステップS25)。その後、変化量算出部204は、算出した変化量があらかじめ設定した閾値よりも大きいか否かにより、撮影対象が前回の撮影から変化したか否かを判断する(ステップS26)。そして、変化量算出部204は、変化が有ると判断したら(S26のYES)、変化有りの変化有無情報252として撮影対象に対応付けて記憶部250に記憶し(ステップS27)、変化が無いと判断したら(S26のNO)、変化無しの変化有無情報252として撮影対象に対応付けて記憶部250に記憶する(ステップS28)。そして、ステップS22に戻り、撮影期間が終了していると判断したら(S22のYES)、撮影結果選別装置200の一連の処理を終了する。
【0048】
図9は、変化量および変化有無情報252を算出する手法の一例を示す図の例である。
図9には、撮影現場の撮影対象において、前回1回分の撮影結果を用いて変化量および変化有無情報252の算出を行う例を示している。変化有無の算出に利用する閾値は、撮影タイミングによらず40とする。
【0049】
図9Aは、変化有無算出結果が変化無しとなる場合の例である。
図9Aでは、作業は行われていないが、柱の影部分のみが異なっている。変化量算出部204は、今回の撮影結果と前回の撮影結果とを入力として変化量の算出を行い、結果として変化量20を得る。変化量算出部204は、変化量20と閾値40とを比較した結果、変化量20が閾値40を下回るため、
図9Aに示すように、変化有無情報252は変化無しとする。
【0050】
図9Bは、変化有無算出結果が変化有りとなる場合の例である。
図9Bでは、窓取り付け作業と壁の色塗り作業とが行われたことを示している。変化量算出部204は、今回の撮影結果と前回の撮影結果とを入力として変化量の算出を行い、結果として変化量80を得る。変化量算出部204は、変化量80と閾値40とを比較した結果、変化量80が閾値40を上回るため、
図9Bに示すように、変化有無情報252は変化有りとする。
【0051】
このようにして算出した今回の動作例における変化有無情報252の一例を
図8Bに示す。予定通りに作業が進んでいる場合は、
図8Aの変化予測情報254と
図8Bの変化有無情報252とは一致する。しかし、作業が変更されたり、遅延したりする場合は、予測と実作業で不一致が生じる。例えば、作業対象Bの4/4,4/6が、予測と実作業で不一致が生じる場合に相当する。
【0052】
図8Bにおける4/1の変化有無情報252は、前日の撮影結果が存在しないため算出できない。そこで、あらかじめ初期データとして施工着手前の撮影対象を撮影しておくか、初日は一律で変化有または変化無と判断してもよい。
【0053】
なお、
図7の処理フローは一例であり、最終的に各撮影対象の撮影結果に紐付く変化有無が求められればよく、撮影結果の振り分けと変化量の算出および変化有無の判断の実行順を規定するものではない。すなわち、振り分けと変化量の算出および変化有無の判断を、撮影対象ごとに繰り返し実行してもよい。
【0054】
また、本処理フローでは、変化予測の算出を最初の一度のみ実施しているが、施工計画が何らかの事情により変更された場合は、再度変化予測情報254の算出(作成)を行うようにしてもよい。
【0055】
次に、これまでの説明にて蓄積した撮影結果を管理者が参照する際の動作について説明する。
管理者は、撮影結果を参照する際に、選別部260に対して直接的もしくは間接的に、変化予測情報254における変化の有無、変化有無情報252における変化の有無、もしくは両者の組み合わせを指定する。この指令を受けて、選別部260は、管理者が指定する条件に対して、記憶部250に蓄積されている変化有無情報252、施工計画情報253および変化予測情報254の一部または全てを使用して振り分け済み撮影結果情報251を選別し、選別後の撮影結果群を管理者に提示する。また、変化予測情報254における変化の有無、変化有無情報252における変化の有無、もしくは両者の組み合わせを通報条件として予め与えておくことで、撮影結果を追加した際に算出する変化有無情報252と変化予測情報254が通報条件に合致した場合に管理者に通報することもできる。
【0056】
本写真管理システム1の管理対象写真が、実施例として例示した施工進捗写真の場合であれば、各撮影対象について変化予測情報254が変化有りかつ変化有無情報252が変化有りのものを抽出することで、作業スケジュールに沿った進捗写真群を得ることができる。もちろん、撮影結果に記録された撮影日時の範囲や、撮影対象を条件として加えることも可能である。
【0057】
[4−3.効果の例]
以上説明した本実施形態に係る写真管理システム1によれば、自律移動型写真撮影装置10(自律移動体100)を用いて全ての撮影対象の撮影を行い、写真管理装置20(撮影結果選別装置200)にて撮影後に選別を行うことで、撮影漏れを防ぎながらも進捗画像の記録を抽出することができる。
【0058】
より具体的には、撮影漏れ(撮り残し)がないように、全ての必要な工事現場を自律移動体100が例えば一日一回撮影し、その後に、工事日程表の予定と実績から、変化したであろう工事現場写真を予測し、写真の差分閾値により工事の変化があった写真を選択し、整理して管理することができる。そして、特に、人の手が介在しないため、予定された箇所を漏れなく撮影でき、また予定された箇所の進捗状況を確実に確認することができる。また、施工計画を用いることで、撮影した写真から予定された箇所の進捗状況や、意図しない変化を確実に確認することができる。
【0059】
さらに、本実施形態に係る写真管理システム1によれば、施工計画から導いた変化予測情報254と、作業結果である変化有無情報252の組み合わせによって、進捗画像の抽出以上の効果を得ることができる。具体例を以下に示す。
(a)変化予測が変化有り、かつ変化有無が変化無しの組み合わせを抽出することで、作業の停滞の可能性を検出することができる。
(b)変化予測が変化無し、かつ変化有無が変化有りの組み合わせを抽出することで、対象の破損や施工計画を外れた作業といった意図しない変化を検出することができる。
ここで、(a)および(b)の抽出を、変化有無情報252の算出後に自動的に行うことで、異常が発生した場合に管理者に通報する監視の効果を得ることも可能である。
【0060】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細したものであり、必ずしも全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全てを、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD等の記録装置、またはICカード、DVD等の記録媒体におくことができる。