特開 2024-169573 クレーン用撮影システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169573

(43)【公開日】2024-12-05

(54)【発明の名称】クレーン用撮影システム及びプログラム

(51)【国際特許分類】

   B66C 13/00 20060101AFI20241128BHJP

【ＦＩ】

B66C13/00 D

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2024161138

(22)【出願日】2024-09-18

(62)【分割の表示】P 2020057200の分割

【原出願日】2020-03-27

(71)【出願人】

【識別番号】503032946

【氏名又は名称】住友重機械建機クレーン株式会社

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】戸井田 実

(72)【発明者】

【氏名】本庄 浩平

(57)【要約】

【課題】撮影が望まれないものが映像に入ってしまうことを抑制しつつ、クレーン、クレーンの周辺又はこれら両方を撮影できるクレーン用撮影システム及びプログラムを提供する。
【解決手段】このクレーン用撮影システムは、クレーン、クレーンの周辺又はこれら両方を撮影する撮影部（２１）を有する移動体（１０）と、表示許可又は表示不許可の対象を示す第１情報が格納される格納部（３１）と、撮影部の撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部（３２）とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を有する移動体と、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
前記撮影部の撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部と、
を備えるクレーン用撮影システム。

【請求項2】

前記画像作成部は、前記移動体に設けられている、
請求項１記載のクレーン用撮影システム。

【請求項3】

前記画像作成部は、
前記第１情報に基づき前記撮影部の撮像データから表示許可の対象を検出する対象検出部と、
前記対象検出部により検出された対象以外の部分を前記撮像データから除去するマスク処理部と、
を含む請求項１又は請求項２に記載のクレーン用撮影システム。

【請求項4】

前記画像作成部により作成された表示画像の元の撮像データを破棄するデータ処理部を更に備える、
請求項１から請求項３のいずれか一項に記載のクレーン用撮影システム。

【請求項5】

前記移動体は、撮像対象の距離を検出するための距離検出部を更に有し、
前記画像作成部は、前記距離検出部の検出結果を用いて、前記撮像データから表示不許可の対象を除外する、
請求項１から請求項４のいずれか一項に記載のクレーン用撮影システム。

【請求項6】

前記距離検出部は、所定の視野範囲における各部の距離検出が可能であり、
前記撮影部の視野範囲が前記距離検出部の視野範囲内に含まれる、
請求項５記載のクレーン用撮影システム。

【請求項7】

前記第１情報には、表示許可の対象としてクレーンの情報が含まれ、
前記画像作成部は、クレーンの部分が抽出された表示画像を作成する、
請求項１から請求項６のいずれか一項に記載のクレーン用撮影システム。

【請求項8】

前記表示画像はクレーンの３次元画像である請求項７記載のクレーン用撮影システム。

【請求項9】

クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を有する移動体と、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
前記第１情報に基づき表示不許可の対象が写りこまないように前記撮影部に撮像させる制御部と、
を備えるクレーン用撮影システム。

【請求項10】

クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を有する移動体を備え、
前記撮影部は可視光以外の光又は電磁波を受けて撮影を行う、
クレーン用撮影システム。

【請求項11】

表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
クレーン、クレーンの周辺又はこれら両方を撮影する撮影部の撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部と、
を備えるクレーン用撮影システム。

【請求項12】

表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
前記第１情報に基づき表示不許可の対象が写りこまないように撮影部にクレーン、クレーンの周辺又はこれら両方を撮像させる制御部と、
を備えるクレーン用撮影システム。

【請求項13】

移動体に搭載可能でクレーン、クレーンの周辺又はこれら両方を撮影可能な前記撮影部を更に備える請求項１１又は請求項１２に記載のクレーン用撮影システム。

【請求項14】

移動体に搭載可能で、クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を備え、
前記撮影部は可視光以外の光又は電磁波を受けて撮影を行う、
クレーン用撮影システム。

【請求項15】

前記撮影部の撮影画像を用いてクレーンの診断を行う診断部を更に備える、
請求項１から請求項１４のいずれか一項に記載のクレーン用撮影システム。

【請求項16】

コンピュータを、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部、及び、
クレーン、クレーンの周辺又はこれら両方が含まれる撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部、
として機能させるプログラム。

【請求項17】

コンピュータを、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部、及び、
前記第１情報に基づき表示不許可の対象が写りこまないように撮影部にクレーン、クレーンの周辺又はこれら両方を撮像させる制御部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はクレーン用撮影システム及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、クレーンが作業する現場を上空から撮影することで、見学者が現場の全容を把握できるようにした見学会説明システムについて開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－２１５８４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のように、クレーンを上空から撮影すると、現場周辺が映像に入ってしまう。このため、現場周辺にプライバシー保護等のため撮影が望まれないものがある場合に、それが映像に入ってしまうという課題がある。

【0005】

本発明は、撮影が望まれないものが映像に入ってしまうことを抑制しつつ、クレーン、クレーンの周辺又はこれら両方を撮影できるクレーン用撮影システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一つに係るクレーン用撮影システムは、
クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を有する移動体と、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
前記撮影部の撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部とを備える。

【0007】

本発明の一つに係るクレーン用撮影システムは、
クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を有する移動体と、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
前記第１情報に基づき表示不許可の対象が写りこまないように前記撮影部に撮像させる制御部と、
を備える。

【0008】

本発明の一つに係るクレーン用撮影システムは、
クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を有する移動体を備え、
前記撮影部は可視光以外の光又は電磁波を受けて撮影を行う。

【0009】

本発明の一つに係るクレーン用撮影システムは、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
クレーン、クレーンの周辺又はこれら両方を撮影する撮影部の撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部と、
を備える。

【0010】

本発明の一つに係るクレーン用撮影システムは、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部と、
前記第１情報に基づき表示不許可の対象が写りこまないように撮影部にクレーン、クレーンの周辺又はこれら両方を撮像させる制御部と、
を備える。

【0011】

本発明の一つに係るクレーン用撮影システムは、
移動体に搭載可能で、クレーン、クレーンの周辺又はこれら両方を撮影する撮影部を備え、
前記撮影部は可視光以外の光又は電磁波を受けて撮影を行う。

【0012】

本発明の一つに係るプログラムは、
コンピュータを、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部、及び、
クレーン、クレーンの周辺又はこれら両方が含まれる撮像データから表示不許可の対象が除外された表示画像を作成する画像作成部、
として機能させる。

【0013】

本発明の一つに係るプログラムは、
コンピュータを、
表示許可又は表示不許可の対象を示す第１情報が格納される格納部、及び、
前記第１情報に基づき表示不許可の対象が写りこまないように撮影部にクレーン、クレーンの周辺又はこれら両方を撮像させる制御部、
として機能させる。

【発明の効果】

【0014】

本発明によれば、撮影が望まれないものが映像に入ってしまうことを抑制しつつ、クレーン、クレーンの周辺又はこれら両方を撮影できるという効果が得られる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態１のクレーン用撮影システムを示すブロック図である。

【図2】クレーンが配置される現場の一例を示す図である。

【図3】距離検出部の動作原理を説明する図である。

【図4】移動体によるクレーンの撮像処理を説明する図（Ａ）と、移動体の拡大図（Ｂ）である。

【図6】撮影部の視野範囲と距離検出部の視野範囲とを示す図である。

【図5】画像作成部が実行する画像作成処理の一例を示すフローチャートである。

【図7】検出された距離情報を用いたマスク処理の一例を示す図である。

【図8】本発明の実施形態２のクレーン用撮影システムを示すブロック図である。

【図9】実施形態２のクレーン用撮影システムによる撮影処理の一例を説明する図である。

【図10】本発明の実施形態３のクレーン用撮影システムを示すブロック図である。

【発明を実施するための形態】

【0016】

以下、本発明の各実施形態について図面を参照して詳細に説明する。

【0017】

（実施形態１）
図１は、本発明の実施形態１のクレーン用撮影システムを示すブロック図である。図２は、クレーンが配置される現場の一例を示す図である。本実施形態のクレーン用撮影システムは、クレーンＴの一部又は全部を対象として撮影を行い、撮影画像に基づきクレーンＴの診断を行うシステムである。以下では、ブームＢを診断対象とする例を説明するが、診断対象はジブ、ワイヤー、キャブ、旋回フレーム、走行体、各連結部、各種電装品など、様々な部分又はクレーンＴ全体に拡張されてもよい。

【0018】

図２に示すように、クレーンＴが配置される現場の周囲には、撮影画像に写ることが望まれないもの（建物Ｎ１、居住地Ｎ２、Ｎ３、人が通る道路など）がある。したがって、本実施形態のクレーン用撮影システムには、表示が許可される対象、表示が不許可な対象、又はこれら両方が設定され、表示が許可される対象のみが撮影画像に含まれるように、撮影を実行する。

【0019】

実施形態１に係るクレーン用撮影システムは、図１に示すように、移動体１０と、コンピュータ８０とを備える。移動体１０は、例えば空中を飛行し、上下前後左右の移動、正逆の旋回等を行うことが可能ないわゆるドローンである。移動体１０は、複数のプロペラ１１と、複数のプロペラ１１を駆動する駆動部１２と、測位を行う測位部１３と、駆動部１２を制御して移動体１０を移動及び旋回させる移動制御部１４とを備える。

【0020】

測位部１３は、例えば、ＧＮＳＳ（Global Navigation Satellite System）、ビーコン、又はこれら両方を用いた測位と、ジャイロセンサ等を用いた方位の検出とを行って、移動体１０の位置と向きとを測定する。測位部１３により測定された位置及び向きの情報は、移動制御部１４へ供給される。

【0021】

移動体１０は、更に、クレーンＴ、クレーンＴの周辺又はこれら両方を撮影する撮影部２１と、２次元の視野範囲中の各部の距離を検出可能な距離検出部２５と、表示を許可する対象、表示を許可しない対象又はこれら両方を示す設定情報（第１情報に相当）が格納される設定情報格納部３１と、撮影部２１の撮影により得られた撮像データから表示不許可の部分が除去された合成画像を作成する画像作成部３２と、作成された合成画像を記憶する画像記憶部３３と、合成画像の元の撮像データを破棄するデータ処理部３４と、画像記憶部３３の画像を外部のコンピュータ８０等へ送信可能な通信部３６と、移動及び撮影の統括的な制御を行う統括制御部３８とを備える。通信部３６は、トータルステーションからクレーンＴ及びその可動要素（ブームＢ、ジブ等）の測量情報を受信するためにも使用されてもよい。

【0022】

撮影部２１は、所定の視野範囲の映像を撮影する光学系及び撮像素子を備える。撮影部２１は、例えば単眼カメラである。

【0023】

図３は、距離検出部の動作原理を示す図である。距離検出部２５は、センサ原点Ｏ１を中心に、水平画角αと垂直画角βとを有する視野範囲Ｗ１で、視野範囲Ｗ１の各検出区画に存在する物までの距離を検出する。距離検出部２５としては、例えば赤外線レーザを用いたＴＯＦ（Time of Flight）方式の走査型センサを適用できる。走査型センサで視野範囲Ｗ１の各検出区画を走査することで、視野範囲Ｗ１の各部に存在するものまでの距離を検出できる。なお、距離検出部２５としては、上記の方式に限られず、所定の視野範囲の各部に存在する物の距離を検出できれば、例えばステレオカメラなど様々な構成が適用されてもよい。

【0024】

図４は、移動体によるクレーンの撮影処理を説明する図（Ａ）及び移動体の拡大図（Ｂ）である。図５は、距離検出部の視野範囲と撮影部の視野範囲とを示す図である。ここでは、移動体１０が、クレーンＴの原点Ｓ０からＸ、Ｙ、Ｚの３方向にそれぞれ所定長さＸ１、Ｙ１、Ｚ１離れた位置から、ブームＢに向かって撮影を行う場面を想定する。この場合、図５に示されるように、ブームＢの一部が、撮影部２１の撮影対象となり、かつ、距離検出部２５の検出対象となる。

【0025】

図５に示すように、距離検出部２５の視野範囲Ｗ１は、撮影部２１の視野範囲Ｗ２を含むように設定されている。視野範囲を含むとは、同一平面上に撮影対象と距離検出対象とを配置したときに、撮影部２１により撮影される平面上の範囲が、距離検出部２５により距離が検出される平面上の範囲に含まれることを意味する。視野範囲Ｗ１、Ｗ２は画角と言い換えてもよい。

【0026】

設定情報格納部３１は、設定情報が格納される記憶装置であり、表示許可の対象として、例えばクレーンＴの各部の位置を表わす位置情報が記憶されている。この位置情報は、クレーンＴの各部の位置が相対座標で表わされた位置情報である。ブームＢ又はジブなどの可動要素については、一つの可動要素ごとに１つの相対座標が設定され、設定情報格納部３１には可動要素ごとの相対座標を用いた位置情報が格納されていてもよい。また、位置情報は、３次元モデルデータにより表わされてもよいし、各部表面の相対位置が示されるポリゴンメッシュのデータにより表わされてもよい。クレーンＴの停車位置及び向きが決まり、かつ、各可動要素の姿勢が決まると、上記の相対位置の情報からクレーンＴの各部、並びに、各可動要素の各部の絶対位置を求めることができる。クレーンＴの停車位置、向き及び各可動要素の姿勢は、例えば、トータルステーションなどの測量機器を用いてクレーンＴの複数点及び各可動要素の複数点の位置を測定することで求めることができる。設定情報格納部３１としての機能は、装置外部から設定情報を入力する設定入力機能を有していてもよい。

【0027】

設定情報格納部３１には、更に、表示許可の対象として、現場の敷地Ｅ（図２を参照）の絶対位置を表わす位置情報が含まれていてもよい。

【0028】

統括制御部３８、画像作成部３２、設定情報格納部３１及びデータ処理部３４は、例えばマイクロコンピュータのＣＰＵ（Central Processing Unit）がプログラムを実行することで実現されるソフトウェアモジュールである。マイクロコンピュータは、ＣＰＵ、ＲＯＭ（Read Only Memory）、作業用のメモリ領域を提供するＲＡＭ（Random Access Memory）を備え、移動体に設けられている。ＲＯＭには、マイクロコンピュータを、統括制御部３８、画像作成部３２、設定情報格納部３１及びデータ処理部３４として機能させるプログラムが格納されている。

【0029】

統括制御部３８は、クレーンＴに設定された複数の被撮影箇所を示す情報、並びに、複数の被撮影箇所に対応づけられた複数の撮影位置及び撮影方向を示す制御情報を持つ。統括制御部３８は、各撮影位置及び移動体１０を移動させ、各撮影方向に移動体１０が向くように旋回させる指令を、移動制御部１４に出力する。さらに、統括制御部３８は、各撮影位置への移動及び旋回後に距離検出部２５及び撮影部２１に距離検出の指令と撮影の指令とをそれぞれ出力する。例えば、検査対象がブームＢであり、ブームＢの下端から上端まで複数方向から撮影した画像が必要であれば、統括制御部３８には、ブームＢに設定された複数の被撮影箇所と、複数の被撮影箇所に対応づけられた複数の撮影位置及び撮影方向とを示す情報が記憶される。図４（Ａ）に示した被撮影箇所Ｐ１、撮影位置（Ｘ１、Ｙ１、Ｚ１）、撮影方向Ｚ方向が、その一つの例である。ブームＢの下端から上端まで切れ目のない撮影画像が必要であれば、隣接する２つの撮影箇所は一部同士が重なるように設定されてもよい。

【0030】

画像作成部３２は、画像作成処理を実行し、撮像データから表示不許可の部分が除去された合成画像を作成する。

【0031】

データ処理部３４は、画像作成処理中、表示不許可の部分が含まれる可能性のある撮像データが外部に流出しないように、画像作成部３２が合成画像を作成した後に、合成画像の元の撮像データを削除する。

【0032】

＜画像作成処理＞
続いて、画像作成部により実行される画像作成処理について説明する。図６は、画像作成処理の手順を示すフローチャートである。

【0033】

画像作成処理は、クレーンＴが所定の姿勢で静止した状態で実行される。画像作成処理が開始されると、画像作成部３２は、先ず、設定情報格納部３１に格納されたクレーンＴの位置情報（相対位置の情報、例えば３次元モデルの情報）を読み込み（ステップＳ１）、トータルステーションから受信されたクレーンＴの複数点の絶対位置の情報を取得する（ステップＳ２）。ステップＳ２の情報から、画像作成部３２は、クレーンＴの絶対位置と向き、並びに、各可動要素（ブームＢ等）の姿勢を求めることができ、ステップＳ１の位置情報を合わせることで、クレーンＴの各部の絶対位置を求めることができる。

【0034】

一方、統括制御部３８は、ステップＳ１、Ｓ２の情報を同様に取得し、これらの情報からクレーンＴの絶対位置と向き、各可動要素の姿勢、並びに、絶対位置で表わされる撮影位置及び撮影方向の情報を求める。さらに、統括制御部３８は、移動体１０を撮影位置まで移動させ、移動体１０を撮影方向へ旋回させる。そして、統括制御部３８は、先ず、距離検出部２５を駆動して、その視野範囲Ｗ１の各検出区画に存在する物の距離を検出させる。検出された各検出区画の距離の情報は、画像作成部３２へ送られる（ステップＳ３）。

【0035】

画像作成部３２は、各検出区画の距離の情報を取得すると、距離の情報と、設定情報格納部３１に格納されていたクレーンＴの位置情報とに基づき、視野範囲Ｗ１のどの検出区画にクレーンＴのどの構成部材が位置しているのか、その認識位置を補正する（ステップＳ４）。ステップＳ４の処理は、本発明に係る「表示許可の対象を検出する対象検出部」の処理の一例に相当する。なお、移動体１０の絶対位置及び向きの情報と、クレーンＴの絶対位置及び向きの情報と、各可動要素の姿勢の情報とから、距離検出部２５の視野範囲Ｗ１のどの区画にクレーンＴのどの部分が位置するのか計算することができる。さらに、クレーンＴの各構成部材と移動体１０との距離を計算することができる。しかし、移動体１０とクレーンＴの各絶対位置の情報には誤差が含まれる。このため、計算結果と実際の検出結果とにはズレが生じる。ステップＳ３において画像作成部３２は、視野範囲Ｗ１の検出結果と計算結果とを比較して、上記の誤差分のズレを判定し、判定されたズレを位置情報に反映させることで、視野範囲Ｗ１のどの検出区画にクレーンＴのどの構成部材が位置するのか正確に判別することができる。

【0036】

次に、画像作成部３２は、距離検出部２５の視野範囲Ｗ１のうち、表示許可の対象として設定されているクレーンＴの一部（例えばブームＢの構成部材）が位置する検出区画（図７中の白部分）について、映像が抽出され、他の検出区画（図７の網掛け部分）について、映像が除去されるように、マスク処理の区画を判定する（ステップＳ５）。なお、視野範囲Ｗ１中のクレーンＴの構成部材のきわと、マスク処理を行う部分との間にはマージンが含まれていてもよい。マスク処理する区画は、撮影部２１で撮影した場合に、表示不許可の対象（例えば現場に隣接する建物等）が撮影画像に写り込む可能性のある範囲に相当する。

【0037】

ステップＳ４、Ｓ５の処理と並行して、統括制御部３８は撮影部２１に撮影処理を実行させる。そして、画像作成部３２は、撮影部２１から撮像データを受ける（ステップＳ６）。前述したように、撮影部２１の視野範囲Ｗ２は、距離検出部２５の視野範囲Ｗ１に含まれる。したがって、撮像データの各画素は、ステップＳ５で判定された映像を抽出する区画と映像を除去する区画とのいずれかに含まれる。画像作成部３２は、ステップＳ５の判定結果にしたがって、撮像データにマスク処理を実施し、マスク処理された合成画像を作成する（ステップＳ７）。ステップＳ７の処理は、本発明に係る「マスク処理部」の処理の一例に相当する。

【0038】

ステップＳ４～Ｓ７により、設定情報格納部３１に格納された表示許可の対象を示す情報と、距離検出部２５の検出結果とに基づいて、表示不許可の対象が除外された表示画像が作成される。

【0039】

続いて、画像作成部３２は、１つの被撮影箇所についての合成画像を画像記憶部３３に格納する（ステップＳ８）。ステップＳ８の格納の際、画像作成部３２は、合成画像がどの撮影位置でどの撮影方向から撮影したものなのか識別可能なタグ情報と紐づけて、合成画像を記憶させてもよい。合成画像が作成されたら、データ処理部３４は、合成画像の元の撮像データを削除する（ステップＳ９）。

【0040】

１つの合成画像が作成及び記憶されたら、画像作成部３２は、予め設定された全ての被撮影箇所の撮影が完了したか判別し（ステップＳ１０）、完了してなければ、次の撮影位置での処理を行うために、処理をステップＳ３に戻す。統括制御部３８は、予め設定された複数の撮影位置からの撮影が全て完了するまで、撮影位置及び撮影方向に移動体１０を移動及び旋回させ、距離検出部２５及び撮影部２１に距離検出と撮像とを行わせる処理を繰り返す。さらに、これらの処理に伴って、画像作成部３２及びデータ処理部３４は、各撮影位置で撮影された撮像データについて、ステップＳ３～Ｓ８の処理を実行する。これにより、ブームＢの全ての被撮影箇所の合成画像が画像記憶部３３に記憶される。そして、ステップＳ１０の判別処理で、全ての被撮影箇所の撮影が完了したと判別すると、画像作成部３２は画像作成処理を終了する。

【0041】

＜画像の表示処理＞
コンピュータ８０は、図１に示すように、画像を表示する表示部８１と、移動体１０の画像記憶部３３に格納された複数の合成画像から３次元画像を作成する機能モジュール８２と、移動体１０から供給された合成画像に基づきクレーンＴの診断を行う診断部８３と、移動体１０と無線又は有線を介して通信する通信部８４を有する。機能モジュール８２と、診断部８３とは、例えばＣＰＵがプログラムを実行することで実現されるソフトウェアモジュールである。コンピュータ８０は、ＣＰＵ、記憶装置、ＲＡＭを備える。記憶装置には、機能モジュール８２と診断部８３を実現するプログラムが格納されている。

【0042】

オペレータは、コンピュータ８０を用いて移動体１０の画像記憶部３３に格納された複数の合成画像を無線又は有線を介して読み込み、表示コマンドを入力することで、合成画像を表示部８１に表示出力できる。

【0043】

オペレータは、コンピュータ８０の機能モジュール８２を動作させることで、読み出した複数の合成画像から３次元画像を作成し、これを表示部８１を介して表示出力できる。３次元画像の表示機能は、３次元画像を３次元的に回転、平行移動、拡大又は縮小して表示する機能を含む。３次元画像作成用の機能モジュール８２には、予めクレーンＴの検査対象（例えばブームＢ）の３次元モデルデータが格納され、合成画像に紐づけられたタグ情報と、３次元モデルデータとから、３次元モデルの各部の表面に、合成画像の対応する部分が張り付けられた、３次元画像を作成する。タグ情報は、合成画像がどの撮影位置のどの撮影方向からどの被撮影箇所を撮影したものかを示す情報である。なお、コンピュータ８０の機能モジュール８２が３次元画像を作成するのではなく、画像作成部３２が移動体１０において３次元画像を作成してもよい。

【0044】

オペレータは、複数の合成画像を読み込んだ後、コンピュータ８０の診断部８３を動作させることで、クレーンＴの診断処理を実行できる。診断部８３は、合成画像、３次元画像、又はこれら両方を用いて、クレーンＴを診断する。例えば、診断部８３は、合成画像又は３次元モデルデータの細部、各部及び全体を基準画像と比較し、違いのある箇所を異常として診断し、診断結果を出力するように構成される。なお、診断部８３は省略され、検査員が、合成画像又は３次元画像を見て、クレーンＴに異常がないか検査してもよい。

【0045】

以上のように、実施形態１のクレーン用撮影システムによれば、表示許可又は表示不許可の対象を示す情報が格納される設定情報格納部３１と、移動体１０の撮影部２１の撮像データとから表示不許可の対象が除外された合成画像を作成する画像作成部３２と、が備わる。したがって、現場に配置されたクレーンＴを対象として、移動体１０の撮影部２１により対象を撮影し、その撮像データから現場周辺の撮影が望まれないものを除外した合成画像を作成することができる。そして、作成された合成画像を、クレーンＴの診断等に用いることができる。クレーンＴの診断を検査員の目視により行う場合、ブームＢを倒伏させる必要があるが、ブームＢを倒伏させるスペースがない場合でも、本実施形態のクレーン用撮影システムを用いることで、合成画像に基づきクレーンＴを診断することができる。

【0046】

さらに、実施形態１のクレーン用撮影システムによれば、画像作成部３２が移動体１０に備わる。したがって、撮影が望まれないものが写った画像が、第３者から傍受されてしまう可能性を非常に低くすることができる。

【0047】

さらに、実施形態１のクレーン用撮影システムによれば、画像作成部３２は、表示許可の対象を検出し（例えば図６のステップＳ４）、撮影画像から表示許可の対象以外の部分を除去する（例えば図６のステップＳ５、Ｓ７）。したがって、例えば、ブームＢの構成材料の間に表示不許可の対象が撮像データに入り込むような場合でも、ブームＢの構成材料などの必要な部分を残し、表示不許可の部分を除外した合成画像を容易な処理によって作成することができる。

【0048】

さらに、実施形態１のクレーン用撮影システムによれば、表示不許可の対象が除外された合成画像が作成されたら、データ処理部３４が元の撮像データを削除する。したがって、撮影が望まれないものが写った撮影画像が、第３者から傍受されてしまう可能性を非常に低くできる。

【0049】

さらに、実施形態１のクレーン用撮影システムによれば、撮影対象の距離を検出するための距離検出部２５を有し、画像作成部３２は、距離検出部２５の検出結果を更に用いて、撮影画像から表示不許可の対象を除外する。したがって、画像作成部３２は、表示許可の対象と、表示不許可に対象とを、より正確に判別できる。

【0050】

さらに、実施形態１のクレーン用撮影システムによれば、距離検出部２５の視野範囲Ｗ１は撮影部２１の視野範囲Ｗ２を含む。このような構成により、撮影部２１が撮影する全範囲において写り込んだものの距離を検出でき、距離情報に基づき単純な情報処理によってマスク処理を実行できる。また、距離検出部２５の視野範囲Ｗ１の方が、撮影部２１の視野範囲Ｗ２よりも大きいので、視野範囲Ｗ２に撮影されたもの全ての距離を検出できる。したがって、距離を検出できずに撮影画像中に表示許可の対象なのか表示不許可な対象なのか判別できない部分が残ってしまうことがない。

【0051】

さらに、実施形態１のクレーン用撮影システムによれば、表示許可の対象としてクレーンＴの情報（各部の位置情報）が含まれ、画像作成部３２は、クレーンＴが抽出された合成画像を作成する。このような構成によれば、クレーンＴの各部に異常が無いか診断を行う場合に適した合成画像を得ることができる。

【0052】

さらに、実施形態１のクレーン用撮影システムによれば、クレーンＴの３次元画像を得ることができる。したがって、検査員は、３次元画像によりクレーンＴ又はブームＢの全体像を容易に把握でき、かつ、各部の詳細な画像が全体のどの部分かを容易に把握することができる。

【0053】

さらに、実施形態１のクレーン用撮影システムによれば、診断部８３が、合成画像又は三次元画像に基づきクレーンＴの診断を行うので、検査員を要さずに、クレーンＴの診断結果を得ることができる。

【0054】

なお、実施形態１では、画像作成部３２が、距離検出部２５の検出結果を用いて、クレーンＴが写った範囲を判定する構成を示した。しかし、画像作成部は、距離の検出結果を使用せずに、クレーンＴの各部の絶対位置の情報と、移動体１０の絶対位置及び向きの情報とから、撮影データ中のクレーンＴが写った範囲を判定してもよい。また、画像作成部３２は、距離検出の替わりに画像認識を行って、撮像データ中のクレーンＴが写った範囲を判定するように構成されてもよい。その場合、画像作成部は、予め記憶されたクレーンＴの三次元モデルデータと画像とを比較して画像認識を行ってもよいし、三次元モデルデータを使用せずに予め記憶された認識用の画像パターンを用いて画像認識を行ってもよい。また、画像作成部３２は、学習機能により、クレーンＴの各部を認識する精度を高める機能を有してもよい。

【0055】

さらに、実施形態１では、設定情報格納部３１に表示を許可する対象であるクレーンＴの位置情報（３次元モデルデータ等）が格納される例を示した。しかし、設定情報格納部３１には表示許可されない対象、例えば、現場周辺の建物などの位置情報が格納されてもよい。この場合、画像作成部３２は、移動体１０の位置情報と距離の検出結果とから、あるいは、画像認識の結果から、撮像データ中の表示不許可の対象が含まれる範囲を判定し、この範囲をマスク処理するように構成されてもよい。

【0056】

また、実施形態１では、表示許可の対象を示す情報として、３次元モデルデータなど対象の各部の相対位置を示す情報が採用される例を示した。しかし、表示許可の対象と、表示不許可の対象とが、色分けされている場合には、色情報が採用されてもよいし、特定の波長光の反射から識別できる場合には、その識別情報が採用されてもよく、また、温度から識別できる場合には、温度情報が採用されてもよい。

【0057】

また、実施形態１では、表示許可の対象を示す設定情報が格納される設定情報格納部３１、画像作成部３２、撮像データを削除するデータ処理部３４、３次元画像作成用の機能モジュール８２のうち、いずれかか移動体１０に備わり、いずれかがコンピュータ８０に備わる例を示したが、これらの各要素は、移動体１０とコンピュータ８０のどちらに備わっていてもよいし、コンピュータ８０とは別の管理端末、サーバ装置、クレーンに備わるコンピュータ等に備わっていてもよいなど、各要素が通信等により連携して機能できれば、それらの配置は限定されない。管理端末は、現場監督用の管理携帯端末であってもよい。また、画像表示が可能な表示部が移動体に備わっていてもよい。また、本発明に係るクレーン撮影用システムは、画像を表示する構成（例えばコンピュータ８０）を含まず、合成画像又は３次元画像の作成までを行う構成としてもよい。

【0058】

さらに、実施形態１では、クレーン用撮影システムをクレーンＴの診断用の画像を取得する目的で使用した例を示した。しかし、本発明に係るクレーン用撮影システムは、クレーンＴの動作管理、搬送中の荷の管理、荷の搬送経路の管理、クレーンＴ周辺の安全管理、クレーンＴの運転状況の記録など、クレーンＴ又はクレーンＴ周辺の撮影画像を利用できる各種業務又は各種機能を遂行するために使用されてもよい。この場合、表示許可の対象の情報には、荷を示す情報が含まれてもよい。また、クレーンＴの姿勢の情報は、逐次測定及び画像作成部３２に提供され、表示不許可の範囲が除外された合成画像は、無線を介してリアルタイムにコンピュータ８０等へ送られて表示出力される構成としてもよい。この場合、合成画像は、通信ネットワークを介して管理サーバへ送られ、現場とは離れた箇所で管理者が閲覧してもよいし、現場の監督者がタブレットを介して閲覧できるようにしてもよいし、運転者がキャブ内で閲覧できるようにしてもよい。

【0059】

また、実施形態１において、クレーン用撮影システムは、移動体１０のベース構成（機体、プロペラ１１、駆動部１２、測位部１３及び移動制御部１４）と、クレーンＴを撮影するための構成（撮影部２１、距離検出部２５、設定情報格納部３１、画像作成部３２、画像記憶部３３、データ処理部３４、通信部３６及び統括制御部３８）とを有すると説明した。しかし、クレーン用撮影システムは、移動体１０のベース構成（機体、プロペラ１１、駆動部１２、測位部１３及び移動制御部１４）を有さず、汎用の移動体に、クレーンＴを撮影するための構成を搭載して使用される構成としてもよい。この場合、統括制御部３８が、移動体１０の移動制御部１４に接続され、移動制御部１４へ移動指令を送ることができれば、実施形態１の動作を実現できる。また、移動体１０は飛行せず、クレーンＴの近傍に用意されたレールやロープを伝って移動する装置など、クレーンＴの撮影すべき箇所を撮影できる位置まで移動できれば、どのような移動方法が採用された装置であってもよい。

【0060】

（実施形態２）
図８は、本発明の実施形態２に係るクレーン用撮影システムを示すブロック図である。実施形態２において、実施形態１と同様の構成要素については、同一の符号を付して詳細な説明を省略する。図９は、実施形態２のクレーン用撮影システムによる撮影の一例を説明する図を示す。実施形態２のクレーン用撮影システムは、移動体１０Ａと、コンピュータ８０とを備える。移動体１０Ａは、いわゆるドローンであり、複数のプロペラ１１、複数の駆動部１２、測位部１３、移動制御部１４、撮影部２１、設定情報格納部３１、画像記憶部３３、通信部３６及び統括制御部３８Ａを備える。

【0061】

統括制御部３８Ａ及び設定情報格納部３１は、例えばマイクロコンピュータのＣＰＵがプログラムを実行することで実現されるソフトウェアモジュールである。マイクロコンピュータは、ＣＰＵ、ＲＯＭ（Read Only Memory）、作業用のメモリ領域を提供するＲＡＭ（Random Access Memory）を備え、移動体１０Ａに設けられている。ＲＯＭには、マイクロコンピュータを、統括制御部３８Ａ及び設定情報格納部３１として機能させるプログラムが格納されている。

【0062】

設定情報格納部３１には、クレーンＴの位置情報（例えば３次元モデルデータ）、クレーンＴが設置される現場の敷地Ｅ１の位置情報、現場の囲いＥ２の位置情報などが、表示許可の対象を示す情報として格納されている。また、設定情報格納部３１には、現場周辺の別の建物の位置情報などが、表示不許可の対象を示す情報として格納されていてもよい。

【0063】

統括制御部３８Ａには、クレーンＴ、クレーンＴの周辺又はこれら両方のうち、撮影すべき箇所（被撮影箇所）の情報が、予め設定される。統括制御部３８Ａは、被撮影箇所の撮影の際、背景に表示不許可の対象が入りこまないように、被撮影箇所の撮影位置及び撮影方向を計算する。そして、統括制御部３８Ａは、計算された撮影位置に移動体１０Ａを移動させ、計算された撮影方向に撮影部２１を向けて、撮影を実行させる。

【0064】

例えば、図９に示すように、ブームＢに設定された被撮影箇所Ｐ２を撮影する場合、統括制御部３８Ａは、背景Ｆ１～Ｆ３が空、現場の敷地Ｅ１又は囲いＥ２となる複数の撮影位置Ｑ１～Ｑ３及び撮影方向Ｒ１～Ｒ３を演算する。そして、統括制御部３８Ａは、これらの撮影位置Ｑ１～Ｑ３及び撮影方向Ｒ１～Ｒ３に撮影部２１が配置されるように、移動体１０Ａを移動させ、撮影部２１の向きを制御し、撮影部２１に撮影処理を実行させる。撮影部２１は、画角を絞る機能と、撮影方向を変更できる機能とを有し、統括制御部３８Ａが、撮影部２１の撮影方向と画角とを制御してもよい。

【0065】

このような撮影処理によれば、被撮影箇所を複数方向から眺めた画像で、かつ、表示不許可の対象が入り込まない画像が得られ、これらの画像に基づきクレーンＴを診断したり、診断対象の３次元画像を作成することができる。クレーンＴの診断を検査員の目視により行うにはブームＢを倒伏させる必要があるが、ブームＢを倒伏させるスペースのない現場においても、クレーンＴを撮影し、撮影画像に基づきクレーンＴを診断することができる。

【0066】

撮影画像は、搬送中の荷の管理、荷の搬送経路の管理、クレーンＴ周辺の安全管理、クレーンＴの運転状況の記録などに利用することもできる。これら場合、統括制御部３８Ａは、被撮影箇所の背景が現場の敷地又は囲いとなる撮影位置及び撮影方向を演算する。そして、統括制御部３８Ａは、演算された撮影位置及び撮影方向に撮影部２１が配置されるように、移動体１０を移動させ、撮影部２１の向きを制御し、撮影部２１に撮影処理を実行させる。そして、撮影された画像をリアルタイムで、管理室のコンピュータ、現場の監督者のタブレット、キャブ内のコンピュータなどに配信し、上記の管理又は記録を行うことができる。

【0067】

以上のように、実施形態２のクレーン用撮影システムによれば、表示を許可する対象又は表示が不許可な対象を示す情報が格納される設定情報格納部３１と、これらの情報に基づき表示不許可の対象が写り込まないようにクレーンＴ、その周辺、又はこれら両方を撮影させる統括制御部３８とを備える。したがって、撮影が望まれないものが周囲にあっても、その部分が写り込まず、必要な部分が写った撮影を行うことができる。

【0068】

なお、実施形態２においては、クレーン用撮影システムが、移動体１０のベース構成と、クレーンＴを撮影するための構成（撮影部２１、設定情報格納部３１、画像記憶部３３及び統括制御部３８Ａ）とを備えると説明した。しかし、クレーン用撮影システムは、移動体１０のベース構成を有さず、汎用の移動体に、クレーンＴを撮影するための構成を搭載して使用される構成としてもよい。その場合、統括制御部３８Ａが移動体１０の移動制御部１４との指令及び応答を入出力可能に接続されれば、上述した動作を実現できる。

【0069】

（実施形態３）
図１０は、本発明の実施形態３に係るクレーン用撮影システムを示すブロック図である。実施形態３において、実施形態１と同様の構成要素については、同一の符号を付して詳細な説明を省略する。実施形態３のクレーン用撮影システムは、移動体１０Ｂと、コンピュータ８０とを備える。移動体１０Ｂは、いわゆるドローンであり、プロペラ１１、駆動部１２、測位部１３、移動制御部１４、撮影部２１Ｂ、画像記憶部３３及び統括制御部３８Ｂを備える。

【0070】

撮影部２１Ｂは、可視光以外の光（赤外線等）又は電磁波を用いて対象を撮像する構成であり、可視光以外の光又は電磁波を取り込んで結像させる光学系と、結像した光又は電磁波を受けて電気信号に変換する撮像部と、を有する。撮影部２１Ｂは、可視光以外の光又は電磁波を出力する光源を有してもよい。このような構成により、撮影部２１ＢがクレーンＴの各部に近づいたときには、クレーンＴ各部が映像に写る一方、遠くにある建物、道路あるいはそこに居る人の個人を特定できる情報が含まれるものなど、表示不許可とされるべき内容が映像に写らない特性が得られる。

【0071】

統括制御部３８Ｂには、クレーンＴ、クレーンＴの周辺又はこれら両方のうち、撮影すべき箇所（被撮影箇所）の情報が予め設定される。統括制御部３８Ｂは、被撮影箇所の近傍へ移動体１０Ｂを移動させ、撮影箇所に撮影部２１Ｂが向くように移動体１０を旋回させたら、撮影部２１Ｂに撮影指令を出力して撮影を実行させる。

【0072】

以上のように、実施形態３のクレーン用撮影システムによれば、可視光以外の光又は電磁波を受けて撮影を行う撮影部２１Ｂを備える。したがって、現場周辺に撮影が望まれないものがあっても、その部分が写り込まず、必要な部分が写った撮影を行うことができる。そして、この画像により、クレーンＴ各部の診断、運転の管理又は運転の記録などを遂行することができる。

【0073】

なお、実施形態３においては、クレーン用撮影システムが、移動体１０のベース構成と、クレーンＴを撮影するための構成（撮影部２１Ｂ、画像記憶部３３及び統括制御部３８Ｂ）とを備えると説明した。しかし、クレーン用撮影システムは、移動体１０のベース構成を有さず、汎用の移動体に、クレーンＴを撮影するための構成を搭載して使用される構成としてもよい。その場合、統括制御部３８Ｂが移動体１０の移動制御部１４との間で信号を入出力可能に接続されれば、上述した動作が実現される。

【0074】

以上、本発明の各実施形態について説明した。しかし、本発明は上記の実施形態に限られない。例えば、移動体は、実施形態１～３のうちの２つ又は３つが複合された構成としてもよい。また、本発明に係るクレーン用撮影システムが撮影対象とするクレーンの種類は、特に限定されるものでなく、例えばタワークレーン、ホイールクレーン、トラッククレーン、門型クレーン、ジブクレーンなどであってもよい。

【0075】

また、上記実施形態では、本発明に係るプログラムを記憶するコンピュータ読み取り可能な媒体として移動体１０、１０Ａに搭載されるマイクロコンピュータのＲＯＭを適用した例を説明したが、これに限定されない。プログラムを記憶する媒体としては、管理端末及びサーバ装置などの他のコンピュータの記憶装置が適用されてもよいし、ＨＤＤ（Hard Disk Drive）、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記録媒体が適用されてもよい。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）が適用されてもよい。さらに、上記実施形態では、本発明に係るプログラムが、移動体１０、１０Ａに搭載されるマイクロコンピュータにより実行されて、当該プログラムによりマイクロコンピュータが各ソフトウェアモジュールとして機能する構成を示した。しかし、本発明に係るプログラムは、クレーンに備わるコンピュータ、管理端末、サーバ装置など、移動体以外に配置されるコンピュータが実行して、当該プログラムにより当該コンピュータが各ソフトウェアモジュールとして機能してもよい。

【0076】

また、上記実施形態では、移動体１０が所謂ドローンである例を示したが、移動体は、例えばクレーンの近傍に用意されたレールやロープを伝って移動する装置など、クレーンの撮影すべき箇所を撮影できる位置まで移動できれば、どのような移動方法が採用された装置であってもよい。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0077】

１０ 移動体
１１ プロペラ
１２ 駆動部
１３ 測位部
１４ 移動制御部
２１ 撮影部
２１Ｂ 可視光によらない撮影部
２５ 距離検出部
３１ 設定情報格納部（格納部）
３２ 画像作成部
３３ 画像記憶部
３４ データ処理部
３６通信部
３８、３８Ｂ 統括制御部
３８Ａ 統括制御部（制御部）
８０ コンピュータ
８１ 表示部
８２ 機能モジュール
８３ 診断部
８４ 通信部
Ｔ クレーン
Ｂ ブーム
Ｅ、Ｅ１ 敷地
Ｅ２ 囲い
Ｆ１～Ｆ３ 背景
Ｐ１、Ｐ２ 被撮影箇所
Ｒ１～Ｒ３ 撮影方向
Ｑ１～Ｑ３ 撮影位置
Ｗ１ 距離検出部の視野範囲
Ｗ２ 撮影部の視野範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】