特開 2023-95406 情報処理装置、情報処理システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023095406

(43)【公開日】2023-07-06

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230629BHJP

   G06T 5/50 20060101ALI20230629BHJP

   B66C 13/00 20060101ALI20230629BHJP

   H04N 7/18 20060101ALI20230629BHJP

【ＦＩ】

G06T7/70 A

G06T5/50

B66C13/00 D

H04N7/18 D

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021211276

(22)【出願日】2021-12-24

(71)【出願人】

【識別番号】514274487

【氏名又は名称】リコーインダストリアルソリューションズ株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】岸和田 潤

(72)【発明者】

【氏名】安田 拓郎

(72)【発明者】

【氏名】天野 聖也

(72)【発明者】

【氏名】酒匂 史子

【テーマコード（参考）】

5B057

5C054

5L096

【Ｆターム（参考）】

5B057AA19

5B057CA08

5B057CA12

5B057CA13

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE14

5B057DA07

5B057DA12

5B057DA16

5B057DB02

5B057DB09

5B057DC03

5B057DC33

5B057DC40

5C054CE00

5C054FC12

5C054FE12

5C054HA18

5L096AA02

5L096AA06

5L096AA09

5L096BA02

5L096CA04

5L096DA01

5L096FA16

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096JA09

5L096KA04

(57)【要約】

【課題】対象物と基準位置の位置関係を容易に識別すること。
【解決手段】情報処理装置の一例である処理装置は、撮影画像に基づき、撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成手段の一例である画像生成部を備え、画像生成部は、対象物の基準位置からの距離に応じて、識別画像を生成するか否かを決定、または識別画像を表示させるときの表示形態を変更する。
【選択図】図１４

【特許請求の範囲】

【請求項1】

撮影画像に基づき、前記撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成手段を備え、
前記画像生成手段は、前記対象物の基準位置からの距離に応じて、前記識別画像を生成するか否かを決定、または前記識別画像を表示させるときの表示形態を変更する情報処理装置。

【請求項2】

前記対象物が人であり、前記基準位置が荷物を吊るしたクレーンのフックまたは前記フックにより吊るされた荷物の位置である請求項１記載の情報処理装置。

【請求項3】

前記対象物が荷物であり、前記基準位置がクレーンのフックの位置である請求項１記載の情報処理装置。

【請求項4】

前記対象物がクレーンのフックにより吊るされた荷物であり、前記基準位置が前記フックにより吊るされる前の前記荷物の位置である請求項１記載の情報処理装置。

【請求項5】

前記画像生成手段は、前記対象物の前記基準位置からの距離、および前記基準位置の第２の基準位置からの距離に応じて異なる表示形態となるように、前記識別画像を生成する請求項１～４の何れか記載の情報処理装置。

【請求項6】

前記対象物が人であり、前記基準位置がクレーンのフックにより吊るされた荷物の位置であり、前記第２の基準位置が前記フックにより吊るされる前の前記荷物の位置である請求項５記載の情報処理装置。

【請求項7】

前記撮影画像と、前記識別画像を含む表示画像を表示部に表示させる表示制御手段を備えた請求項１～６の何れか記載の情報処理装置。

【請求項8】

前記情報処理装置と通信可能な通信端末に対して、前記撮影画像と前記識別画像を送信する送信手段を備えた請求項１～７の何れか記載の情報処理装置。

【請求項9】

情報処理装置と、前記情報処理装置と通信可能な通信端末を備えた情報処理システムであって、
前記情報処理装置は、
撮影画像に基づき、前記撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成手段と、
前記通信端末に対して、前記撮影画像と前記識別画像を送信する送信手段と、を備え、
前記画像生成手段は、前記対象物の基準位置からの距離に応じて、前記識別画像を生成するか否かを決定、または前記識別画像を表示させるときの表示形態を変更し、
前記通信端末は、
前記撮影画像と前記識別画像を受信する受信手段と、
前記撮影画像と前記識別画像を含む表示画像を表示部に表示させる表示制御手段と、
を備える情報処理システム。

【請求項10】

情報処理装置と、前記情報処理装置と通信可能な仲介装置と、前記仲介装置と通信可能な通信端末を備えた情報処理システムであって、
前記情報処理装置は、
撮影画像に基づき、前記撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成手段と、
前記仲介装置に対して、前記撮影画像と前記識別画像を送信する送信手段と、を備え、
前記画像生成手段は、前記対象物の基準位置からの距離に応じて、前記識別画像を生成するか否かを決定、または前記識別画像を表示させるときの表示形態を変更し、
前記仲介装置は、
前記撮影画像と前記識別画像を受信する受信手段と、
前記通信端末に対して、前記撮影画像と前記識別画像を含む合成画像を送信する送信手段と、を備え、
前記通信端末は、
前記合成画像を受信する受信手段と、
前記合成画像を表示部に表示させる表示制御手段と、
を備える情報処理システム。

【請求項11】

撮影画像に基づき、前記撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成ステップを備え、
前記画像生成ステップは、前記対象物の基準位置からの距離に応じて、前記識別画像を生成するか否かを決定、または前記識別画像を表示させるときの表示形態を変更する処理を含む情報処理方法。

【請求項12】

コンピュータに、請求項１１記載の情報処理方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、クレーンのフックが移動可能な空間から少なくとも水平方向に離れて配置され、空間を少なくとも水平方向に向かって撮影するカメラと、カメラにより生成された画像に含まれる、フックに吊られた吊り荷、及び人を識別する識別部と、画像で識別された吊り荷と人との位置関係に基づいて、危険状態であるか否かを判定する判定部と、危険状態であると判定された場合に、警報を出力する警報出力部と、を備えるクレーン作業監視システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０―０９３８９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、対象物と基準位置の位置関係を容易に識別することを課題とする。

【課題を解決するための手段】

【0005】

本発明に係る情報処理装置は、撮影画像に基づき、前記撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成手段を備え、前記画像生成手段は、前記対象物の基準位置からの距離に応じて、前記識別画像を生成するか否かを決定、または前記識別画像を表示させるときの表示形態を変更する。

【発明の効果】

【0006】

本発明によれば、対象物が基準位置の位置関係を容易に識別することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る通信システムの全体構成図である。

【図2】本実施形態に係る処理装置、管理サーバのハードウエア構成図である。

【図3】本実施形態に係るデータ取得装置のハードウエア構成図である。

【図4】本実施形態に係る通信システムの機能ブロック図である。

【図5】本実施形態に係る教師データ管理テーブルの一例を示す概念図である。

【図6】本実施形態に係る処理の一例を示すシーケンス図である。

【図7】本実施形態に係る作業判定処理の一例を示すフローチャートである。

【図8】本実施形態に係る画像生成処理の一例を示すフローチャートである。

【図9】本実施形態に係る画像生成処理の第二の例を示すフローチャートである。

【図10】本実施形態に係る画像生成処理の第三の例を示すフローチャートである。

【図11】本実施形態に係る画像生成処理の第四の例を示すフローチャートである。

【図12】本実施形態に係る作業前と判定された状態を示す表示画像の説明図である。

【図13】本実施形態に係る作業中と判定された状態を示す表示画像の説明図である。

【図14】本実施形態に係る地切り中と判定された状態を示す表示画像の説明図である。

【図15】本実施形態に係る吊り荷中と判定された状態を示す表示画像の説明図である。

【発明を実施するための形態】

【0008】

図１は、本発明の実施形態に係る情報処理システムの一例である通信システムの全体構成図である。本実施形態の通信システム１は、データ取得装置９、通信端末１０、情報処理装置の一例である処理装置３０、及び通信端末、仲介装置の一例である管理サーバ５０によって構築されている。

【0009】

データ取得装置９、通信端末１０、処理装置３０、及び管理サーバ５０は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等によって構築されている。通信ネットワーク１００には、有線通信だけでなく、３Ｇ（３ｒｄＧｅｎｅｒａｔｉｏｎ）、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。

【0010】

データ取得装置９と処理装置３０は、クレーン２１０の作業現場に設けられており、それぞれクレーン２１０と一体で構成されていてもよい。現場のオペレータは、処理装置３０により、現場の作業内容を確認することができる。また、遠隔地の管理者は、通信端末１０により、現場の作業内容を確認することができる。

【0011】

データ取得装置９は、撮影装置７、および距離センサ８を備える。撮影装置７は、クレーン２１０に設けられ、クレーン２１０のフック２２１、荷物Ｐ、およびその周辺の物体や人等の被写体を撮影して撮影画像を取得する。距離センサ８は、クレーン２１０に設けられ、撮影装置７によって撮影された被写体との距離を計測して、距離情報を取得する。

【0012】

撮影装置７は、タイムラプス画像や動画を取得してもよく、その場合、距離センサ８は、撮影装置７のフレームレートに同期して、距離情報を取得する。

【0013】

距離センサ８は、ＴｏＦセンサ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）であり、光源から物体にレーザ光を照射し、その散乱や反射光を計測することにより、光源から物体までの距離を測定する。

【0014】

具体的には、距離センサ８は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサである。ＬｉＤＡＲとは、パルスを用いて光飛行時間を測定する方式であるが、ＴｏＦセンサのその他の方式として、位相差検出方式で距離を計測してもよい。位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射し、その反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。

【0015】

なお、データ取得装置９は、撮影装置７と距離センサ８に代えてステレオカメラを備え、ステレオカメラにより撮影画像および距離情報を取得しても良い。

【0016】

＜ハードウエア構成＞
図２は、本実施形態に係る処理装置、管理サーバのハードウエア構成図である。処理装置３０の各ハードウエア構成は、３００番台の符号で示されている。管理サーバ５０の各ハードウエア構成は、括弧内の５００番台の符号で示されている。また、通信端末１０も、処理装置３０、管理サーバ５０と同様のハードウエア構成を備えているが、説明は省略する。

【0017】

処理装置３０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３、ＨＤ（ＨａｒｄＤｉｓｋ）３０４、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＷ（ＣｏｍｐａｃｔＤｉｓｃ－ＲｅＷｒｉｔａｂｌｅ）ドライブ３１４、及び、バスライン３１０を備えている。

【0018】

これらのうち、ＣＰＵ３０１は、処理装置３０全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ３０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。キーボード３１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ３１３に対する各種データの読み出し又は書き込みを制御する。

【0019】

また、管理サーバ５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ５０５、記録メディア５０６、メディアＩ／Ｆ５０７、ディスプレイ５０８、ネットワークＩ／Ｆ５０９、キーボード５１１、マウス５１２、ＣＤ－ＲＷドライブ５１４、及び、バスライン５１０を備えている。これらは、それぞれ上述の構成（ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ３０４、ＨＤＤ３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＷドライブ３１４、及び、バスライン３１０）と同様の構成であるため、これらの説明を省略する。

【0020】

なお、ＣＤ－ＲＷドライブ３１４（５１４）ではなく、ＣＤ－Ｒドライブ等であってもよい。また、処理装置３０、及び管理サーバ５０は、それぞれ単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

【0021】

○データ取得装置のハードウエア構成○
図３は、データ取得装置のハードウエア構成の一例を示す図である。データ取得装置９は、図１に示されているような撮影装置７およびセンサ装置８とともに、データ取得装置９の処理または動作を制御するコントローラ９００を備える。

【0022】

コントローラ９００は、撮影装置Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）９０１、センサ装置Ｉ／Ｆ９０２、バスライン９１０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）９１４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ９１５、ネットワークＩ／Ｆ９１６、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ９１８、メディアＩ／Ｆ９２２、外部機器接続Ｉ／Ｆ９２３およびタイマ９２４を備えている。

【0023】

これらのうち、撮影装置Ｉ／Ｆ９０１は、撮影装置７との間で各種データまたは情報の送受信を行うためのインターフェースである。センサ装置Ｉ／Ｆ９０２は、センサ装置８との間で各種データまたは情報の送受信を行うためのインターフェースである。バスライン９１０は、図３に示されているＣＰＵ９１１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0024】

また、ＣＰＵ９１１は、データ取得装置９全体の動作を制御する。ＲＯＭ９１２は、ＩＰＬ等のＣＰＵ９１１の駆動に用いられるプログラムを記憶する。ＲＡＭ９１３は、ＣＰＵ９１１のワークエリアとして使用される。ＨＤ９１４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ９１５は、ＣＰＵ９１１の制御にしたがってＨＤ９１４に対する各種データの読み出しまたは書き込みを制御する。ネットワークＩ／Ｆ９１６は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。
ＤＶＤ－ＲＷドライブ９１８は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ９１７に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲやＢｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ９２２は、フラッシュメモリ等の記録メディア９２１に対するデータの読み出しまたは書き込み（記憶）を制御する。外部機器接続Ｉ／Ｆ９２３は、外部ＰＣ９３０等の外部機器を接続するためのインターフェースである。タイマ９２４は、時間計測機能を有する計測装置である。タイマ９２４は、コンピュータによるソフトタイマでもよい。

【0025】

図４は、本実施形態に係る通信システムの機能ブロック図である。

【0026】

＜処理装置の機能構成＞
処理装置３０は、通信部３１、受付部３２、表示制御部３３、判断部３４、画像生成部３５、検出部３６および記憶・読出部３９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能、又は機能する手段である。また、処理装置３０は、図２に示されているＲＡＭ３０３及びＨＤ３０４によって構築される記憶部３０００を有している。記憶部３０００は、記憶手段の一例である。

【0027】

＜処理装置の各機能構成＞
通信部３１は、送信手段の一例であり、図２に示されているＣＰＵ３０１からの命令、並びにネットワークＩ／Ｆ３０９によって実現され、通信ネットワーク１００を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。

【0028】

受付部３２は、受付手段の一例であり、主に、図２に示されているＣＰＵ３０１からの命令、並びにキーボード３１１及びマウス３１２によって実現され、利用者による各種入力を受け付ける。

【0029】

表示制御部３３は、表示制御手段の一例であり、図２に示されているＣＰＵ３０１からの命令によって実現され、表示部の一例であるディスプレイ３０８に、各種画像や画面を表示させる。

【0030】

判断部３４は、判断手段の一例であり、ＣＰＵ３０１の処理によって実現され、各種判断を行う。

【0031】

画像生成部３５は、画像生成手段の一例であり、ＣＰＵ３０１の処理によって実現され、画像生成処理を行う。

【0032】

検出部３６は、検出手段の一例であり、ＣＰＵ３０１の処理によって実現され、各種検出を行う。

【0033】

記憶・読出部３９は、記憶制御手段の一例であり、図２に示されているＣＰＵ３０１からの命令、並びに、ＨＤＤ３０５、メディアＩ／Ｆ３０７、及びＣＤ－ＲＷドライブ３１４によって実行され、記憶部３０００、記録メディア３０６、及びＣＤ－ＲＷ３１３に各種データを記憶したり、記憶部３０００、記録メディア３０６、及びＣＤ－ＲＷ３１３から各種データを読み出したりする処理を行う。記憶部３０００、記録メディア３０６、及びＣＤ－ＲＷ３１３は、記憶手段の一例である。

【0034】

記憶部３０００には、教師データ管理テーブルによって構成されている教師データ管理ＤＢ３００１が構築されている。

【0035】

教師データ管理ＤＢ３００１は、画像中から物体を検出するための教師画像を記憶、管理する。

【0036】

＜管理サーバの機能構成＞
管理サーバ５０は、通信部５１、受付部５２、表示制御部５３、処理部５４、及び記憶・読出部５９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は機能する手段である。また、管理サーバ５０は、図２に示されているＲＡＭ５０３及びＨＤ５０４により構築される記憶部５０００を有している。記憶部５０００は、記憶手段の一例である。

【0037】

＜管理サーバの各機能構成＞
通信部５１は、送信手段の一例であり、図２に示されているＣＰＵ５０１からの命令、並びにネットワークＩ／Ｆ５０９によって実現され、通信ネットワーク１００を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。

【0038】

受付部５２は、受付手段の一例であり、主に、図２に示されているＣＰＵ５０１からの命令、並びにキーボード５１１及びマウス５１２によって実現され、利用者による各種入力を受け付ける。

【0039】

表示制御部５３は、表示制御手段の一例であり、図２に示されているＣＰＵ５０１からの命令によって実現され、表示部の一例であるディスプレイ５０８に、各種画像や画面を表示させる。

【0040】

処理部５４は、図２に示されているＣＰＵ５０１からの命令によって実現され、画像生成処理等の各種処理を行なう。

【0041】

判断部５５は、図２に示されているＣＰＵ５０１からの命令によって実現され、各種判断を行なう。

【0042】

設定部５７は、図２に示されているＣＰＵ５０１からの命令によって実現され、各種設定、決定を行なう。

【0043】

記憶・読出部５９は、記憶制御手段の一例であり、図２に示されているＣＰＵ５０１からの命令、並びに、ＨＤＤ５０５、メディアＩ／Ｆ５０７、及びＣＤ－ＲＷドライブ５１４によって実行され、記憶部５０００、記録メディア５０６、及びＣＤ－ＲＷ５１３に各種データを記憶したり、記憶部５０００、記録メディア５０６、及びＣＤ－ＲＷ５１３から各種データを読み出したりする処理を行う。記憶部５０００、記録メディア５０６、及びＣＤ－ＲＷ５１３は、記憶手段の一例である。

【0044】

記憶部５０００には、教師データ管理テーブルによって構成されている教師データ管理ＤＢ５００１が構築されている。

【0045】

教師データ管理ＤＢ５００１は、画像中から物体を検出するための教師画像を記憶、管理する。

【0046】

＜通信端末の機能構成＞
通信端末１０は、通信部１１、受付部１２、表示制御部１３、判断部１４および記憶・読出部１５を有している。これら各部は、図２に示されているような各構成要素のいずれかが、ＨＤからＲＡＭ上に展開され通信端末用のプログラムに従ったＣＰＵからの命令によって動作することで実現される機能または手段である。また、通信端末１０は、図２に示されているようなＲＯＭおよびＨＤによって構築される記憶部１６を有している。

【0047】

＜通信端末の各機能構成＞
通信部１１は、主に、ネットワークＩ／Ｆに対するＣＰＵの処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の送受信を行う。

【0048】

受付部１２は、主に、キーボードまたはポインティングデバイスに対するＣＰＵの処理によって実現され、利用者から各種の選択または入力を受け付ける。

【0049】

表示制御部１３は、表示制御手段の一例であり、主に、ＣＰＵの処理によって実現され、表示部の一例であるディスプレイに、各種画像や画面を表示させる。

【0050】

判断部１４は、ＣＰＵの処理によって実現され、各種判断を行う。

【0051】

記憶・読出部１５は、図２に示されているようなＣＰＵからの命令、並びに、ＨＤＤ、メディアＩ／Ｆ、及びＣＤ－ＲＷドライブによって実行され、記憶部１６に、各種データ（または情報）を記憶したり、記憶部１６から各種データ（または情報）を読み出したりする。

【0052】

＜データ取得装置の機能構成＞
データ取得装置９は、通信部９１、判断部９２、撮影装置制御部９３、センサ装置制御部９４、撮影画像データ取得部９５、センサデータ取得部９６、時刻データ取得部９７、要求受付部９８および記憶・読出部９９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＨＤ９１４からＲＡＭ９１３上に展開されたデータ取得装置用のプログラムに従ったＣＰＵ９１１からの命令によって動作することで実現される機能または手段である。また、データ取得装置９は、図３に示されているＲＯＭ９１２およびＨＤ９１４によって構築される記憶部９０００を有している。

【0053】

＜データ取得装置の各機能構成＞
通信部９１は、主に、ネットワークＩ／Ｆ９１６に対するＣＰＵ９１１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。通信部９１は、例えば、撮影画像データ取得部９５およびセンサデータ取得部９６によって取得された取得データを、処理装置３０に対して送信する。判断部９２は、ＣＰＵ９１１の処理によって実現され、各種判断を行う。

【0054】

撮影装置制御部９３は、主に、撮影装置Ｉ／Ｆ９０１に対するＣＰＵ９１１の処理によって実現され、撮影装置７による撮影処理を制御する。センサ装置制御部９４は、主に、センサ装置Ｉ／Ｆ９０２に対するＣＰＵ９１１の処理によって実現され、センサ装置８に対するデータ取得処理を制御する。

【0055】

撮影画像データ取得部９５は、主に、撮影装置Ｉ／Ｆ９０１に対するＣＰＵ９１１の処理によって実現され、撮影装置７によって撮影された撮影画像に係る撮影画像データを取得する。センサデータ取得部９６は、主に、センサ装置Ｉ／Ｆ９０２に対するＣＰＵ９１１の処理によって実現され、センサ装置８による検知結果であるセンサデータを取得する。時刻データ取得部９７は、主に、タイマ９２４に対するＣＰＵ９１１の処理によって実現され、撮影画像データ取得部９５またはセンサデータ取得部９６によってデータが取得された時刻を示す時刻データを取得する。

【0056】

要求受付部９８は、主に、外部機器接続Ｉ／Ｆ９２３に対するＣＰＵ９１１の処理によって実現され、ＣＰＵ９１１の処理によって実現され、外部ＰＣ９３０等から所定の要求を受け付ける。

【0057】

記憶・読出部９９は、主に、ＣＰＵ９１１の処理によって実現され、記憶部９０００に、各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

【0058】

図５は、本実施形態に係る教師データ管理テーブルの一例を示す概念図である。

【0059】

設定情報管理テーブルは、画像中から物体を検出するための教師画像を管理するためのテーブルである。記憶部３０００には、図５に示されているような教師データ管理テーブルによって構成されている教師データ管理ＤＢ３００１が構築されている。また、記憶部５０００にも、図５に示されているような教師データ管理テーブルによって構成されている教師データ管理ＤＢ５００１が構築されている。この教師データ管理テーブルでは、種別ＮＯ．ごとに、検出する物体の種別名、および教師画像が関連づけられて管理されている。

【0060】

図６は、本実施形態に係る処理の一例を示すシーケンス図である。

【0061】

データ取得装置９の撮影装置７は、クレーン２１０に設けられ、クレーン２１０のフック２２１、荷物Ｐ、およびその周辺の物体や人等の被写体を撮影して撮影画像を取得し、距離センサ８は、撮影装置７によって撮影された被写体との距離を計測して、距離情報を取得する（ステップＳ１）。

【0062】

データ取得装置９の通信部９１は、処理装置３０に対して、取得した撮影画像と距離情報を送信し、処理装置３０の通信部３１は、データ取得装置９から送信された撮影画像と距離情報を受信する。（ステップＳ２）。

【0063】

検出部３６は、ステップＳ２で受信された撮影画像に基づき、教師データ管理ＤＢ３００１に示されている教師画像を用いた画像マッチング処理によって、撮影画像中に含まれる物体の種別を検出する（ステップＳ３）。

【0064】

判断部３４は、ステップＳ２で受信された距離情報と、ステップＳ３で検出された物体を示す物体情報に基づき、現在の作業内容を判定する（ステップＳ４）。

【0065】

具体的には、判断部３４は、作業前であるか作業中であるか、フック２２１に吊るされた荷物Ｐが揺れているか否か、作業者が安全であるか否か等の作業内容を判定する。

【0066】

画像生成部３５は、ステップＳ２で受信された撮影画像および距離情報と、ステップＳ３で検出された物体情報と、ステップＳ４で判定された作業内容に基づき、撮影画像に含まれる対象物の位置を示す識別画像を生成する（ステップＳ５）。ステップＳ５は、画像形成ステップの一例である。なお、識別画像の詳細については、後述する。

【0067】

表示制御部３３は、撮影画像に識別画像を重畳させた表示画像をディスプレイ３０８に表示させる（ステップＳ６）。表示制御部３３は、撮影装置７がタイムラプス画像や動画を取得する場合、タイムラプス画像や動画により表示画像を表示させる。また、表示制御部３３は、表示画像とともに、ステップＳ４で判定された作業内容をディスプレイ３０８に表示させてもよい。

【0068】

処理装置３０の通信部３１は、管理サーバ５０に対して、撮影画像と識別画像を別々のデータで送信し、管理サーバ５０の通信部５１は、処理装置３０から送信された撮影画像と識別画像を受信する。（ステップＳ７）。

【0069】

ここで、処理装置３０の通信部３１は、撮影装置７がタイムラプス画像や動画を取得する場合、管理サーバ５０に対して、生成された識別画像とそれに対応する撮影画像の全てや動画を送信するのではなく、一部の撮影画像と識別画像を送信する。

【0070】

一例として、通信部３１は、ステップＳ４で作業者が安全ではないと判定された場合等、所定の条件が成り立った場合のみ、管理サーバ５０に対して、撮影画像と識別画像を送信する。

【0071】

また、通信部３１は、撮影画像と識別画像に対応付けて、ステップＳ４で判定された作業内容を管理サーバ５０に対して送信しても良い。

【0072】

管理サーバ５０の処理部５４は、ステップＳ７で受信した撮影画像に識別画像を重畳させた合成画像を生成し、表示制御部５３は、合成画像をディスプレイ５０８に表示させる（ステップＳ８）。

【0073】

管理サーバ５０の通信部５１は、通信端末１０に対して、ステップＳ８で生成した合成画像を送信し、通信端末１０の通信部１１は、管理サーバ５０から送信された合成画像を受信する。（ステップＳ９）。管理サーバ５０の通信部５１は、撮影画像と識別画像に対応付けて、ステップＳ４で判定された作業内容を通信端末１０に対して送信しても良い。

【0074】

通信端末１０の表示制御部１３は、合成画像をディスプレイに表示させる（ステップＳ１０）。

【0075】

管理サーバ５０の記憶・読出部５９は、メディアＩ／Ｆ、ＣＤ－ＲＷドライブ等に記憶された新たな教師画像や、ステップＳ７で受信した撮影画像と識別画像を学習処理した結果に基づき、教師データ管理ＤＢ５００１で管理される教師画像を更新する（ステップＳ１１）。

【0076】

通信部５１は、処理装置３０に対して、ステップＳ１１で更新した教師画像のデータを送信し、処理装置３０の通信部３１は、管理サーバ５０から送信された教師画像のデータを受信する（ステップＳ１２）。

【0077】

処理装置３０の記憶・読出部３９は、ステップＳ１２で受信した教師画像データに基づき、教師データ管理ＤＢ３００１で管理される教師画像を更新する（ステップＳ１３）。これにより、教師データ管理ＤＢ３００１で管理される教師画像を、教師データ管理ＤＢ５００１で管理される教師画像と同一にすることができる。

【0078】

図７は、本実施形態に係る作業判定処理の一例を示すフローチャートであり、図６のステップＳ４に対応する処理を示す。

【0079】

処理装置３０の検出部３６は、図６に示したステップＳ３で検出された物体の撮影画像中の位置を検出する（ステップＳ２１）。

【0080】

検出部３６は、ステップＳ２で受信された距離情報に基づき、ステップＳ２１で検出された物体の三次元の位置を検出する（ステップＳ２２）。

【0081】

検出部３６は、ステップＳ２２で検出された物体の三次元の位置と、当該物体について前回の作業判定時に検出された物体の三次元の位置を比較して、移動量、移動速度および移動方向等を含む物体の移動情報を検出する（ステップＳ２３）。

【0082】

判断部３４は、ステップＳ２２で検出されたフック２２１と荷物Ｐの位置情報に基づき、これらの距離が所定範囲内か判断し（ステップＳ２４）、所定範囲外の場合は、作業前であると判定する（ステップＳ２５）。

【0083】

判断部３４は、ステップＳ２４でフック２２１と荷物Ｐの距離が所定範囲内であると判断した場合は、ステップＳ２３で検出したフック２２１または荷物Ｐの移動量が閾値範囲内か判断する（ステップＳ２６）。

【0084】

判断部３４は、ステップＳ２６でフック２２１または荷物Ｐの移動量が閾値範囲外であると判断した場合は、荷物Ｐが揺れていると判定する（ステップＳ２７）。

【0085】

判断部３４は、ステップＳ２６でフック２２１または荷物Ｐの移動量が閾値範囲内であると判断した場合は、作業中であると判定し、ステップＳ２１で検出された物体の三次元の位置およびステップＳ２３で検出された移動情報に基づき、具体的な作業内容を判定する（ステップＳ２８）。

【0086】

例えば、判断部３４は、作業前の荷物Ｐの位置と作業中の荷物Ｐの位置が変わらない場合は玉掛け中と判定し、作業前の荷物Ｐの位置と作業中の荷物Ｐの位置が所定値（例えば３０ｃｍ）以内の場合は地切り中であると判定し、作業前の荷物Ｐの位置と作業中の荷物Ｐの位置が所定値を超える場合は吊り荷中であると判定し、作業前の荷物Ｐの移動方向が降下方向の場合は荷降ろし中であると判定する。

【0087】

判断部３４は、ステップＳ２２で検出されたフック２２１または荷物Ｐと、作業者の位置情報に基づき、作業者とフック２２１または荷物Ｐの距離が所定範囲内か判断し（ステップＳ２９）、所定範囲外の場合は、安全であると判定する（ステップＳ３０）。

【0088】

一方、判断部３４は、ステップＳ２８で地切り中または吊り荷中であると判定されており、作業者とフック２２１または荷物Ｐの距離が所定範囲内の場合は、危険であると判定する（ステップＳ３１）。

【0089】

図８は、本実施形態に係る画像生成処理の一例を示すフローチャートであり、図６のステップＳ５に対応する処理を示す。

【0090】

図７のステップＳ２４で説明したように、判断部３４が、荷物Ｐとフック２２１の距離が所定範囲内と判断した場合には（ステップＳ４１）、画像生成部３５は、荷物Ｐの位置を示す識別画像を生成する（ステップＳ４２）。一例として、画像生成部３５は、第１の表示形態として、荷物Ｐを囲う枠形状の識別画像を生成する。

【0091】

すなわち、画像生成部３５は、荷物Ｐのフック２２１からの距離に応じて、識別画像を生成するか否かを決定する。この場合、荷物Ｐは対象物の一例であり、フック２２１の位置は基準位置の一例である。

【0092】

そして、表示制御部が、撮影画像に識別画像を重畳させた表示画像をディスプレイに表示させることにより、オペレータや管理者は、荷物Ｐがフック２２１に近いか否か、すなわち荷物Ｐをフック２２１に取り付ける作業中であるか否かを容易に識別することができる。

【0093】

次に、図７のステップＳ２８で説明したように、判断部３４が、荷物Ｐが上昇したと判断し（ステップＳ４３）、荷物Ｐが上昇した距離が所定値未満であると判断した場合には（ステップＳ４４）、画像生成部３５は、荷物Ｐの位置を示す識別画像を第２の表示形態に変更する（ステップＳ４５）。一例として、画像生成部３５は、荷物Ｐを囲う枠形状の内部を青色で塗りつぶした識別画像を生成する。

【0094】

一方、ステップＳ４４で、判断部３４が、荷物Ｐが上昇した距離が所定値以上であると判断した場合には、画像生成部３５は、荷物Ｐの位置を示す識別画像を第３の表示形態に変更する（ステップＳ４６）。一例として、画像生成部３５は、荷物Ｐを囲う枠形状の内部を赤色で塗りつぶした識別画像を生成する。

【0095】

すなわち、画像生成部３５は、フック２２１により吊るされた荷物Ｐと、フック２２１により吊るされる前の荷物Ｐの距離、換言すると荷物Ｐの高さに応じて、識別画像を表示させるときの表示形態を変更する。この場合、フック２２１により吊るされた荷物Ｐが対象物の一例であり、フック２２１により吊るされる前の荷物Ｐの位置が基準位置の一例である。

【0096】

そして、表示制御部が、撮影画像に識別画像を重畳させた表示画像をディスプレイに表示させることにより、オペレータや管理者は、荷物Ｐ高さが所定範囲内か否か、すなわち地切り中か吊り荷中かを容易に識別することができる。

【0097】

図９は、本実施形態に係る画像生成処理の第二の例を示すフローチャートである。

【0098】

判断部３４が、フック２２１と荷物Ｐの距離が所定範囲内と判断した場合には（ステップＳ５１）、画像生成部３５は、荷物Ｐの位置を示す識別画像を生成する（ステップＳ５２）。一例として、画像生成部３５は、第１の表示形態として、荷物Ｐを囲う枠形状の識別画像を生成する。

【0099】

そして、判断部３４が、荷物Ｐが上昇したと判断し（ステップＳ５３）、荷物Ｐと障害物の距離が所定範囲外であると判断した場合には（ステップＳ５４）、画像生成部３５は、荷物Ｐの位置を示す識別画像を第２の表示形態に変更する（ステップＳ５５）。一例として、画像生成部３５は、荷物Ｐを囲う枠形状の内部を青色で塗りつぶした識別画像を生成する。

【0100】

ここで、判断部３４は、図７のステップＳ２３で検出された荷物Ｐの移動情報に基づき、荷物Ｐの移動方向の延長線上に位置する物体を障害物として特定する。

【0101】

一方、ステップＳ５４で、判断部３４が、荷物Ｐと障害物の距離が所定範囲内であると判断した場合には、画像生成部３５は、荷物Ｐの位置を示す識別画像を第３の表示形態に変更する（ステップＳ５６）。一例として、画像生成部３５は、荷物Ｐを囲う枠形状の内部を赤色で塗りつぶした識別画像を生成する。

【0102】

すなわち、画像生成部３５は、荷物Ｐの障害物からの距離に応じて、識別画像を表示させるときの表示形態を変更する。この場合、荷物Ｐが対象物の一例であり、障害物の位置が基準位置の一例である。

【0103】

そして、表示制御部が、撮影画像に識別画像を重畳させた表示画像をディスプレイに表示させることにより、オペレータや管理者は、荷物Ｐと障害物の距離が所定範囲内か否かを容易に識別することができる。

【0104】

図１０は、本実施形態に係る画像生成処理の第三の例を示すフローチャートである。

【0105】

判断部３４が、フック２２１と荷物Ｐの距離が所定範囲内と判断した場合には（ステップＳ６１）、画像生成部３５は、荷物Ｐの位置を示す識別画像を生成する（ステップＳ６２）。一例として、画像生成部３５は、第１の表示形態として、荷物Ｐを囲う枠形状の識別画像を生成する。

【0106】

そして、判断部３４が、図７のステップＳ２６で説明したように、荷物Ｐが揺れていると判断した場合には（ステップＳ６３）、画像生成部３５は、荷物Ｐの位置を示す識別画像を第２の表示形態に変更する（ステップＳ６４）。一例として、画像生成部３５は、荷物Ｐを囲う枠形状の内部を赤色で塗りつぶした識別画像を生成する。

【0107】

すなわち、画像生成部３５は、移動前後の荷物Ｐの距離、換言すると荷物Ｐの揺れに応じて、識別画像を表示させるときの表示形態を変更する。この場合、移動後の荷物Ｐが対象物の一例であり、移動前の荷物Ｐの位置が基準位置の一例である。

【0108】

そして、表示制御部が、撮影画像に識別画像を重畳させた表示画像をディスプレイに表示させることにより、オペレータや管理者は、荷物Ｐの揺れを容易に識別することができる。

【0109】

図１１は、本実施形態に係る画像生成処理の第四の例を示すフローチャートである。

【0110】

図７のステップＳ２２で説明したように、検出部３６が、人の三次元の位置を検出すると（ステップＳ７１）、画像生成部３５は、人Ｍの位置を示す識別画像を生成する（ステップＳ７２）。一例として、画像生成部３５は、第１の表示形態として、人Ｍを囲う枠形状の識別画像を生成する。

【0111】

判断部３４が、フック２２１と荷物Ｐの距離が所定範囲内と判断し（ステップＳ７３）、人Ｍとフック２２１の距離が所定範囲外と判断した場合には（ステップＳ７４）、画像生成部３５は、人Ｍの位置を示す識別画像を第２の表示形態に変更する（ステップＳ７５）。一例として、画像生成部３５は、人Ｍを囲う枠形状の内部を緑色で塗りつぶした識別画像を生成する。

【0112】

すなわち、画像生成部３５は、人Ｍと、荷物Ｐを取り付けるクレーン２１０のフック２２１またはフック２２１に取り付けられる荷物Ｐの距離に応じて、識別画像を表示させるときの表示形態を変更する。この場合、人Ｍは対象物の一例であり、荷物Ｐを取り付けるクレーン２１０のフック２２１またはフック２２１に取り付けられる荷物Ｐの位置が基準位置の一例である。

【0113】

そして、表示制御部が、撮影画像に識別画像を重畳させた表示画像をディスプレイに表示させることにより、オペレータや管理者は、人Ｍと、荷物Ｐを取り付けるクレーン２１０のフック２２１またはフック２２１に取り付けられる荷物Ｐの距離が所定範囲外か否かであることを容易に識別することができる。

【0114】

そして、ステップＳ７４の判断結果が所定範囲内で、判断部３４が、荷物Ｐが上昇していないと判断した場合には（ステップＳ７６）、画像生成部３５は、人Ｍの位置を示す識別画像を第３の表示形態に変更する（ステップＳ７７）。一例として、画像生成部３５は、人Ｍを囲う枠形状の内部を青色で塗りつぶした識別画像を生成する。

【0115】

一方、ステップＳ７６で、判断部３４が、荷物Ｐが上昇していると判断した場合には、画像生成部３５は、人Ｍの位置を示す識別画像を第４の表示形態に変更する（ステップＳ７８）。一例として、画像生成部３５は、人Ｍを囲う枠形状の内部を赤色で塗りつぶした識別画像を生成する。

【0116】

すなわち、画像生成部３５は、人Ｍとフック２２１に取り付けられる荷物Ｐの距離、およびフック２２１に取り付けられる荷物Ｐとフック２２１により吊るされる前の荷物Ｐの距離、換言すると荷物Ｐが上昇しているか否かに応じて、識別画像を表示させるときの表示形態を変更する。この場合、フック２２１により吊るされる前の荷物Ｐの距離の位置が第２の基準位置の一例である。

【0117】

そして、表示制御部が、撮影画像に識別画像を重畳させた表示画像をディスプレイに表示させることにより、オペレータや管理者は、人Ｍとフック２２１に取り付けられる荷物Ｐの距離が所定範囲内であるか否かと、荷物Ｐが上昇しているか否かを容易に識別することができる。

【0118】

なお、画像生成部３５は、荷物が上昇しているか否かに加えて、荷物が上昇した距離、すなわち荷物の高さが所定値以上か否かで、人Ｍの位置を示す識別画像の表示形態をさらに変更してもよく、荷物が上昇しているか否かに代えて、荷物の高さが所定値以上か否かで、人Ｍの位置を示す識別画像の表示形態に変更してもよい。

【0119】

図１２～図１５は、図６のステップＳ６において、表示制御部３３が、撮影画像に識別画像を重畳させた表示画像を、ディスプレイ３０８の表示画面１０００に表示させた状態を示している。なお、ステップＳ８およびステップＳ１０における各表示画面も図１２と同様であるため、説明を割愛する。

【0120】

図１２は、本実施形態に係る作業前と判定された状態を示す表示画像の説明図である。

【0121】

図１２は、フック２２１に対する荷物Ｐ１～Ｐ３のそれぞれの距離が所定範囲外である状態を示しており、図７のステップＳ２５において、判断部３４は、作業前であると判定している。

【0122】

表示制御部３３は、フック２２１、人Ｍ１～Ｍ３、および荷物Ｐ１～Ｐ３を含む撮影画像に、フック識別画像２２１Ｗ、人識別画像ＭＷ１～ＭＷ３を含む識別画像を重畳させた表示画像を表示画面１０００に表示させている。

【0123】

ここで、フック識別画像２２１Ｗは、図６のステップＳ６において、画像生成部３５により生成されたフック２２１の位置を示す識別画像であり、フック２２１を囲う枠形状の表示形態となっている。

【0124】

これにより、オペレータおよび管理者は、フック２２１の位置を容易に識別することができる。

【0125】

また、人識別画像ＭＷ１～ＭＷ４のそれぞれは、図１１のステップＳ７２において、画像生成部３５により生成された人Ｍ１～Ｍ４のそれぞれの位置を示す識別画像であり、人Ｍ１～Ｍ４のそれぞれを囲う枠形状の第１の表示形態となっている。

【0126】

これにより、オペレータおよび管理者は、人Ｍ１～Ｍ４の位置を容易に識別することができる。

【0127】

そして、図８のステップＳ４１において、判断部３４が、フック２２１に対する荷物Ｐ１～Ｐ３のそれぞれの距離は所定範囲外と判断しているため、画像生成部３５は、荷物の識別画像を生成していない。

【0128】

これにより、オペレータおよび管理者は、荷物Ｐをフック２２１に取り付ける作業前であることを容易に識別することができる。

【0129】

図１３は、本実施形態に係る玉掛け中と判定された状態を示す表示画像の説明図である。

【0130】

図１３は、図１２に示した状態に続いて、フック２２１に対する荷物Ｐ１の距離が所定範囲内になって荷物Ｐが上昇していない状態を示しており、図７のステップＳ２５において、判断部３４は、玉掛け中であると判定している。

【0131】

ここで、図８のステップＳ４１およびＳ４３において、判断部３４が、フック２２１と荷物Ｐの距離が所定範囲内であり、荷物Ｐが上昇していないと判断しているため、図８のステップＳ４２において、画像生成部３５は、荷物Ｐ１を囲う枠形状の第１の表示形態で、荷物Ｐ１の位置を示す荷物識別画像ＰＷ１を生成する。そして、表示制御部３３は、荷物Ｐ１の撮影画像に荷物識別画像ＰＷ１を重畳させた表示画像を表示画面１０００に表示させている。

【0132】

これにより、オペレータおよび管理者は、荷物Ｐ１をフック２２１に取り付ける玉掛け中であることを容易に識別することができる。

【0133】

また、人Ｍ４については、図１１のステップＳ７４において、判断部３４が、フック２２１からの距離が所定範囲外と判断しているため、図１１のステップＳ７５において、画像生成部３５は、人Ｍ４の位置を示す識別画像を、枠形状の内部を緑色で塗りつぶした第２の表示形態に変更している。

【0134】

一方、人Ｍ１～Ｍ３については、図１１のステップＳ７４およびステップＳ７６において、判断部３４が、フック２２１からの距離が所定範囲内で、物Ｐが上昇していないと判断しているため、図１１のステップＳ７７において、画像生成部３５は、人Ｍ１～Ｍ３の位置を示す識別画像を、枠形状の内部青色で塗りつぶした第３の表示形態に変更している。

【0135】

これにより、オペレータおよび管理者は、フック２２１に取り付けられた荷物Ｐ１に対して、人Ｍ４は遠い位置に居るが、人Ｍ１～Ｍ３は近い位置に居ることを容易に識別することができる。

【0136】

図１４は、本実施形態に係る地切り中と判定された状態を示す表示画像の説明図である。

【0137】

図１４は、図１３に示した状態に続いて、荷物Ｐ１が所定値未満だけ上昇した状態を示しており、図７のステップＳ２８において、判断部３４は、地切り中であると判定している。また、図７のステップＳ３１において、判断部３４は、危険であると判定している。

【0138】

ここで、図８のステップＳ４４において、判断部３４が、荷物Ｐ１が上昇した距離が所定値未満であると判断しているため、図８のステップＳ４５において、画像生成部３５は、荷物Ｐ１の位置を示す識別画像を、枠形状の内部を青色で塗りつぶした第２の表示形態に変更している。

【0139】

これにより、オペレータおよび管理者は、地切り中であることを容易に識別することができる。

【0140】

また、人Ｍ２について、図１１のステップＳ７４およびステップＳ７６において、判断部３４が、フック２２１からの距離が所定範囲内で、荷物Ｐ１が上昇したと判断しているため、図１１のステップＳ７８において、画像生成部３５は、人Ｍ２の位置を示す識別画像を、枠形状の内部赤色で塗りつぶした第４の表示形態に変更している。

【0141】

一方、人Ｍ１、Ｍ３については、図１１のステップＳ７４において、判断部３４が、フック２２１からの距離が所定範囲外と判断しているため、図１１のステップＳ７５において、画像生成部３５は、人Ｍ１、Ｍ３の位置を示す識別画像を、枠形状の内部を緑色で塗りつぶした第２の表示形態に変更している。

【0142】

これにより、オペレータおよび管理者は、フック２２１に取り付けられた荷物Ｐ１に対して、人Ｍ１、Ｍ３、Ｍ４は安全な位置に居るが、人Ｍ２は危険な位置に居ることを容易に識別することができる。

【0143】

図１５は、本実施形態に係る吊り荷中と判定された状態を示す表示画像の説明図である。

【0144】

図１５は、図１４に示した状態に続いて、荷物Ｐ１が上昇した距離が所定値以上である状態を示しており、図７のステップＳ２８において、判断部３４は、吊り荷中であると判定している。また、図７のステップＳ３０において、判断部３４は、安全であると判定している。

【0145】

ここで、図８のステップＳ４４において、判断部３４が、荷物Ｐ１が上昇した距離が所定値以上であると判断しているため、図８のステップＳ４６において、画像生成部３５は、荷物Ｐ１の位置を示す識別画像を、枠形状の内部を赤色で塗りつぶした第３の表示形態に変更している。

【0146】

これにより、オペレータおよび管理者は、吊り荷中であることを容易に識別することができる。

【0147】

また、人Ｍ２について、図１１のステップＳ７４において、判断部３４が、フック２２１からの距離が所定範囲外と判断しているため、図１１のステップＳ７５において、画像生成部３５は、人Ｍ４の位置を示す識別画像を、枠形状の内部を緑色で塗りつぶした第２の表示形態に変更している。

【0148】

これにより、オペレータおよび管理者は、フック２２１に取り付けられた荷物Ｐ１に対して、人Ｍ１～Ｍ４は安全な位置に居ることを容易に識別することができる。

【0149】

●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置の一例である処理装置３０は、撮影画像に基づき、撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成手段の一例である画像生成部３５を備え、画像生成部３５は、対象物の基準位置からの距離に応じて、識別画像を生成するか否かを決定、または識別画像を表示させるときの表示形態を変更する。

【0150】

これにより、対象物が基準位置に近いか否かを容易に識別することができる。

【0151】

対象物が人Ｍであり、基準位置が荷物Ｐを取り付けるクレーン２１０のフック２２１またはフック２２１に取り付けられる荷物Ｐの位置である場合、人Ｍがフック２２１に取り付けられる荷物Ｐに近いか否かを容易に識別することができる。

【0152】

対象物が荷物Ｐであり、基準位置がクレーン２１０のフック２２１の位置である場合、荷物Ｐをフック２２１に取り付ける作業中であるか否かを容易に識別することができる。

【0153】

対象物がクレーン２１０のフック２２１により吊るされた荷物Ｐであり、基準位置がフック２２１により吊るされる前の荷物Ｐの位置である場合、フック２２１により吊るされた荷物Ｐの高さを容易に識別することができる。

【0154】

画像生成部３５は、対象物の基準位置からの距離、および基準位置の第２の基準位置からの距離に応じて異なる表示形態となるように、識別画像を生成する。

【0155】

これにより、対象物が基準位置に近いか否か、および基準位置が第２の基準位置に近いか否かを容易に識別することができる。

【0156】

対象物が人Ｍであり、基準位置がクレーン２１０のフック２２１により吊るされた荷物Ｐの位置であり、第２の基準位置がフック２２１により吊るされる前の荷物Ｐの位置である場合、人Ｍがフック２２１により吊るされた荷物Ｐに近いか否か、およびフック２２１により吊るされた荷物Ｐが上昇したか否かを容易に識別できる。

【0157】

撮影画像と、識別画像を含む表示画像を表示部の一例であるディスプレイ３０８に表示させる表示制御手段の一例である表示制御部３３を備える。

【0158】

これにより、対象物が基準位置に近いか否かを、ディスプレイ３０８の表示内容から容易に識別することができる。

【0159】

処理装置３は、処理装置３と通信可能な通信端末の一例である管理サーバ５０に対して、撮影画像と識別画像を送信する送信手段の一例である通信部３１を備える。

【0160】

これにより、管理サーバ５０側で、撮影画像と識別画像を含む表示画像を表示できるとともに、撮影画像と識別画像を別々に送信する場合は、管理サーバ５０側で、識別画像に示される対象物の位置を学習することができる。

【0161】

画像生成部３５は、撮影画像と、識別画像を含む合成画像を生成し、通信部３１は、管理サーバ５０に対して、合成画像を送信してもよい。

【0162】

本発明の一実施形態に係る情報処理システムの一例である通信システム１は、処理装置３と、処理装置３と通信可能な通信端末の一例である管理サーバ５０を備え、処理装置３は、撮影画像に基づき、撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成部３５と、管理サーバ５０に対して、撮影画像と識別画像を送信する通信部３１段と、を備え、画像生成部３５は、対象物の基準位置からの距離に応じて、識別画像を生成するか否かを決定、または識別画像を表示させるときの表示形態を変更し、管理サーバ５０は、撮影画像と識別画像を受信する受信手段の一例である通信部５１と、撮影画像と識別画像を含む表示画像を表示部の一例であるディスプレイ５０８に表示させる表示制御手段の一例である表示制御部５３と、を備える。

【0163】

本発明の一実施形態に係る情報処理システムの他の一例である通信システム１は、処理装置３と、処理装置３と通信可能な仲介装置の一例である管理サーバ５０と、仲介装置と通信可能な通信端末１０を備え、処理装置３は、撮影画像に基づき、撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成部３５と、管理サーバ５０に対して、撮影画像と識別画像を送信する通信部３１段と、を備え、画像生成部３５は、対象物の基準位置からの距離に応じて、識別画像を生成するか否かを決定、または識別画像を表示させるときの表示形態を変更し、管理サーバ５０は、撮影画像と識別画像を受信し、通信端末１０に対して、撮影画像と識別画像を含む合成画像を送信する送信手段の一例である通信部５１を備え、通信端末１０は、合成画像を受信する受信手段の一例である通信部１１と、合成画像を表示部の一例であるディスプレイ５０８に表示させる表示制御手段の一例である表示制御部１３と、を備える。

【0164】

本発明の一実施形態に係る情報処理方法は、撮影画像に基づき、撮影画像に含まれる対象物の位置を示す識別画像を生成する画像生成ステップを備え、画像生成ステップは、対象物の基準位置からの距離に応じて、識別画像を生成するか否かを決定、または識別画像を表示させるときの表示形態を変更する処理を含む。

【0165】

本発明の一実施形態に係るプログラムは、以上の情報処理方法をコンピュータに実行させる。

【符号の説明】

【0166】

１ 通信システム（情報処理システムの一例）
１００ 通信ネットワーク
７ 撮影装置
８ 距離センサ
９ データ取得装置
２１０ クレーン
２２１ フック
２２１Ｗ フックの枠
１０ 通信端末
１１ 通信部（受信手段の一例）
１２ 受付部（受付手段の一例）
１３ 表示制御部（表示制御手段の一例）
１４ 判断部（判断手段の一例）
１５ 記憶・読出部（記憶制御手段の一例）
１６ 記憶部（記憶手段の一例）
３０ 処理装置（情報処理装置の一例）
３１ 通信部（送信手段の一例）
３２ 受付部（受付手段の一例）
３３ 表示制御部（表示制御手段の一例）
３４ 判断部（判断手段の一例）
３５ 画像生成部（画像生成手段の一例）
３６ 検出部（検出手段の一例）
３９ 記憶・読出部（記憶制御手段の一例）
３０８ ディスプレイ（表示部の一例）
３０００ 記憶部
３００１ 教師データ管理ＤＢ（教師データ管理手段の一例）
５０ 管理サーバ（通信端末、仲介装置の一例）
５１ 通信部（送信手段、受信手段の一例）
５２ 受付部（受付手段の一例）
５３ 表示制御部（表示制御手段の一例）
５４ 処理部（処理手段の一例）
５９ 記憶・読出部（記憶制御手段の一例）
５０８ ディスプレイ（表示部の一例）
５０００ 記憶部
５００１ 教師データ管理ＤＢ（教師データ管理手段の一例）
１０００ 表示画面
Ｐ、Ｐ１～Ｐ３ 荷物
Ｐ１Ｗ～Ｐ３Ｗ 荷物の枠（識別情報の一例）
Ｍ１～Ｍ３ 人
Ｍ１Ｗ～Ｍ３Ｗ 人の枠（識別情報の一例）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】