特許 6859446 物体捜索システム、物体捜索装置、及び物体捜索方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6859446

(24)【登録日】2021年3月29日

(45)【発行日】2021年4月14日

(54)【発明の名称】物体捜索システム、物体捜索装置、及び物体捜索方法

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20210405BHJP

   G06F 3/01 20060101ALI20210405BHJP

   G09G 5/00 20060101ALI20210405BHJP

【ＦＩ】

   G06F3/0481 150

   G06F3/01 510

   G09G5/00 550C

   G09G5/00 510A

【請求項の数】9

【全頁数】9

(21)【出願番号】特願2019-544442(P2019-544442)

(86)(22)【出願日】2018年8月28日

(86)【国際出願番号】JP2018031694

(87)【国際公開番号】WO2019065045

(87)【国際公開日】20190404

【審査請求日】2019年12月2日

(31)【優先権主張番号】特願2017-184592(P2017-184592)

(32)【優先日】2017年9月26日

(33)【優先権主張国】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、総務省、「電波資源拡大のための研究開発」のうち「９０ＧＨｚ帯協調制御型リニアセルレーダーシステムの研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】佐藤 洋介

(72)【発明者】

【氏名】加島 謙一

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２０１２−０９５９１４（ＪＰ，Ａ）

【文献】 特表２０１５−５０３３９９（ＪＰ，Ａ）

【文献】 特開２０１５−１６２１５２（ＪＰ，Ａ）

【文献】 特開２０１１−２４８７６５（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０６９４４２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

物体の位置情報を検出する検出装置と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置と、を備えた物体捜索システムであって、
前記検出装置は、前記物体捜索装置に前記物体の位置情報を送信する送信部を備え、
前記物体捜索装置は、
前記検出装置から送信された前記物体の位置情報を受信する受信部と、
自身の位置情報を取得する取得部と、
前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備え、
前記表示制御部は、前記特定表示として、前記表示部の視野上方から下方の前記物体の位置に向けて線を表示すると共に、前記物体の位置を囲むように波紋を表示し、前記物体の位置に近づくほど波紋が増えるように表示することを特徴とする物体捜索システム。

【請求項2】

前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示することを特徴とする請求項１に記載の物体捜索システム。

【請求項3】

前記検出装置は、前記物体を撮影するカメラを備え、
前記物体捜索装置は前記物体の画像を受信し、前記表示制御部が前記表示部に表示することを特徴とする請求項１に物体捜索システム。

【請求項4】

物体の位置情報を検出すると共に前記物体を撮影する検出装置と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置と、を備えた物体捜索システムであって、
前記検出装置は、前記物体捜索装置に前記物体の位置情報、及び撮影された前記物体の画像に基づいて認識された前記物体の形態に関わる物体情報を送信する送信部を備え、
前記物体捜索装置は、
前記検出装置から送信された前記物体の位置情報及び前記物体情報を受信する受信部と、
自身の位置情報を取得する取得部と、
前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示するとともに、前記物体情報に基づく表示を表示する表示制御部と、を備えていることを特徴とする物体捜索システム。

【請求項5】

ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置であって、
捜索対象の物体の位置情報を取得する受信部と、
自身の位置情報を取得する取得部と、
前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備え、
前記表示制御部は、前記特定表示として、前記表示部の視野上方から下方の前記物体の位置に向けて線を表示すると共に、前記物体の位置を囲むように波紋を表示し、前記物体の位置に近づくほど波紋が増えるように表示することを特徴とする物体捜索装置。

【請求項6】

前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示することを特徴とする請求項５に記載の物体捜索装置。

【請求項7】

ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置であって、
捜索対象の物体の位置情報及び撮影された前記物体の画像を取得する受信部と、
自身の位置情報を取得する取得部と、
前記表示部において前記物体の位置を特定する特定表示として、前記物体の位置情報と、前記自身の位置情報と、撮影された前記物体の画像に基づいて認識された前記物体の形態に関わる物体情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示するとともに、前記物体情報に基づく表示を表示させる表示制御部と、を備えていることを特徴とする物体捜索装置。

【請求項8】

物体の位置情報を取得する物体位置取得工程と、
ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置の位置情報を取得する表示位置取得工程と、
前記物体の位置情報と前記物体捜索装置の位置情報とに基づいて、前記表示部の視野上方から下方の前記物体の位置に向けて線を表示すると共に、前記物体の位置を囲むように波紋を表示し、前記物体の位置に近づくほど波紋が増えるように表示させて、自身と前記物体の位置関係が反映された特定表示として、前記物体の位置情報を前記拡張現実空間に表示する特定表示工程と、
を有することを特徴とする物体捜索方法。

【請求項9】

物体の位置情報及び撮影された前記物体の画像を取得する物体位置取得工程と、
ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置の位置情報を取得する表示位置取得工程と、
前記物体の位置情報と、前記物体捜索装置の位置情報と、撮影された前記物体の画像に基づいて認識された前記物体の形態に関わる物体情報と、に基づいて、前記表示部に前記物体の位置を特定する特定表示を表示するとともに、前記物体情報に基づく表示を表示させて、前記物体の位置情報を前記拡張現実空間に表示する特定表示工程と、
を有することを特徴とする物体捜索方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体捜索システム、物体捜索装置、及び、物体捜索方法に係り、特に、現実空間に画像を合成した拡張現実空間を表示させる物体捜索システム、物体捜索装置、及び、物体捜索方法に関する。

【背景技術】

【0002】

レーダーなどで、広大なエリア（作業現場、グラウンド、施設内、駐車場、道路、線路、滑走路など）における障害物や落下物等（以下、落下物という）を検出するシステムがある。このようなシステムではレーダーの検出結果に基づいて、落下物の位置（座標など）をある程度の精度で特定することができる。

【0003】

レーダーによって落下物が検出されると、管理会社の作業者等が落下物を回収しに行くが、従来は、落下物の座標情報に基づいて地図を見ながら捜索していた。例えば、タブレットに地図を表示させ、落下物の地点を強調表示するなどしていた。

【0004】

一方、近年では、ＡＲ(Augmented Reality:拡張現実)技術を用いる技術が提案されている（例えば、特許文献１及び２参照）。例えば、特許文献１では、ヘッドマウントディスプレイ装置に、現実空間（外部の景色）に各種の付加情報（ＡＲ情報）を重ねて表示する技術が開示されている。また、特許文献２では、保管場所に置かれている多数の品物の中から目的の資材や部品を見つけ出す技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献2】特開２０１１−２４２５９１号公報

【特許文献1】特開２０１５−０７５８３２号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

しかし、タブレットで捜索する場合、目印がない広大なエリアでは見つけにくいという課題があり、タブレットを見ながらの探索になるので作業者が危険であった。また、探索時は日中とは限らず、日暮以降の日照が乏しい時間帯も考えられる。薄暗い状況下において、探索する落下物が小さいものであれば、尚更探索は困難であるという課題がある。特許文献１、２に開示の技術では、広大なエリアで物体を探索することを想定しておらず新たな技術が求められていた。

【0007】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、物体の位置情報を検出する検出装置と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置と、を備えた物体捜索システムであって、前記検出装置は、前記物体捜索装置に前記物体の位置情報を送信する送信部を備え、前記物体捜索装置は、前記検出装置から送信された前記物体の位置情報を受信する受信部と、自身の位置情報を取得する取得部と、前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備え、前記表示制御部は、前記特定表示として、前記表示部の視野上方から下方の前記物体の位置に向けて線を表示すると共に、前記物体の位置を囲むように波紋を表示し、前記物体の位置に近づくほど波紋が増えるように表示する。
また、前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示してもよい。
また、前記検出装置は、前記物体を撮影するカメラを備え、前記物体捜索装置は前記物体の画像を受信し、前記表示制御部が前記表示部に表示してもよい。
また、本発明は、物体の位置情報を検出すると共に前記物体を撮影する検出装置と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置と、を備えた物体捜索システムであって、前記検出装置は、前記物体捜索装置に前記物体の位置情報、及び撮影された前記物体の画像に基づいて認識された前記物体の形態に関わる物体情報を送信する送信部を備え、前記物体捜索装置は、前記検出装置から送信された前記物体の位置情報及び前記物体情報を受信する受信部と、自身の位置情報を取得する取得部と、前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示するとともに、前記物体情報に基づく表示を表示する表示制御部と、を備える。
本発明は、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置であって、捜索対象の物体の位置情報を取得する受信部と、自身の位置情報を取得する取得部と、前記物体の位置情報と、前記自身の位置情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示する表示制御部と、を備え、前記表示制御部は、前記特定表示として、前記表示部の視野上方から下方の前記物体の位置に向けて線を表示すると共に、前記物体の位置を囲むように波紋を表示し、前記物体の位置に近づくほど波紋が増えるように表示する。
また、前記表示制御部は、前記特定表示として、前記物体への方向を示す矢印を表示してもよい。
また、本発明は、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置であって、捜索対象の物体の位置情報及び撮影された前記物体の画像を取得する受信部と、自身の位置情報を取得する取得部と、前記表示部において前記物体の位置を特定する特定表示として、前記物体の位置情報と、前記自身の位置情報と、撮影された前記物体の画像に基づいて認識された前記物体の形態に関わる物体情報とに基づいて、前記表示部に前記物体の位置を特定する特定表示を表示するとともに、前記物体情報に基づく表示を表示させる表示制御部と、を備える。
本発明の物体捜索方法は、物体の位置情報を取得する物体位置取得工程と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置の位置情報を取得する表示位置取得工程と、前記物体の位置情報と前記物体捜索装置の位置情報とに基づいて、前記表示部の視野上方から下方の前記物体の位置に向けて線を表示すると共に、前記物体の位置を囲むように波紋を表示し、前記物体の位置に近づくほど波紋が増えるように表示させて、自身と前記物体の位置関係が反映された特定表示として、前記物体の位置情報を前記拡張現実空間に表示する特定表示工程と、を有する。
また、本発明の物体捜索方法は、物体の位置情報及び撮影された前記物体の画像を取得する物体位置取得工程と、ユーザに装着され、現実空間に拡張現実空間を表示する表示部を備えた物体捜索装置の位置情報を取得する表示位置取得工程と、前記物体の位置情報と、前記物体捜索装置の位置情報と、撮影された前記物体の画像に基づいて認識された前記物体の形態に関わる物体情報と、に基づいて、前記表示部に前記物体の位置を特定する特定表示を表示するとともに、前記物体情報に基づく表示を表示させて、前記物体の位置情報を前記拡張現実空間に表示する特定表示工程と、を有する。

【発明の効果】

【0009】

本発明によれば、落下物の具体的な形状情報が無い状態での物体捜索を容易にすることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る、物体捜索システムの構成を示すブロック図である。

【図2】実施形態に係る、スコープの構成を示すブロック図である。

【図3】実施形態に係る、落下物の場所を示す直線と波紋の表示態様の例を示す図である。

【図4】実施形態に係る、物体捜索システムの構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して詳細に説明する。
本実施形態では、ＡＲ技術を用いて広大なエリアにおいて物体を検出する技術を説明する。ここでは、適用例として、工場敷地内で、透明な表示部を有するスコープ（物体捜索装置）に特定の表示をすることで落下物の捜索を行う例を説明する。

【0012】

図１は、本実施形態に係る物体捜索システム１の概略構成を示すブロック図である。図２はスコープ１０９を示す図であり、図２（ａ）はスコープ１０９における表示例を示し、図２（ｂ）はスコープ１０９の概略構成を示すブロック図である。

【0013】

図１に示すように、物体捜索システム１は、作業員１０８が用いるスコープ１０９と、検出装置１１０とを備える。検出装置１１０が検出した落下物１０６の情報をスコープ１０９に表示させる。

【0014】

検出装置１１０は、レーダー装置１００と、カメラ装置１０５と、それらを制御する制御・監視装置１２０とを備える。敷地内に設置されているレーダー装置１００及びカメラ装置１０５を用いて、路面１０７の表面状態を監視する。レーダー装置１００及びカメラ装置１０５は、設置位置や設置数は特に限定せず、光ファイバー等によって検出装置１１０に接続され遠隔操作可能となっている。

【0015】

レーダー装置１００は、例えば、所定の電磁波（例えば６０ＧＨｚ以上のミリ波帯）を送信し、落下物１０６からの反射波を受信することで、落下物の存在を検出する。カメラ装置１０５は、検出結果をもとに落下物１０６を撮影する。

【0016】

制御・監視装置１２０は、レーダー制御装置１０１と、検出結果表示装置１０２と、無線伝送装置１０３と、カメラ制御装置１０４と、を備える。

【0017】

レーダー制御装置１０１は、レーダー装置１００を制御するとともに、受信検出結果の信号処理機能を有し、定期的にまたは管理者等の操作により所定範囲をレーダー探索し、落下物１０６の落下物情報（具体的には、位置情報（座標）や形状情報）を取得する。

【0018】

カメラ制御装置１０４は、レーダー装置１００及びレーダー制御装置１０１による落下物１０６の検出結果をもとに、検出した落下物１０６を撮影する。

【0019】

検出結果表示装置１０２は、レーダー制御装置１０１での信号処理された受信検出結果を表示する。具体的には、検出結果表示装置１０２は、落下物１０６の存在する位置座標や落下位置を示した地図、カメラ装置１０５によって撮影された落下物１０６の実体画像などが表示される。

【0020】

また、検出結果表示装置１０２には、無線伝送装置１０３が接続されており、作業員１０８のスコープ１０９やタブレット等の携帯端末（図示せず）に落下物情報を伝送する。

【0021】

スコープ１０９やタブレット等への落下物情報送信は、検出結果表示装置１０２を見て落下物１０６の存在を目視・確認した管理者等が手動で送信してもよいし、レーダー制御装置１０１が検出した情報を元に自動に送信してもよい。

【0022】

図２（ｂ）に示すように、スコープ１０９は、スコープ制御部１５１と、無線伝送部１５２と、表示部１５３と、記憶部１５４と、位置センサ１５５とを備える。

【0023】

位置センサ１５５は、例えばＧＮＳＳセンサ１５６と、ジャイロセンサ１５７とを備える。ＧＮＳＳセンサ１５６は、スコープ１０９の位置、すなわち作業員１０８の位置を検知する。ジャイロセンサ１５７は、スコープ１０９の向きを検知する。

【0024】

無線伝送部１５２は、検出装置１１０の無線伝送装置１０３と通信して、落下物１０６の落下物情報や地図情報を取得し、記憶部１５４に記憶する。なお、地図情報は予め記憶部１５４に保持してもよい。

【0025】

スコープ制御部１５１は、スコープ１０９全体の制御をするものである。ここで、図２（ａ）を参照して、スコープ制御部１５１が表示部１５３を表示制御した表示態様を説明する。スコープ制御部１５１は、ＧＮＳＳセンサ１５６が取得した自身の位置情報（座標）と、ジャイロセンサ１５７に基づいて、作業員１０８が見ている方向と落下物の位置を対比して、落下物１０９の方向（すなわち、作業員１０８が進むべき方向）を矢印Ａで表示部１５３に表示する。矢印Ａの太さや長さを変えることで、距離を示してもよい。

【0026】

また、スコープ制御部１５１は、検出装置１１０から取得した落下物１０６の位置に対して、視野上方から下方に向けて雨のような線Ｂ（直線でも破線でもよい）を表示する。この表示は点滅でもよい。さらに、落下物１０６とスコープ１０９との距離を示す表示として、波紋表示Ｃを表示する。

【0027】

図３に、落下物１０６の場所を示す直線Ｂと波紋Ｃの表示態様の例を示す。図示で左側が落下物１０６に遠い場合の表示であり、右側が近い場合の表示である。スコープ１０９を装着した作業員１０８が落下物１０６に近づいていくと、近づいたことが視覚的に分かるように、落下物１０８に近づくほど波紋Ｃが増えるように表示する。ここでは、最も遠い場合に、波紋Ｃが１つで、最も近い場合に波紋Ｃが３つ表示される。

【0028】

なお、カメラ装置１０５が撮影した落下物１０６の画像を表示部１５３に同時に表示させてもよい。その場合、落下物１０６や直線Ｂの表示に邪魔にならない領域に表示させる。

【0029】

落下物１０６の探索タイミングは日中とは限らず、日暮以降の日照が乏しい時間帯も考えられる。野外の薄暗い状況化においても、スコープ１０９には落下物１０６の方向を示す矢印Ａ、落下物１０６の位置に対して視野上方から下方に向けて雨のように表示される線Ｂ、落下物との距離を示す波紋表示Ｃなどが表示されるので、それらの表示を頼りに落下物の位置を捜索することができる。

【0030】

上記の一連の動作を、図４にフローチャートを参照して、まとめて説明する。
検出装置１１０がレーダー装置１００による探索によって落下物１０６を検出すると（Ｓ１０）、レーダー制御装置１０１は、その情報から落下物１０６の位置情報を特定し取得する（Ｓ１２）。レーダー制御装置１０１は、さらに、カメラ制御装置１０４を制御してカメラ装置１０５に検知した落下物１０６を撮影させることで、落下物１０６の形状を確認させる（Ｓ１４）。

【0031】

検出結果表示装置１０２は、レーダー装置１００が検出しカメラ装置１０５が撮影した落下物１０６を表示し（Ｓ１６）、さらに、スコープ１０９に落下物１０６の物体情報を送信する（Ｓ１８）。スコープ１０９は、検出装置１１０から取得した落下物１０６の物体情報をＡＲ処理して表示部１５３に表示させる（Ｓ２０）。

【0032】

これにより、作業員１０８は実際の落下物１０６の大きさ・色などの具体的情報を事前に知ることができ、捜索を容易にし、捜索時間の短縮を実現することができる。
図２（ａ）等に示す例では、大きい落下物１０６を例示したが、広大なエリアにおいて数センチの落下物１０６を検索する場合には、本発明のスコープ１０９を利用することで、作業者（捜索者）の安全性を確保しつつ、捜索の負担と時間を大幅に軽減できる。

【0033】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、上記の実施形態では、スコープ１０９の透明型（光学透過型）の表示部１５３であったが、ビデオ透過型でもよく、その場合には、スコープ１０９に外部の映像を取得する撮像装置が設けられる。

【0034】

また、上述した実施形態では、スコープ１０９は検出装置１１０と無線通信を行って落下物１０６の落下物情報（位置情報等）を取得する場合を例にあげた。しかし、本発明の物体捜索装置が外部から物体の位置情報を取得する方法は限定されるものではない。

【符号の説明】

【0035】

１ 物体捜索システム１００ レーダー装置１０１ レーダー制御装置１０２ 検出結果表示装置１０３ 無線伝送装置１０４ カメラ制御装置１０５ カメラ装置１０６ 落下物１０７ 路面１０８ 作業員１０９ スコープ１１０ 検出装置１２０ 制御・監視装置１５１ スコープ制御部１５２ 無線伝送部１５３ 表示部１５４ 記憶部１５５ 位置センサ１５６ ＧＮＳＳセンサ１５７ ジャイロセンサＡ 矢印Ｂ 直線Ｃ 波紋

【図1】

【図2】

【図3】

【図4】