(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
<第1の実施形態>
以下、本発明の第1の実施形態における対象物確認システム1について図面を用いて説明する。
図1は、本発明の第1の実施形態における対象物確認システム1の構成例を示す図である。
図1に示すように、第1の実施形態における対象物確認システム1は、情報配信装置2、航空機3に搭載されたADS(Automatic Dependent Surveillance)4、第1の受信局5と第2の受信局8を含む受信局11、船舶6に搭載されたAIS(Automatic Identification System:自動船舶識別装置)7、表示制御装置9を備えている。本実施形態においては、表示する対象物として航空機3が1機、船舶6が一隻である場合を一例として説明するが、勿論この数に限られるものではない。
【0013】
情報配信装置2と航空機3に搭載されたADS4とは、ネットワーク10を介して接続される。また、情報配信装置2と船舶6に搭載されたAIS7との各々は、ネットワーク10を介して接続される。
【0014】
航空機3に搭載されたADS4は、航空機3の位置情報と第1の識別情報を含む航空情報とを第1の受信局5に一定周期で送信する。なお、航空機3の位置及び速度は、例えば航空機3に搭載されているGPS(Global Positioning System)受信機や、慣性航法装置(INS:Inertial Navigation System)などを用いて算出される。第1の識別情報は、自身が搭載されている航空機3を識別して特定する情報であり、例えば便名である。
【0015】
船舶6に搭載されたAIS7は、搭載されている船舶6の位置情報と第2の識別情報を含む船舶情報とを第2の受信局8に一定周期で送信する。なお、船舶6の位置及び速度は、例えば船舶6に搭載されているGPS受信機等を用いて算出される。第2の識別情報は、自身が搭載されている船舶6を識別して特定する情報であり、例えば船名である。
【0016】
受信局11は、対象物の位置情報と、その対象物の識別情報を含む対象物情報とを受信する。具体的には、第1の受信局5は、航空機3に搭載されたADS4から、航空機3の位置情報と航空情報とを受信する。第1の受信局5は、受信した位置情報と航空情報とをネットワーク10を介して情報配信装置2に一定周期で送信する。
【0017】
第2の受信局8は、船舶6に搭載されたAIS7から船舶6の位置情報と船舶情報を受信する。第2の受信局8は、受信した位置情報と船舶情報とをネットワーク10を介して情報配信装置2に一定周期で送信する。なお、本実施形態では、ネットワーク10は、無線通信やIP通信を含むネットワークである。
【0018】
表示制御装置9は、撮像装置であるカメラ機能及び通信機能を有する情報端末であり、例えばスマートフォンやタブレット端末である。また、表示制御装置9は、据え置き型の端末として、例えば空港の展望デッキに配置されてもよい。
【0019】
表示制御装置9は、カメラ機能を用いて撮像した対象物の位置情報及びその対象物識別情報を一定周期で情報配信装置2に送信する。対象物は、例えば移動体であり、カメラ機能を用いて撮像した船舶や航空機である。対象物識別情報は、航空機や船舶など対象物の種別を特定する情報であり、例えば航空機なら0001、船舶なら0002である。本実施形態では、カメラ機能を用いて撮像した対象物が航空機3及び船舶6である場合を説明する。
また、表示制御装置9は、情報配信装置2からネットワーク10を介して航空情報及び船舶情報を取得する。表示制御装置9は、取得した船舶情報をAR(Augmented Reality)を用いて表示画面に表示する。
【0020】
図2は、本発明の第1の実施形態における情報配信装置2のブロック図である。
情報配信装置2は、第1受信部20、第2受信部21、第3受信部22、記憶部23、情報取得部24、送信部25を備えている。
第1受信部20は、情報取得部24に接続されている。第1受信部20は、第1の受信局5からネットワーク10を介して、航空機3の航空情報を受信する。なお、第1受信部20は、ADS4から送信された航空情報を第1の受信局5を介さず直接受信してもよい。
【0021】
第2受信部21は、情報取得部24に接続されている。第2受信部21は、第2の受信局8からネットワーク10を介して、船舶6の船舶情報を受信する。なお、第2受信部21は、AIS7から送信された船舶情報を第2の受信局8を介さず直接受信してもよい。
第3受信部22は、情報取得部24に接続されている。第3受信部22は、表示制御装置9からネットワーク10を介して対象物の位置情報及び対象物識別情報を受信する。
【0022】
記憶部23は、航空機記憶部231及び船舶記憶部232を備えている。
航空機記憶部231は、第1の識別情報毎に航空機の位置と速度とが記憶されている。船舶記憶部232は、第2の識別情報毎に船舶の位置と速度とが記憶されている。
情報取得部24は、第1受信部20で受信した航空情報を航空機記憶部231に第1の識別情報毎に記憶する。情報取得部24は、第2受信部21で受信した船舶情報を船舶記憶部232に第2の識別情報毎に記憶する。
【0023】
情報取得部24は、第3受信部22から対象物の位置情報及び対象物識別情報を取得する。情報取得部24は、対象物識別情報に基づいて対象物が航空機又は船舶かを判定する。情報取得部24は、対象物が航空機である場合、第3受信部22から取得した位置情報と航空機記憶部231に記憶されている位置とを照合する。情報取得部24は、照合の結果、一致した位置に対応する第1の識別番号及び航空機3の速度を取得する。情報取得部24は、取得した第1の識別番号、航空機3の速度及び航空機3の位置情報を対象物情報として送信部25に出力する。
【0024】
情報取得部24は、対象物が船舶である場合、第3受信部22から取得した位置情報と船舶記憶部232に記憶されている位置とを照合する。情報取得部24は、照合の結果、一致した位置に対応する第2の識別番号及び船舶6の速度を取得する。情報取得部24は、取得した第2の識別番号及び船舶6の速度及び船舶6の位置情報を対象物情報として送信部25に出力する。上述したうに、情報取得部24は、情報配信装置2に記憶された情報と表示制御装置9から取得した情報との相関処理により、対象物識別情報が示す対象物の対象物情報を取得する。
【0025】
送信部25は、情報取得部24により取得された船舶情報をネットワーク10を介して表示制御装置9に配信する。
【0026】
図3は、本実施形態における表示制御装置9のブロック図である。
表示制御装置9は、GPS91、撮像部92、方角部93、通信部94、記憶部95、表示部96、制御部97を備えている。
GPS91は、表示制御装置9の位置を取得する。GPSは、複数のGPS衛星から出力された電波を受信するGPSアンテナを有し、GPSアンテナで受信した複数のGPS衛星から出力された電波の情報に基づいて、自装置の位置情報を取得する。GPSは、取得した位置情報を制御部97に出力する。
【0027】
撮像部92は、CCD(Charge Coupled Device)などの撮像素子を備え、画像を撮像する。例えばカメラである。撮像部92は、撮像している画像及び倍率を制御部97に出力する。
方角部93は、撮像部92の撮像方向(光軸方向前方)の角度(仰角、方位角)を示す角度情報(仰角情報、方位角情報)を取得する。方角部93は、例えばジャイロスコープである。
【0028】
通信部94は、制御部97に接続されている。通信部94は、ネットワーク10を経由して情報配信装置2と通信する。
記憶部95は、制御部97に接続されている。記憶部95は、ROM、RAM、フラッシュメモリ、ハードディスク装置などから構成され、制御部が実行するプログラム、データ等を記憶する。
表示部96は、制御部97に接続されている。表示部96は、液晶表示装置などから構成され、撮像部92で取得した画像や制御部97から出力された画像を表示する。
【0029】
制御部97は、位置情報取得部98及び拡張現実処理部99を備えている。
位置情報取得部98は、GPS91から表示制御装置9の位置情報を取得する。位置情報取得部98は、方角部93から角度情報を取得する。位置情報取得部98は、撮像部92が撮像した画像(以下、「撮像画像」という。)及び撮像画像を撮像した際のズーム率を取得する。
【0030】
位置情報取得部98は、撮像画像から対象物を特定する。位置情報取得部98は、特定した対象物の大きさ及び形状を画像処理により算出する。位置情報取得部98は、算出した対象物の大きさ及び対象物の形状から、対象物の種別、すなわち対象物識別情報を特定する。
【0031】
また、位置情報取得部98は、表示制御装置9の位置情報及び方角情報に基づいて、撮像部92の撮像している領域を特定する。そして、表示制御装置9は、撮像部92のズーム率及び特定した対象物の大きさから対象物の位置を算出する。
位置情報取得部98は、対象物の種別を示す対象物識別情報と対象物の位置を示す位置情報を通信部94に送信する。通信部94は、標識別情報と対象物の位置情報をネットワーク10を介して情報配信装置2に送信する。
【0032】
拡張現実処理部99は、表示制御装置9において、撮像部92が撮像した被写体の映像を表示部96に映した場合に、撮像方向に存在する対象物(例えば移動体である航空機や船舶)を表す付加情報が、表示部96に映し出された映像に合成表示する。付加情報は、特に限定はないが、例えば、対象物の名称や移動速度等である。
【0033】
拡張現実処理部99は、情報配信装置2から対象物情報を取得する。拡張現実処理部99は、対象物情報である位置情報と位置情報取得部98が取得した位置情報とを照合する。そして、拡張現実処理部99は、照合の結果、合致した位置情報に対応する対象物の画像上の位置に付加情報、すなわち第1の識別情報又は第2の識別情報を合成表示する。ただし、合成表示する付加情報は、第1の識別情報又は第2の識別情報に限定されない。例えば、合成表示する付加情報は、対象物の速度情報、出発値や行き先等を含んでもよい。
【0034】
次に、本実施形態の情報配信装置2の動作について、
図4を用いて説明する。
図4は、本実施形態における情報配信装置2のフローチャートを示す図である。
ステップS101において、第1受信部20は、ネットワーク10を介してADS4から航空情報を受信する。第2受信部21は、ネットワーク10を介してAIS7から船舶情報を受信する。
【0035】
ステップS102において、情報取得部24は、第1受信部20で受信した航空情報を航空機記憶部231に記憶する。情報取得部24は、第2受信部21で受信した船舶情報を船舶記憶部232に記憶する。
【0036】
ステップS103において、第3受信部22は、表示制御装置9からネットワーク10を介して対象物の位置情報及び対象物識別情報を受信する。情報取得部24は、第3受信部22から対象物の位置情報及び対象物識別情報を取得する。
【0037】
ステップS104において、情報取得部24は、対象物識別情報に基づいて対象物が航空機又は船舶のいずれかであるかを判定する。例えば、情報取得部24は、対象物の対象物識別情報が0001である場合、対象物が航空機であると判定する。一方、情報取得部24は、対象物の対象物識別情報が0002である場合、対象物が船舶であると判定する。
【0038】
ステップS105において、情報取得部24は第3受信部22から取得した位置情報と航空機記憶部231に記憶されている位置とを照合する。情報取得部24は、照合の結果、一致した位置に対応する第1の識別番号及び航空機3の速度を取得する。情報取得部24は、取得した第1の識別番号、航空機3の速度及び航空機3の位置情報を対象物情報として送信部25に出力する。送信部25は、情報取得部24から取得した対象物情報をネットワーク10を介して表示制御装置9に送信する。
【0039】
ステップS106において、情報取得部24は、対象物が船舶である場合、第3受信部22から取得した位置情報と船舶記憶部232に記憶されている位置とを照合する。情報取得部24は、照合の結果、一致した位置の対象物に対応する第2の識別番号及び船舶6の速度を取得する。情報取得部24は、取得した第2の識別番号及び船舶6の速度及び船舶6の位置情報を対象物情報として送信部25に出力する。情報取得部24から取得した対象物情報をネットワーク10を介して表示制御装置9に送信する。
【0040】
続いて、表示制御装置9における画像表示処理を、
図5を用いて説明する。
図5は、本実施形態における表示制御装置9における画像表示処理のフローチャートを示す図である。なお、この画像表示処理は、表示制御装置9の撮像部92が撮像した画像から対象物を特定し、その特定した対象物の画像に付加情報に合成表示するものであって、制御部97により繰り返し行われる。なお、表示制御装置9は、既述のアプリケーションを起動し、そのアプリケーションに組み込まれた手順に基づいて以下の画像表示処理を行う。
【0041】
図6は、表示制御装置9の撮像した画像と表示部96に表示した画像の一例を示す図である。
図6(A)は、表示制御装置9の撮像部92が撮像した画像の一例を示す図である。
図6(B)は、本発明の実施形態における表示制御装置9の表示部96の表示例を示す図である。
【0042】
ステップS201において、位置情報取得部98は、GPS91から表示制御装置9の位置情報を取得する。位置情報取得部98は、方角部93から角度情報を取得する。位置情報取得部98は、撮像部92が撮像した画像(以下、「撮像画像」という。)及びズーム率を取得する。
【0043】
図6(A)に示すように、位置情報取得部98は、撮像画像から対象物3及び対象物6を特定する。位置情報取得部98は、特定した対象物(対象物3と対象物6)の各々の大きさ及び形状を画像処理により算出する。位置情報取得部98は、算出した対象物の大きさ及び対象物の形状から、対象物の種別を特定する。すなわち、位置情報取得部98は、対象物3が航空機であると判定する。位置情報取得部98は、対象物6が船舶であると判定する。位置情報取得部98は、表示制御装置9の位置情報及び方角情報に基づいて、撮像部の撮像している領域を特定する。そして、表示制御装置9は、撮像部92のズーム率及び特定した対象物の大きさから対象物の位置を算出する。
【0044】
ステップS202において、位置情報取得部98は、対象物識別情報と対象物の位置を示す位置情報を通信部94に送信する。通信部94は、対象物識別情報と対象物の位置情報とをネットワーク10を介して情報配信装置2に送信する。
【0045】
ステップS203において、拡張現実処理部99は、情報配信装置2から対象物情報を受信する。
【0046】
ステップS204において、拡張現実処理部99は、
図6(B)に示すように、画像上の対象物3の近傍の位置に第1の識別情報を合成表示する。また、拡張現実処理部99は、
図6(B)に示すように、画像上の対象物6の近傍の位置に第2の識別情報を合成表示する。
【0047】
上述したように、本実施形態によれば、表示制御装置9で所定のアプリケーションを起動し、撮像部92で撮像した画像の対象物を特定する。そして、特定した対象物に対応した付加情報を相関処理によって情報配信装置2から取得し、その付加情報を対象物の画像の近傍に合成表示する。これにより、従来のレーダ画面で確認するよりも容易に対象物を確認することができる。
【0048】
<第2の実施形態>
次に、本発明の第2の実施形態における対象物確認システム1aについて図面を用いて説明する。
図7は、本発明の第2の実施形態における対象物確認システム1aの構成例を示す図である。第2の実施形態の対象物確認システム1aは、第1の実施形態と比較して、航空機の航空情報と船舶の船舶情報とを第1の受信局5及び第2の受信局8から取得するのではなく、後述する情報提供サイトから取得する。なお、第1の実施形態と同じ構成には、同じ符号を付してその説明を省略する。
【0049】
図7に示すように、第2の実施形態における対象物確認システム1aは、情報配信装置2a、表示制御装置9、ADS情報提供サイト300、AIS情報提供サイト400を備えている。
ADS情報提供サイト300は、飛行している世界中の航空機の航空情報を管理している。AIS情報提供サイト400は、航海している世界中の船舶の船舶情報を管理している。
【0050】
情報配信装置2aとADS情報提供サイト300とは、ネットワーク10を介して接続される。また、情報配信装置2aとAIS情報提供サイト400とは、ネットワーク10を介して接続される。
図8は、本発明の第2の実施形態における情報配信装置2aのブロック図である。
情報配信装置2aは、第1受信部20a、第2受信部21a、第3受信部22、記憶部23、情報取得部24、送信部25を備えている。
第1受信部20aは、情報取得部24に接続されている。第1受信部20aは、ADS情報提供サイト300からネットワーク10を介して、航空機3の航空情報を受信する。
【0051】
第2受信部21aは、情報取得部24に接続されている。第2受信部21aは、AIS情報提供サイト400からネットワーク10を介して、船舶6の船舶情報を受信する。
【0052】
上述したように、本実施形態によれば、表示制御装置9で所定のアプリケーションを起動し、撮像部92で撮像した画像の対象物を特定する。そして、特定した対象物に対応した付加情報を相関処理によって情報配信装置2aから取得し、その付加情報を対象物の画像上に合成表示する。これにより、従来のレーダ画面で確認するよりも容易に対象物を確認することができる。
【0053】
次に、第1の実施形態及び第2の実施形態の変形例について説明する。表示制御装置9が、表示部96の表示画面を切り替える操作部をさらに備える。表示制御装置9は、ユーザによる操作部による表示画面の切り替え操作により、
図6(B)の表示画面から
図9に示す表示画面に切り替える。
【0054】
具体的には、ユーザから表示画面の切り替え操作を受け付けると、拡張現実処理部99は、表示部96に地図を表示し、その地図上に表示制御装置9の現在位置を表示する。また、拡張現実処理部99は、位置情報取得部98が特定した対象物を示すシンボルを作成し、特定した対象物の位置に対応した地図上の位置にそのシンボルを表示する。そして、拡張現実処理部99は、撮像部92の撮像している領域(撮像領域)を地図上に表示する。これにより、ユーザは、操作部により画面を切り替えることで、
図6(B)に示す表示部96の画面において表示制御装置9が撮像している対象物が、地図上のどの場所に位置しているのか簡単に把握することができる。
【0055】
以上、本発明の実施形態を説明したが、本発明は、上述した実施形態および変形例に限定されるものではなく、本発明の主旨を逸脱しない範囲で、種々の変形、修正、置換、付加等が可能である。
上述の実施形態では、情報配信装置は、航空情報及び船舶情報を受信局(第1の受信局5、第2の受信局8)又は情報提供サイト(ADS情報提供サイト300、AIS情報提供サイト400)から取得したが、これに限定されず、航空情報及び船舶情報を受信局と情報提供サイトとから取得してもよい。例えば、情報配信装置は、航空情報を第1の受信局5から取得し、船舶情報をAIS情報提供サイト400から取得してもよい。
【0056】
また、上述の実施形態では、航空機記憶部231と船舶記憶部232とを有しているが、これに、限定されるものではなく、1つの記憶部として構成されていてもよい。