(58)【調査した分野】(Int.Cl.,DB名)
前記飛行機を表す表示を配置する位置は、該飛行機を監視カメラで撮影して得た映像データを解析して検出し、該飛行機の位置と該飛行機を特定する情報とは、運行管理情報との照合により自動的に紐づけすることを特徴とする請求項1乃至2記載の搭乗者向け画像表示システム。
【発明を実施するための最良の形態】
【0009】
以下、図面を参照して、本発明の一実施形態の搭乗者向け情報提供システムについて説明する。
【0010】
情報提供システム1は、
図1に示すように、監視カメラ100、ネットワーク200、AOS端末装置300、画像表示装置400、及び運行管理装置500を備えている。監視カメラ100やAOS端末装置300は複数備えられうるが、本例では1つに代表させて説明する。
【0011】
監視カメラ100は、管制塔のような空港内の高所に設置されており、滑走路やエプロンを含む空港の俯瞰映像を撮影し、撮影画像の映像データをネットワーク200を経由して画像表示装置400に送信する。映像データには、監視カメラ100が内蔵する時計に基づき、その映像が撮影された時刻を示すタイムスタンプが付加されている。
ネットワーク200は、監視カメラ100と、AOS(Airport Operation Support system)端末装置300と、飛行機に搭載された画像表示装置400と、運行管理装置500とを接続する。
【0012】
AOS端末装置300は、運行管理装置500と接続されることでAOSシステムを構成する端末であり、後述する運行管理画面作成処理(
図4参照)を実行して、運行管理画面10(
図5参照)をモニタ380に表示する。モニタ380には管制官の操作を受け付ける入力部も備えられており、入力部の操作を操作データに変換してAOS端末装置300に出力する。本例のAOS端末装置300は、監視カメラ100からの映像データの解析(機体位置検出)も行う。
【0013】
画像表示装置400は、後述する到着案内画面作成処理(
図6参照)を実行して、到着案内画面11(
図8参照)をモニタ480に表示する。例えば、画像表示装置400は各旅客機に設け、無線ネットワークにより運行管理システム側と接続し、モニタ480は、座席毎に設け、搭乗者の操作を受け付けるタッチパネル等の入力部を具備させて、入力部の操作を操作データに変換して画像表示装置400に出力できるようにしてもよい。モニタ480には、既存の機内VOD( Video On Demand)システムの設備を利用できる。他の例では、画像表示装置400とモニタ480の組を、一般利用者の目に触れる空港内の各所、特に滑走路を遠望できる窓がないラウンジに設置してもよい。
【0014】
運行管理装置500は、基本的には従来のそれと同等であるが、機体位置検出結果と、滑走路に進入してくる航空機の便名等を含む管制情報とを紐づける機能を更に有し、着陸後も機体位置を把握する。つまり、着陸許可を出したのち管制用レーダー等で最後に確認された位置及び時刻から相応する進入時刻付近に、映像により位置が検出された機体があれば、その機体に便名等を紐づけ、その後は機体位置を映像で追跡し続ける。航空機に高精度な航法装置(GPSを利用したRNAV等)が備わっていれば、管制通信を行っているデータリンク( CPDLC)が維持されている限り、着陸後に入域管制から地上管制に移管されても正確な位置情報を取得できるので、容易かつ確実に紐づけできる。また、映像ベースの位置情報は誤差が含まれるため、最も近い滑走路のセンターラインやタキシングルートとの距離が所定以下であれば、それらの上にマッピング(補正)する。
【0015】
次に、AOS端末装置300の構成について、
図2を用いて説明する。AOS端末装置300は、
図2に示すように、通信I/F部310、制御部320、メモリ部330、HDD部340、画像表示I/F部350、操作入力I/F部360、及びデータバス370から構成されている。
【0016】
通信I/F部310は、ネットワーク200に接続され、飛行機の便名、機種(電動タキシング装置の有無も含む)、着陸方法、位置情報、出発・到着時刻情報、出発スポット及び到着スポット等の運行管理情報を運行管理装置500から受信し、監視カメラ100から映像データを受信するとともに、映像データの解析により得られた位置情報(映像ベース位置)を運行管理装置500に送信する。
制御部320は、CPU等の制御手段を備え、AOS端末装置300を総合的にコントロールする。メモリ部330は、AOS端末装置300の基本機能を実現するためのプログラムや制御部320が実行するプログラム及びこれらのプログラムで用いられるデータを記憶する。
【0017】
HDD(ハードディスクドライブ)部340は、制御部320が実行するプログラムやこのプログラムで用いられるデータを記憶する。HDD部340に記憶されているデータには、空港の背景画像,飛行機のアイコン画像,発着時刻・待ち時間情報表示画像,時刻表示画像の画像データが含まれている。
【0018】
空港の背景画像は、画像内に動く被写体(機体)が全く映っていない状態の空港を真上から見下ろした画像であり、空港内の位置(経緯度)を表す位置情報と対応付けて(位置がキャリブレーションされて)記憶されている。この背景画像は、監視カメラ100で撮影画像を長時間平均化する処理や視点変換処理等によって模擬的に合成することができ、或いは、決められた航空写真や地図を使い続けてもよい。発着時刻・待ち時間情報表示画像は、滑走路又は到着スポットへの飛行機の到着予定時刻,飛行機の待ち時間,便名を表示するための画面である。時刻表示画像は、発着時刻・待ち時間情報表示画像で用いられる時刻等を表示するための画像である。
【0019】
画像表示I/F部350は、制御部320から入力された画像信号をモニタ380に出力する。操作I/F部360は、モニタ380から入力された操作信号を制御部320が解析可能な操作データに変換し、制御部320に出力する。データバス370は、各部310〜360を接続し、データの受け渡しを行う。
【0020】
次に、画像表示装置400の構成について、
図3を用いて説明する。
図3に示す画像表示装置400は、AOS端末装置300同様に、通信I/F部410、制御部420、メモリ部430、HDD部440、画像表示I/F部450、操作入力I/F部460、及びデータバス470から構成されている。
【0021】
通信I/F部410は、ネットワーク200に接続され、飛行機の位置情報や到着スポット情報等の運行管理装置500から送信される運行管理情報を受信する。この運行管理情報は、一般に公開可能なものに制限され、AOS端末装置300が受信できるそれよりも、情報が少なかったり、遅延されたりする。
【0022】
到着スポット情報は、空港の背景画像上での到着スポットの設置位置を表す情報であり、運行管理装置500からネットワーク200を介して通信I/F部410に入力され、メモリ部430に記憶されている。また、運行管理情報には、現在から所定時間の範囲で、空港を利用する民間機の便名、出発・到着予定時刻、行き先、及び、到着・出発スポット等が含まれており、運行管理装置500からネットワーク200を介して通信I/F部410に入力され、メモリ部430に記憶されている。
【0023】
制御部420は、CPU等の制御手段を備え、画像表示装置400を総合的にコントロールする。メモリ部430は、画像表示装置400の基本機能を実現するためのプログラムや制御部420が実行するプログラム及びこれらのプログラムで用いられるデータを記憶する。
【0024】
HDD部440は、制御部420が実行するプログラムやこのプログラムで用いられるデータを記憶する。HDD部440は、空港の背景画像,真上から見た飛行機のサムネイル画像,飛行機の到着スポットを点滅表示するための点滅表示画像,ルート案内項目表示画像,ルート案内表示画像の画像データを記憶してもよいが、必要な都度、運行管理システム側から取得してもよい。背景画像やサムネイル画像は、実写に近いものが望ましく、背景画像は残像が多少残ったとしてもリアルタイム性の高いもの(すなわち背景画像作成における平均化の時定数が小さいもの)を別途用意してもよい。
【0025】
ルート案内項目表示画像は到着スポットから手荷物受取所、出口・入国審査までのルートの表示を要求するための項目表示の画像である。ルート案内表示画像は、到着スポットから手荷物受取所、出口・入国審査までのルートを示す画像であり、到着スポット毎にルートを表す画像が用意されている。
【0026】
次に、AOS端末装置300による運行管理画面を生成する手順について、
図4を用いて説明する。
【0027】
制御部320は、モニタ380の操作で運行管理画面作成要求がされ、操作入力I/F部360から運行管理画面作成要求の操作データが入力されると、
図4に示す運行管理画面作成処理を実行する。
【0028】
最初にステップ100(S100)において、制御部320は、HDD部340に記憶されている空港の背景画像の画像データ、飛行機のアイコンの画像データ、及び、発着時刻・待ち時間情報表示画像の画像データを取り出す(S100)。
次に、ステップ102(S102)において、制御部320は、運行管理装置500との通信を確立し、飛行機の位置情報等を含む運行管理情報をメモリ部330に保持する。
【0029】
次に、ステップ104(S104)において、制御部320は、監視カメラ100との通信を確立し、また制御部320の時計と監視カメラ100の時計との差をNTP等を用いて把握する。
次に、ステップ106(S106)において、制御部320は、監視カメラ100から最新のフレームの映像データを取得し、基準画像(差分処理用の背景画像)との差分により前景物体(飛行機)を検出し、その画像上での座標を特定する。この座標には、前景物体の下端(底部)の位置を採用する。また基準画像の更新を行う。前景物体が存在する領域を除いて平均化を行うことで、長時間平均しなくても、前景物体が背景画像に取り込まれることを防ぐことができ、ほぼリアルタイム(現実に対し数秒程度の遅れ)の背景画像が得られる。
【0030】
次に、ステップ108(S108)において、制御部320は、S106で得られた画像上での座標を、背景画像における座標に射影変換し、メモリ部330にフレーム時刻と合せて保持するとともに、運行管理装置500に通知する。
【0031】
次にステップ110(S110)において、メモリ部330に保持した飛行機の位置情報を基に、飛行機のアイコン画像と、空港の背景画像と、発着時刻・待ち時間情報表示画像とを合成し、メモリ部330に保持する。飛行機のアイコン画像は、空港において飛行機が存在している位置となるように背景画像に合成される。好ましくは、位置情報の基になったフレーム時刻からの経過時間及び飛行機の速度に基づいて、推定される現在の位置を示すようにする。
【0032】
また、発着時刻・待ち時間情報表示画像には、メモリ部330に保持した便名,出発・到着時刻の情報を基に、飛行機の滑走路又は到着スポットへの到着予想時刻及び推定待ち時間等を表す時刻表示画像が合成され、この合成画像により飛行機の滑走路又は到着スポットへの到着予想時刻等が確認できるようになっている。
【0033】
なお、到着予想時刻は、飛行機の位置情報、その位置から滑走路又は到着スポットまでのタクシング距離、走行速度、及び過去の学習結果を基に算出される。また、推定待ち時間は、飛行機の発着順及び推定待ち時間を表す情報で、空港上の各飛行機の到着予想時刻を基に待ち行列理論を用いて算出される。これらの算出は、運行管理装置500で行われてもよい。
【0034】
次にステップ120(S120)において、、制御部320は、メモリ部330に保持された合成画像の画像データを取り出し、モニタ380が表示可能な画像信号に変換して画像表示I/F部350に出力する。これにより、画像表示I/F部350からモニタ380に合成画像の画像信号が入力され、モニタ380では、
図5に示すように、運行管理画面10が表示される。
【0035】
図5に示す運行管理画面10では、空港2の建物8と、発着スポット3と、滑走路4とが背景画像として表示され、これに飛行機のアイコン5及び発着時刻・待ち時間情報表示6が合成されている。
【0036】
ステップ104からステップ120の処理は、運行管理画面作成処理が開始されてから定期的に行われ、空港を飛行機が移動すると空港2の背景画像上での飛行機のアイコン5及び発着時刻・待ち時間情報表示6の表示位置がこれに合わせて変化して、空港2での飛行機の位置がモニタ380の運行管理画面10で確認できるようになっている。また、運行管理画面10では、時間の経過と共に発着時刻・待ち時間情報表示6の時刻表示画像が変化して、飛行機の滑走路又は到着スポットへの到着予想時刻・出発までの推定待ち時間が常に確認できるようになっている。
【0037】
次に、画像表示装置400による到着案内画面を生成する手順について、
図6を用いて説明する。
【0038】
制御部420は、モニタ480の操作で到着案内画面作成要求がされ、操作入力I/F部460から到着案内画面作成要求の操作データが入力されると、到着案内画面作成処理を開始する。この処理は Webベースの技術を用いて実装されうる。
【0039】
この処理では、制御部420は、HDD部440に記憶されている空港の背景画像の画像データ、及び、飛行機のアイコン画像のデータ、到着スポットの点滅表示の画像データ、及びルート案内項目表示の画像データを取り出す(S200)。
【0040】
続いて、制御部420は、運行管理装置500から取得しメモリ部430に保持した飛行機の位置情報及び到着スポット情報を基に、空港中の飛行機が存在している位置に飛行機のアイコン画像が表示され、画像表示装置400が搭載された飛行機の到着スポットが点滅表示するように、空港の背景画像と飛行機のアイコン画像と到着スポットの点滅表示画像とルート案内項目表示画像とを合成し、メモリ部430に登録する(S210)。
【0041】
図7は、到着案内画面11を表示するためにメモリに登録された情報を示す案内情報データ図である。メモリ部430には、
図7(a)に示すように、飛行機の位置情報,到着スポット情報,乗客の行先情報,運行管理情報が、案内情報データとして記憶されている。運行管理情報としては、乗客の行先情報は、
図7(b)に示すように、飛行機の座席と対応付けて記憶されている。また、
図7(c)に示すように、空港からの出発便の行先情報と出発スポット情報とが便名に対応付けて記憶されている。この中からS210では、到着スポット情報を基に画像表示装置400が搭載された飛行機の到着スポットが特定される。
【0042】
次に、制御部420は、メモリ部430に登録された合成画像の画像データをモニタ480が表示可能な画像信号に変換し、画像表示I/F部450に出力する(S220)。これにより、画像表示I/F部450からモニタ480に合成画像の画像信号が入力され、モニタ480では到着スポット31の点滅表示が行われた空港2と、飛行機のアイコン5と、ルート案内の項目7とが表示された、
図8に示す到着案内画面11が表示される。
【0043】
図8に示す到着案内画面11では、空港2の建物8と、到着スポット3と、滑走路4とが背景画像として表示され、これに飛行機のアイコン5及びルート案内の項目7が合成されている。画像表示装置400が搭載された飛行機の到着スポット31が点滅表示されている。ルート案内の項目7には、「乗り換えルート案内」の項目71と、「入国審査・手荷物受取所ルート案内」の項目72とがあり、何れかをモニタ480の操作で選択できるようになっている。
【0044】
その後、制御部420は、乗客により乗り換えルート案内表示又は入国審査・手荷物受取所ルート案内表示要求の操作がモニタ480でされ、操作入力I/F部460からこれらの案内表示要求の操作データが入力されているか否かを、定期的に判別する(S230)。
【0045】
この判別で、何れの案内表示要求の操作データも入力されていない場合には、S210〜S230までの処理が繰り返される。これにより、空港2を飛行機が移動すると背景画像上での飛行機のアイコン画像5の表示位置がこれに合わせて変化し、到着スポット31が点滅表示されることとなる。この結果、空港2での飛行機の位置と到着スポットとの位置関係がモニタ480の画面表示で確認できるようになっている。
【0046】
一方、乗り換えルートの案内表示要求の操作データが入力されている場合には、制御部420は、
図7に示す案内情報データの中から空港からの出発便の行先情報,出発スポット情報、及び、乗客の行先情報を用いて乗客毎に乗り換えルートの終点となる出発スポットを特定する。そして、乗り換えルートの終点となる画像表示装置400が搭載された飛行機の到着スポット情報と合わせて乗り換えルートを乗客毎に特定し、メモリ部430に登録する。
【0047】
また、制御部420は、S200で取り出したデータの他に、HDD部440に記憶されている乗り換えルート表示画像のデータを取り出す(S240)。この処理では、メモリ部430に登録された乗り換えルート毎に、対応した乗り換えルート表示画像のデータが取り出される。
【0048】
続いて、制御部420は、S210で合成した画像の他に乗り換えルート表示画像も合成して合成画像を作成し、メモリ部430に登録する(S250)。
【0049】
また、入国審査・手荷物受取所ルートの案内表示要求の操作データが入力されている場合には、制御部420は、
図7に示す案内情報データの中から到着スポット情報に基づき入国審査・手荷物受取所までのルートを特定し、メモリ部430に登録する。
【0050】
また、制御部420は、S200で取り出したデータの他に、メモリ部430に登録された入国審査・手荷物受取所までのルート情報を基に、HDD部440に記憶されている入国審査・手荷物受取所ルート表示画像のデータを取り出す(S260)。
【0051】
続いて、制御部420は、S210で合成した画像の他に入国審査・手荷物受取所ルート表示画像も合成して合成画像を作成し、メモリ部430に登録する(S270)。
【0052】
S250又はS270の何れかの処理の後、制御部420は、メモリ部430に登録された合成画像の画像データをモニタ480が表示可能な画像信号に変換し、画像表示I/F部450に出力する(S280)。これにより、画像表示I/F部450からモニタ480に合成画像の画像信号が入力され、モニタ480では、
図8に示す到着案内画面11に要求されたルート案内の表示が合成された画面が表示される。
【0053】
これにより、空港での飛行機の位置と到着スポットとの位置関係がモニタ480の到着案内画面11の表示で確認できるだけでなく、乗り換えルート、及び、入国審査・手荷物受取所ルートの案内表示により、乗り換え便の搭乗ゲートまでのルート、及び、入国審査・手荷物受取所までのルートを確認できるようになっている。
【0054】
本実施形態によれば、空港到着後の情報を管理空港の俯瞰画像を用いて表示することで、空港到着後に必要となる情報を搭乗者に分かりやすく提供することができる。また、空港側から受け取った到着スポットの情報を基に、空港の俯瞰画像上の到着スポットを点滅表示することで、到着スポットの位置や到着スポットからの飛行機の距離を乗客へ分かり易く伝達できる。また、離陸時や着陸時の混雑状況も確認できる。
【0055】
また、到着ゲートからの乗り換えルート及び入国審査・手荷物受取所までのルートの何れかを搭乗者の選択に応じて到着スポットの表示中に画面表示することで、到着ゲートからの乗り換えルート及び入国審査・手荷物受取所までのルートを乗客へ分かり易く伝達できる。この結果、空港内での移動をスムーズに行える。
【0056】
また、運行管理画面10で空港2の背景画像上に飛行機のアイコン5及び発着時刻・待ち時間情報表示6を表示することで、到着スポット又は滑走路に移動する際の飛行機の発着順,移動開始タイミング等の管理を行え、離陸までの待ち時間を少なくできる。この結果、飛行機の燃料消費量を削減でき、コスト削減が可能となる。
【0057】
上記実施形態では、運行管理装置500から送信された飛行機の位置情報を用いて、AOS端末装置300や画像表示装置400が画面作成処理を実行した場合について説明したが、運行管理装置500に依存せずに監視カメラ100の映像を処理し、独自に位置を特定してもよい。また飛行機の以外にも、滑走路の周辺を走行するような作業車両等が保有するGPSの情報を用いて、それらの位置を表示するようにしてもよい。画像表示装置400とモニタ480とは、ケーブルテレビやWeb技術を用いて接続してもよく、例えば、画像表示装置が一種のゲートウェイとなり、空港内に設置した無線LANのチリスポットを通じて、携帯情報端末に到着案内画面が表示されるようにしてもよい。
【0058】
また、飛行機の表示方法や到着スポットの強調表示方法は任意であり、飛行機を実際の機体の画像を用いて表示しても、到着スポット31を単に他の装着スポット3と異なる色で表示しても、到着スポット31を他の到着スポット3より明るい色で表示しても、あるいは点滅表示してもよい。また、ルート案内の項目の画像や、ルートの案内画像も乗客が表示内容を理解できればよく、上記実施形態のものには限定されない。また、到着スポット情報等の情報は画像表示装置400が搭載された飛行機の運行に用いる情報を流用してもよい。
【0059】
また、上記実施形態では、飛行機の到着スポット,到着ゲートからの乗り換えルート,及び入国審査・手荷物受取所までのルートを表示しているにすぎなかったが、搭乗者が次に搭乗する便の搭乗ゲートまでのルートを画面表示してもよい。
【0060】
以下、搭乗者が次に搭乗する便の搭乗ゲートまでのルートを画面表示する搭乗ゲート案内画面作成処理の概略を、
図9を用いて説明する。
【0061】
制御部420は、モニタ480の操作で搭乗ゲート案内画面作成要求がされ、操作入力I/F部460から搭乗ゲート案内画面作成要求の操作データが入力されると、
図9に示す搭乗ゲート案内画面作成処理を開始する。
【0062】
この処理では、制御部420は、メモリ部430に保存されている乗客の行先情報と運行管理情報とに基づき、乗客が次に搭乗する便の搭乗ゲートまでのルートを乗客毎に特定し、メモリ部430に登録する(S300)。
【0063】
次に、制御部420は、HDD部440に記憶されている空港の背景画像の画像データ、及び、飛行機のアイコン画像のデータ、及び搭乗ゲート案内表示の画像データの画像データを取り出す(S310)。搭乗ゲート案内表示の画像データは、S300で特定されたルートを表すものが、乗客毎に選択される。
【0064】
続いて、制御部420は、S310で取り出した空港の背景画像の画像データ,飛行機のアイコン画像のデータ,搭乗ゲート案内表示の画像データを合成して合成画像を作成し、メモリ部430に登録する(S320)。
【0065】
その後、制御部420は、メモリ部430に登録された合成画像の画像データをモニタ480が表示可能な画像信号に変換し、画像表示I/F部450に出力する(S330)。これにより、画像表示I/F部450からモニタ480に合成画像の画像信号が入力され、モニタ480では、搭乗ゲートまでのルートを表示する搭乗ゲート案内表示画像が空港の背景画像に合成された搭乗ゲート案内画面が表示される。
【0066】
これにより、空港での飛行機の位置と到着スポットとの位置関係がモニタ480の搭乗ゲート案内画面の表示で確認できるだけでなく、搭乗ゲートまでのルートの案内表示により、各乗客が次に登場する便の搭乗ゲートまでのルートを確認できるようになっている。
【0067】
また、モニタ480の入力部の構成は任意であり、「乗り換えルート案内」の項目71及び「入国審査・手荷物受取所ルート案内」の項目72を画面上で押すことで入力操作が行われても、画面以外の場所に設けられたボタンで入力操作が行われてもよい。
【0068】
また、画像表示装置400で表示される空港の背景画像は、運行管理装置500から運行管理情報として送信されてくる情報に基づき空港を特定し、HDD部420に保存された空港の背景画像の中から選択しても、飛行機に登録された運行情報を流用して選択してもよい。
【0069】
また、画像表示装置400が到着案内画面11を作成するのは、モニタ480の操作で到着案内画面作成要求がされた場合に限られない。例えば、飛行機の空港到着時に画像素表示装置400が備える入力部が操作されると画像表示装置400が到着案内画面11を作成するようにしてもよい。