特許第6178663号(P6178663)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立ソリューションズの特許一覧

特許6178663データ補完装置、データ補完方法、およびデータ補完プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6178663
(24)【登録日】2017年7月21日
(45)【発行日】2017年8月9日
(54)【発明の名称】データ補完装置、データ補完方法、およびデータ補完プログラム
(51)【国際特許分類】
   G08G 3/00 20060101AFI20170731BHJP
   G01S 13/91 20060101ALI20170731BHJP
   G01S 13/90 20060101ALI20170731BHJP
   B63B 49/00 20060101ALI20170731BHJP
【FI】
   G08G3/00 A
   G01S13/91 210
   G01S13/90
   B63B49/00 Z
【請求項の数】12
【全頁数】35
(21)【出願番号】特願2013-167352(P2013-167352)
(22)【出願日】2013年8月12日
(65)【公開番号】特開2015-36832(P2015-36832A)
(43)【公開日】2015年2月23日
【審査請求日】2016年2月26日
(73)【特許権者】
【識別番号】000233055
【氏名又は名称】株式会社日立ソリューションズ
(74)【代理人】
【識別番号】110001678
【氏名又は名称】特許業務法人藤央特許事務所
(72)【発明者】
【氏名】連 燦紅
(72)【発明者】
【氏名】岩田 泰明
(72)【発明者】
【氏名】松本 俊子
【審査官】 田中 純一
(56)【参考文献】
【文献】 特開2005−181078(JP,A)
【文献】 特開2012−063186(JP,A)
【文献】 特開2008−009846(JP,A)
【文献】 特開2012−242962(JP,A)
【文献】 特開2013−109753(JP,A)
【文献】 特開2009−025860(JP,A)
【文献】 特開2000−182199(JP,A)
【文献】 特開平09−035200(JP,A)
【文献】 特開2013−083623(JP,A)
【文献】 特開2005−182539(JP,A)
【文献】 特開2003−288698(JP,A)
【文献】 特開2001−083233(JP,A)
【文献】 米国特許第04611209(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 − 99/00
B63B 1/00 − 69/00
B63J 1/00 − 99/00
G01S 7/00 − 7/42
G01S 13/00 − 13/95
(57)【特許請求の範囲】
【請求項1】
第1データベースから、領域を撮影した領域画像データの撮影時刻前後の観測時刻における第1の移動体およびその挙動を特定する第1の特徴データを含む第1の観測データを取得して、前記第1の特徴データの値が異常であるか否かを判定し、異常である場合には異常であることを示す異常情報を前記第1の特徴データに設定するフィルタリング処理部と、
第2データベースから、前記領域画像データ上における前記領域内を移動する第2の移動体の画像と前記第2の移動体およびその挙動を特定する第2の特徴データとを含む移動体画像データと取得して、前記フィルタリング処理部によって前記異常情報が設定されていない前記第1の特徴データを含む前記第1の観測データと、前記移動体画像データと、に基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合、前記移動体画像データおよび前記第1の特徴データとに対応関係があることを示す第1の情報を設定し、同一性なしと判定された場合または前記第1の特徴データに前記異常情報が設定された場合、前記移動体画像データが対応付けられないことを示す第2の情報を前記第1の特徴データに設定し、前記第1の特徴データが対応付けられないことを示す第3の情報を前記移動体画像データに設定するマッピング処理部と、
前記フィルタリング処理部によって前記異常情報が設定され、かつ、前記マッピング処理部によって前記第2の情報が設定された前記第1の特徴データと、前記第3の情報が設定された前記移動体画像データとに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合または前記マッピング処理部で同一性有りと判定された場合に前記第2の特徴データと同一になるように前記第1の特徴データを補完する第1の補完処理と、同一性なしと判定された場合または前記マッピング処理部で同一性なしと判定された場合に前記第2の特徴データに基づく第2の観測データを生成する第2の補完処理とのうち、少なくとも前記第1の補完処理を実行する補完処理部と、
前記マッピング処理部または前記補完処理部による処理結果を出力する出力処理部と、を有し、
前記マッピング処理部および前記補完処理部のうち少なくとも一方の処理部は、前記同一性の判定において、前記第1の特徴データの中の前記撮影時刻前の観測時刻である先行観測時刻での前記第1の移動体の位置、速度、および、前記先行観測時刻での前記第1の移動体の位置から前記第1の特徴データの中の前記撮影時刻後の観測時刻である後続観測時刻での前記第1の移動体の位置への移動方向を示す方位角に基づいて、前記撮影時刻での前記第1の移動体の第1の推定位置を算出し、前記後続観測時刻での前記第1の移動体の位置、速度、および、前記方位角に基づいて、前記撮影時刻での前記第1の移動体の第2の推定位置を算出し、前記第1の推定位置および前記第2の推定位置のいずれも前記領域画像データ内の位置である場合、前記第1の移動体と前記第2の移動体との同一性の確からしさを示す対応スコアを算出し、算出した前記対応スコアに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定することを特徴とするデータ補完装置。
【請求項2】
請求項1に記載のデータ補完装置であって、
前記フィルタリング処理部は、前記第1の特徴データの中の前記第1の移動体を特定する識別情報が既登録の識別情報であるか否かにより異常であるか否かを判定することを特徴とするデータ補完装置。
【請求項3】
請求項1に記載のデータ補完装置であって、
前記フィルタリング処理部は、前記第1の特徴データの中の前記第1の移動体のサイズを示す情報が基準範囲内であるか否かにより異常であるか否かを判定することを特徴とするデータ補完装置。
【請求項4】
請求項1に記載のデータ補完装置であって、
前記フィルタリング処理部は、前記第1の観測データの値が部分的に欠損しているか否かを判定し、部分的に欠損している場合には部分欠損であることを示す異常情報を前記第1の特徴データに設定することを特徴とするデータ補完装置。
【請求項5】
請求項4に記載のデータ補完装置であって、
前記フィルタリング処理部は、前記撮影時刻前の観測時刻である先行観測時刻と前記撮影時刻後の観測時刻である後続観測時刻との間隔が、所定間隔以上であるか否かにより部分的に欠損しているか否かを判定することを特徴とするデータ補完装置。
【請求項6】
請求項1に記載のデータ補完装置であって、
前記少なくとも一方の処理部は、前記第1の特徴データの中の前記第1の移動体のサイズと、前記第2の特徴データの中の前記第2の移動体のサイズと、の差に基づいて、前記対応スコアを算出することを特徴とするデータ補完装置。
【請求項7】
請求項1に記載のデータ補完装置であって、
前記少なくとも一方の処理部は、前記第1の特徴データの中の前記第1の移動体の速度と、前記第2の特徴データの中の前記第2の移動体の速度と、の差に基づいて、前記対応スコアを算出することを特徴とするデータ補完装置。
【請求項8】
請求項1に記載のデータ補完装置であって、
前記少なくとも一方の処理部は、前記第1の特徴データの中の前記第1の移動体の画像と、前記第2の特徴データの中の前記第2の移動体の画像と、の差に基づいて、前記対応スコアを算出することを特徴とするデータ補完装置。
【請求項9】
請求項1に記載のデータ補完装置であって、
前記少なくとも一方の処理部は、前記第1の特徴データの中の前記先行観測時刻での前記第1の移動体の位置から前記第2の特徴データの中の前記撮影時刻での前記第2の移動体の位置への移動方向を示す第1の方位角と、前記第2の特徴データの中の前記撮影時刻での前記第2の移動体の位置から前記第1の特徴データの中の前記後続観測時刻での前記第1の移動体の位置への移動方向を示す第2の方位角と、の差に基づいて、前記対応スコアを算出することを特徴とするデータ補完装置。
【請求項10】
請求項1に記載のデータ補完装置であって、
前記少なくとも一方の処理部は、
前記先行観測時刻での前記第1の移動体の位置から前記後続観測時刻での前記第1の移動体の位置までの距離と、前記先行観測時刻から前記撮影時刻までの前記第1の移動体の移動距離と、前記撮影時刻から前記後続観測時刻までの前記第1の移動体の移動距離と、に基づいて、前記第2の移動体の探索範囲を示す最大探索距離を算出し、
前記第1の推定位置と前記第2の推定位置とを結ぶ移動経路から前記撮影時刻における前記第2の移動体の位置までの前記第2の移動体の離間距離を算出し、
前記離間距離が前記最大探索距離以下である場合、前記対応スコアを算出することを特徴とするデータ補完装置。
【請求項11】
プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリと、を有するデータ補完装置によるデータ補完方法であって、
前記プロセッサが、
第1データベースから、領域を撮影した領域画像データの撮影時刻前後の観測時刻における第1の移動体およびその挙動を特定する第1の特徴データを含む第1の観測データを取得して、前記第1の特徴データの値が異常であるか否かを判定し、異常である場合には異常であることを示す異常情報を前記第1の特徴データに設定するフィルタリング処理と、
第2データベースから、前記領域画像データ上における前記領域内を移動する第2の移動体の画像と前記第2の移動体およびその挙動を特定する第2の特徴データとを含む移動体画像データと取得して、前記フィルタリング処理によって前記異常情報が設定されていない前記第1の特徴データを含む前記第1の観測データと、前記移動体画像データと、に基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合、前記移動体画像データおよび前記第1の特徴データとに対応関係があることを示す第1の情報を設定し、同一性なしと判定された場合または前記第1の特徴データに前記異常情報が設定された場合、前記移動体画像データが対応付けられないことを示す第2の情報を前記第1の特徴データに設定し、前記第1の特徴データが対応付けられないことを示す第3の情報を前記移動体画像データに設定するマッピング処理と、
前記フィルタリング処理によって前記異常情報が設定され、かつ、前記マッピング処理によって前記第2の情報が設定された前記第1の特徴データと、前記第3の情報が設定された前記移動体画像データとに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合または前記マッピング処理で同一性有りと判定された場合に前記第2の特徴データと同一になるように前記第1の特徴データを補完する第1の補完処理と、同一性なしと判定された場合または前記マッピング処理で同一性なしと判定された場合に前記第2の特徴データに基づく第2の観測データを生成する第2の補完処理とのうち、少なくとも前記第1の補完処理を実行する補完処理と、
前記マッピング処理または前記補完処理による処理結果を出力する出力処理と、を実行し、
前記マッピング処理および前記補完処理のうち少なくとも一方の処理では、前記プロセッサは、
前記同一性の判定において、前記第1の特徴データの中の前記撮影時刻前の観測時刻である先行観測時刻での前記第1の移動体の位置、速度、および、前記先行観測時刻での前記第1の移動体の位置から前記第1の特徴データの中の前記撮影時刻後の観測時刻である後続観測時刻での前記第1の移動体の位置への移動方向を示す方位角に基づいて、前記撮影時刻での前記第1の移動体の第1の推定位置を算出し、前記後続観測時刻での前記第1の移動体の位置、速度、および、前記方位角に基づいて、前記撮影時刻での前記第1の移動体の第2の推定位置を算出し、前記第1の推定位置および前記第2の推定位置のいずれも前記領域画像データ内の位置である場合、前記第1の移動体と前記第2の移動体との同一性の確からしさを示す対応スコアを算出し、算出した前記対応スコアに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定することを特徴とするデータ補完方法。
【請求項12】
第1データベースおよび第2データベースにアクセス可能なデータ補完装置内のプロセッサに実行されるデータ補完プログラムであって、
前記プロセッサに、
前記第1データベースから、領域を撮影した領域画像データの撮影時刻前後の観測時刻における第1の移動体およびその挙動を特定する第1の特徴データを含む第1の観測データを取得して、前記第1の特徴データの値が異常であるか否かを判定し、異常である場合には異常であることを示す異常情報を前記第1の特徴データに設定するフィルタリング処理と、
前記第2データベースから、前記領域画像データ上における前記領域内を移動する第2の移動体の画像と前記第2の移動体およびその挙動を特定する第2の特徴データとを含む移動体画像データと取得して、前記フィルタリング処理によって前記異常情報が設定されていない前記第1の特徴データを含む前記第1の観測データと、前記移動体画像データと、に基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合、前記移動体画像データおよび前記第1の特徴データとに対応関係があることを示す第1の情報を設定し、同一性なしと判定された場合または前記第1の特徴データに前記異常情報が設定された場合、前記移動体画像データが対応付けられないことを示す第2の情報を前記第1の特徴データに設定し、前記第1の特徴データが対応付けられないことを示す第3の情報を前記移動体画像データに設定するマッピング処理と、
前記フィルタリング処理によって前記異常情報が設定され、かつ、前記マッピング処理によって前記第2の情報が設定された前記第1の特徴データと、前記第3の情報が設定された前記移動体画像データとに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合または前記マッピング処理で同一性有りと判定された場合に前記第2の特徴データと同一になるように前記第1の特徴データを補完する第1の補完処理と、同一性なしと判定された場合または前記マッピング処理で同一性なしと判定された場合に前記第2の特徴データに基づく第2の観測データを生成する第2の補完処理とのうち、少なくとも前記第1の補完処理を実行する補完処理と、
前記マッピング処理または前記補完処理による処理結果を出力する出力処理と、を実行させ、
前記マッピング処理および前記補完処理のうち少なくとも一方の処理では、前記プロセッサに、
前記同一性の判定において、前記第1の特徴データの中の前記撮影時刻前の観測時刻である先行観測時刻での前記第1の移動体の位置、速度、および、前記先行観測時刻での前記第1の移動体の位置から前記第1の特徴データの中の前記撮影時刻後の観測時刻である後続観測時刻での前記第1の移動体の位置への移動方向を示す方位角に基づいて、前記撮影時刻での前記第1の移動体の第1の推定位置を算出し、前記後続観測時刻での前記第1の移動体の位置、速度、および、前記方位角に基づいて、前記撮影時刻での前記第1の移動体の第2の推定位置を算出し、前記第1の推定位置および前記第2の推定位置のいずれも前記領域画像データ内の位置である場合、前記第1の移動体と前記第2の移動体との同一性の確からしさを示す対応スコアを算出し、算出した前記対応スコアに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定する処理を実行させることを特徴とするデータ補完プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データを補完するデータ補完装置、データ補完方法、およびデータ補完プログラムに関する。
【背景技術】
【0002】
GPS(Global Positioning System)が一般に公開されて以来、船舶や航空機、自動車等の移動体にGPS受信端末が搭載され、移動体の軌跡データを得やすい環境が整ってきている。たとえば、船舶の安全航行を目的とし、船舶自動識別装置(Automatic Identification System, AIS)が搭載される船舶がある。AISには、GPS受信端末が搭載または接続される。AISは、GPSで測位した位置や速度などの船舶航跡データ(以降、AISデータとする)を、定期的に近隣の港湾や船舶に無線で配信する。
【0003】
また、解像度が高い衛星画像が比較的安価に入手できるようになったことから、写った移動体においてサイズや位置などの情報を抽出し、移動体の航跡データを組み合わせることにより、相互の情報の参照を支援する技術が開発されている。たとえば、船舶において、非特許文献1は、SAR衛星画像から位置やサイズ、速度などの船舶情報を抽出し、AISデータにおける船舶の座標やサイズや速度を比較することでSAR(合成開口レーダ:Synthetic Aperture Radar)画像上の船舶画像とAISデータとをマッピングする手法を開示する。
【0004】
当該手法では、SAR衛星の撮影後に取得した1件のAISデータにおける速度と船舶の向きとを基に撮影時刻の位置を推測し、近傍手法を用いてサイズまたは速度の差が閾値以下のAISデータと船舶画像とが対応すると判断する。これにより、衛星画像上の船舶画像とAISデータを相互的に参照することが可能になり、欠損したAISデータや該当する船舶画像が無いAISデータなどを検出することが可能になる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】S.K. Chaturvedi, ”Ship Recognition by Integration of SAR and AIS”, Journal of Navigation, Volume 65, Issue 02, pp. 323-337, April 2012.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した従来技術では、IMO(International Maritime Organization)番号(船舶識別番号)やサイズなど手入力された値に誤りがあったり、一つの船舶における時系列のAISデータに欠損がある場合、AISデータと船舶画像との対応関係に誤りが発生する場合がある。
【0007】
たとえば、サイズの値に誤りがあると、SAR画像上の船舶画像から求めたサイズと乖離することとなり、正しく対応付けることができない。また、IMO番号に誤りがある船舶は、海賊などの不審船が通常の船舶を偽装するなど、本来、異常な船舶として警告表示をすべき船舶である。しかしながら、AISデータと船舶画像との対応関係に誤りがあると、誤警告をしてしまうという問題がある。
【0008】
また、AISの電源を入れ忘れやAISが故障していた場合、AISデータを収集するストレージにおいて格納コストや通信コストを削減するためAISデータを間引いている場合など、AISデータには欠損が生じることが多くある。このような場合、衛星画像の撮影時刻から乖離したAISデータから、船舶の座標値を推測しなくてはならい。しかしながら、速度の調整や旋回などの操作が行われた場合には衛星画像の撮影時刻を推測することは困難となる。特に、GPSの誤差や船舶が集中した海域の場合、必ずしもAISデータが示す座標値の近傍に船舶画像があるわけではなく、AISデータと船舶画像との対応付けが困難になる。
【0009】
本発明は、移動体の時系列な観測データと移動体の時系列な画像データとの対応関係についての信頼性の向上を図ることを目的とする。
【課題を解決するための手段】
【0010】
本願において開示される発明の一側面となるデータ補完装置、データ補完方法、およびデータ補完プログラムは、プロセッサが、第1データベースから、領域を撮影した領域画像データの撮影時刻前後の観測時刻における第1の移動体およびその挙動を特定する第1の特徴データを含む第1の観測データを取得して、前記第1の特徴データの値が異常であるか否かを判定し、異常である場合には異常であることを示す異常情報を前記第1の特徴データに設定するフィルタリング処理と、第2データベースから、前記領域画像データ上における前記領域内を移動する第2の移動体の画像と前記第2の移動体およびその挙動を特定する第2の特徴データとを含む移動体画像データと取得して、前記フィルタリング処理によって前記異常情報が設定されていない前記第1の特徴データを含む前記第1の観測データと、前記移動体画像データと、に基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合、前記移動体画像データおよび前記第1の特徴データとに対応関係があることを示す第1の情報を設定し、同一性なしと判定された場合または前記第1の特徴データに前記異常情報が設定された場合、前記移動体画像データが対応付けられないことを示す第2の情報を前記第1の特徴データに設定し、前記第1の特徴データが対応付けられないことを示す第3の情報を前記移動体画像データに設定するマッピング処理と、前記フィルタリング処理によって前記異常情報が設定され、かつ、前記マッピング処理によって前記第2の情報が設定された前記第1の特徴データと、前記第3の情報が設定された前記移動体画像データとに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定し、同一性ありと判定された場合または前記マッピング処理で同一性有りと判定された場合に前記第2の特徴データと同一になるように前記第1の特徴データを補完する第1の補完処理と、同一性なしと判定された場合または前記マッピング処理で同一性なしと判定された場合に前記第2の特徴データに基づく第2の観測データを生成する第2の補完処理とのうち、少なくとも前記第1の補完処理を実行する補完処理と、前記マッピング処理または前記補完処理による処理結果を出力する出力処理と、を実行し、前記マッピング処理および前記補完処理のうち少なくとも一方の処理では、前記プロセッサは、前記同一性の判定において、前記第1の特徴データの中の前記撮影時刻前の観測時刻である先行観測時刻での前記第1の移動体の位置、速度、および、前記先行観測時刻での前記第1の移動体の位置から前記第1の特徴データの中の前記撮影時刻後の観測時刻である後続観測時刻での前記第1の移動体の位置への移動方向を示す方位角に基づいて、前記撮影時刻での前記第1の移動体の第1の推定位置を算出し、前記後続観測時刻での前記第1の移動体の位置、速度、および、前記方位角に基づいて、前記撮影時刻での前記第1の移動体の第2の推定位置を算出し、前記第1の推定位置および前記第2の推定位置のいずれも前記領域画像データ内の位置である場合、前記第1の移動体と前記第2の移動体との同一性の確からしさを示す対応スコアを算出し、算出した前記対応スコアに基づいて、前記第1の移動体と前記第2の移動体との同一性を判定することを特徴とする。
【発明の効果】
【0011】
本発明の代表的な実施の形態によれば、移動体の時系列な観測データと移動体の時系列な画像との対応関係の高精度化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0012】
図1】AISデータと船舶画像データとの対応付けの一例を示す説明図である。
図2】データ補完例1を示す説明図である。
図3】データ補完例2を示す説明図である。
図4】通信システムのシステム構成例を示す説明図である。
図5】データ補完装置の構成例を示すブロック図である。
図6】衛星画像データのデータ構造例を示す説明図である。
図7】船舶画像データのデータ構造例を示す説明図である。
図8】AISデータのデータ構造例を示す説明図である。
図9図8に示した時系列データのデータ構造例を示す説明図である。
図10】船舶対応データのデータ構造例を示す説明図である。
図11】データ補完装置による詳細な処理手順例を示すフローチャートである。
図12図8に示したフィルタリング処理部によるフィルタリング処理(ステップS1101)の詳細な処理手順例を示すフローチャートである。
図13図11に示したマッピング処理部によるマッピング処理(ステップS1106)の詳細な処理手順例を示すフローチャート1である。
図14図11に示したマッピング処理部によるマッピング処理(ステップS1106)の詳細な処理手順例を示すフローチャート2である。
図15】推定航路と最大探索距離との関係を示す説明図である。
図16図13に示したタイムシフト処理(ステップS1306)の詳細な処理手順例を示すフローチャートである。
図17図14に示した最大探索距離算出処理(ステップS1401)の詳細な処理手順例を示すフローチャートである。
図18図14に示した対応スコア算出処理(ステップS1405)の詳細な処理手順例を示すフローチャートである。
図19】shipの方向と方位角との関係を示す説明図である。
図20図11に示した補完処理部による再マッピング処理(ステップS1107)の詳細な処理手順例を示すフローチャート1である。
図21図11に示した補完処理部による再マッピング処理(ステップS1107)の詳細な処理手順例を示すフローチャート2である。
図22】異常・欠損補完例を示す説明図である。
図23図5のデータの表示処理部によって出力されたAISデータの補完結果の出力画面の例を示す説明図である。
図24図5のデータの表示処理部によって出力されたAISデータと船舶画像の出力画面の例1を示す説明図である。
図25図5のデータの表示処理部によって出力されたAISデータと船舶画像の出力画面の例2を示す説明図である。
図26図5のデータの表示処理部によって出力されたデータ表示図面の例を示す説明図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照しながら、本発明に係る移動体情報補完装置の形態例を説明する。以下の図において、同一の符号を付した部分は同一物を表し、基本的な構成及び動作は同様であるものとする。尚、本発明の実施形態において、使用される機器、手法等は一例であり、本発明はこれらに限定されるものではないことは勿論である。
【0014】
更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。また、本発明はAISデータを一例としており、その他の移動体情報の補完にも対象となる。
【0015】
<AISデータと船舶画像データとの対応付け>
図1は、AISデータと船舶画像データとの対応付けの一例を示す説明図である。図1では、AISデータと船舶画像データとをマッピングした画面を示す。AISデータと、船舶画像データの抽出元となる衛星画像データとは、それぞれ別ルートでかつ非同期で得られるデータである。AISデータa1は、船舶の船舶ID、船舶のサイズ、船舶の速さを含む。船舶画像データA1は、船舶画像ID、船舶のサイズ、船舶の速さを含む。AISデータa1と船舶画像データA1との対応付けは、両データを比較することにより行われる。たとえば、サイズの差および速さの差が許容範囲内であれば、同一船舶であるとして、AISデータa1と船舶画像データA1とが対応付けられる。
【0016】
図1の例では、船舶画像データA1は、2012年11月11日16:25:05に取得されたデータであり、AISデータa1は、同日の16:00(図1中、t0)、16:20(図1中、t1)、16:40(図1中、t2)に取得されたデータである。t0〜t2は、AISデータa1に含まれる時系列データであり、船舶の速さ、取得時刻、当該取得時刻での位置を含む。本実施例のように、AISデータa1と船舶画像データA1とを対応付けることにより、衛星画像上での船舶の時系列な航行経路を確認することができる。
【0017】
<データ補完例>
図2は、データ補完例1を示す説明図である。データ補完例1では、AISデータa2に異常があった場合に、AISデータa2を補完することにより、AISデータa2と船舶画像データA2とを対応付ける例である。
【0018】
(A) 図2では、AISデータa2のサイズ(0m、23m)のうち、船舶の長さが誤入力により「0m」となっており、船舶の最短長さよりも短い。したがって、AISデータa2と船舶画像データA2とを対応付けることができない。このように、異常な値を含むAISデータa2を異常データと呼ぶ。
【0019】
(B) 本実施例では、異常データについて、データ補完装置が、異常値以外のデータにより船舶画像データA2と対応付けるのにふさわしいデータであるか否かを示す指標値となる対応スコアを求める。対応スコアにより、AISデータa2が船舶画像データA2と対応付けるのにふさわしいデータであると判断された場合には、データ補完装置は、船舶画像データにおける船舶の長さ「101m」で、AISデータa2における船舶の長さ「0m」を更新することにより、データ補完する。これにより、図1と同様、AISデータa2と船舶画像データA2とを対応付けることができるようになる。
【0020】
図3は、データ補完例2を示す説明図である。データ補完例2は、AISデータが欠損している場合に、AISデータa3を補完することにより、AISデータa3と船舶画像データA3とを対応付ける例である。
【0021】
(A) AISデータまたはAISデータ内の時系列データに欠損がある場合、AISデータと船舶画像データA3とを対応付けることができない。
【0022】
(B) 本実施例では、船舶画像データA3に対応付けるAISデータに欠損がある場合、データ補完装置は、船舶画像データA3を用いて、船舶画像データA3に対応するAISデータa3を生成することにより、AISデータを補完する。これにより、図1と同様、AISデータa3と船舶画像データA3とを対応付けることができるようになる。
【0023】
<システム構成例>
図4は、通信システムのシステム構成例を示す説明図である。通信システム400では、地球の周りを周回している3種類の人工衛星401〜403が用いられる。第1の人口衛星は、衛星画像を撮影して、データベースサーバ407に送信する人工衛星である。第2の人工衛星402は、AISデータを送受信する人工衛星である。第3の人工衛星403は、時刻情報と第3の人工衛星403自身の軌道情報を含むGPS信号をAIS405に発信する人工衛星である。
【0024】
また、通信システム400は、AIS405と、基地局406と、データベースサーバ407と、データ補完装置408と、を含む構成である。上述したように、AIS405は、船舶404に搭載され、GPS受信端末が搭載または接続される。AIS405は、第3の人工衛星403からのGPS信号を受信し、当該AIS405を搭載する船舶の位置や速度などのAISデータを測位して、定期的に近隣の港湾にある基地局406や船舶404、または第2の人工衛星402に無線で配信する。AISデータが第2の人工衛星402に配信される場合は、AISデータは、第2の人工衛星402から基地局406に配信される。
【0025】
基地局406は、たとえば、港湾に設置され、船舶404のAIS405や第2の人工衛星402からのAISデータを受信して、データベースサーバ407に転送する。また、基地局406は、第1の人工衛星401が撮影した衛星画像データを第1の人工衛星401から受信して、データベースサーバ407に転送する。なお、衛星画像データは、基地局406以外の図示しない他の受信装置で受信して、データベースサーバ407に転送することとしてもよい。
【0026】
データベースサーバ407は、AISデータと衛星画像データとを蓄積する。なお、本例では、便宜上、同一のデータベースサーバ407が、AISデータと衛星画像データとを蓄積するが、AISデータを蓄積するデータベースサーバ407と、衛星画像データを蓄積するデータベースサーバ407とは、別サーバでもよい。いずれにしても、データ補完装置408に対して、AISデータと衛星画像データとが与えられれば良い。
【0027】
データ補完装置408は、海域エリアの衛星画像上の船舶画像データとAISデータとをマッピングし、AISデータの異常(図2)または欠損(図3)を補完する。具体的には、データ補完装置408は、衛星画像データの撮影時刻の直近および直後の観測時刻での2つのAISデータを用いて、衛星画像データの撮影時刻における船舶404の位置の推測範囲を決定し、AISデータの属性と船舶画像データから抽出できる属性を比較する。そして、データ補完装置408は、衛星画像に写っている船舶画像とAISデータを照合し、上述した異常または欠損を検出してAISデータを補完する。データ補完装置408の各機能については、図5で説明する。
【0028】
<データ補完装置408の構成例>
図5は、データ補完装置408の構成例を示すブロック図である。図5において、データ補完装置408は、単独の計算機として示されているが、各構成部が遠隔的に配置され、それぞれがネットワークを介して接続されて構成される、計算機システムとして構成されるようにしても良い。
【0029】
データ補完装置408は、衛星画像DB500と、船舶画像DB501と、AISデータDB502と、船舶対応DB503と、マスタDB505と、中央処理装置505と、入力装置506と、表示装置507と、データメモリ508と、プログラムメモリ509と、を有する。
【0030】
衛星画像DB500は、第1の人工衛星401により取得された衛星画像データを格納する。船舶画像DB501は、衛星画像データから抽出した船舶画像データを格納する。AISデータDB502は、定期的に収集されたAISデータを格納する。船舶対応DB503は、AISデータと船舶画像データとの対応関係を示す船舶対応データを格納する。マスタDB504は、既登録のIMO番号と、基準となる船舶404のサイズ範囲と、を格納する。これらDB500〜505は、不揮発性メモリやハードディスクなどの記憶装置によりその機能を実現する。また、これらDB500〜505の少なくともいずれか1つは、データベースサーバ407が保持する構成としてもよい。
【0031】
中央処理装置505は、フィルタリング処理部511と、マッピング処理部512と、補完処理部513と、データ表示処理部514と、を有する。この形態例の場合、コンピュータによって構成され、フィルタリング処理部511、マッピング処理部512、補完処理部513およびデータの表示処理部514は、いずれもコンピュータ上で実行されるプログラムの機能の一部として実現される。なお、これらのプログラムは、プログラムメモリ509に格納される。フィルタリング処理部511、マッピング処理部512、補完処理部513およびデータ表示処理部514の詳細については後述する。
【0032】
入力装置506は、データを中央処理装置505に入力し、表示装置507は、中央処理装置505からのデータを表示する。データメモリ508は、衛星画像データ521と、船舶画像データ522と、AISデータ523と、船舶対応データ524と、を格納する。プログラムメモリ509は、OS(Operating System)や、フィルタリング処理部511、マッピング処理部512、補完処理部513およびデータの表示処理部514を実現するプログラムを格納する。
【0033】
<データ構造例>
つぎに、図2に示した各種DB500〜505およびデータメモリ508に格納されるデータのデータ構造例について説明する。
【0034】
図6は、衛星画像データ521のデータ構造例を示す説明図である。衛星画像データ521は、衛星画像DB500に記憶されており、中央処理装置505により読み出されてデータメモリ508に書き込まれる。そして、更新後は、再度衛星画像DB500に格納される。
【0035】
衛星画像データ521は、衛星画像ID600と、撮影時刻601と、最小経度602と、最小緯度603と、最大経度604と、最大緯度605と、ピクセルデータ606と、を含み、たとえば配列の形式でこれらの情報が保有される。
【0036】
衛星画像ID600は、衛星画像データ521において一意に振られた値が保持される。撮影時刻601には、値として、衛星画像を撮影した日付が保持される。最小経度602、最小緯度603、最大経度604、および最大緯度605には、それぞれ、値として、天体表面上の地理座標系において衛星画像の範囲を示す座標値が保持される。ピクセルデータ606には、RGBカラーモデルの値が衛星画像の大きさに従った二次元配列上に保持される。ピクセルデータ606が表示装置において衛星画像として表示される。
【0037】
図7は、船舶画像データ522のデータ構造例を示す説明図である。船舶画像データ522は、船舶画像DB501に記憶されており、中央処理装置505により読み出されてデータメモリ508に書き込まれる。そして、更新後は、再度船舶画像DB501に格納される。なお、船舶画像データ522は、既存技術により衛星画像データから抽出されたデータである。
【0038】
船舶画像データ522は、衛星画像ID700と、船舶画像ID701と,経度702と、緯度703と、速度704と、方向705と、長さ706と、幅707と、ピクセルデータ708と、データ状態709と、を含み、たとえば配列の形式でこれらの情報が保有される。
【0039】
船舶画像ID701には、船舶画像データ522に対して一意に振られた値が保持される。経度702および緯度703には、それぞれ、値として、天体表面上の地理座標系における船舶404の座標値が保持される。速度704には、値として、船舶画像データから抽出した船舶404の速度が保持される。方向705には、値として、船舶画像データから抽出した船舶404の向き情報が保持される。長さ706および幅707は、値として、船舶画像データから抽出した船舶404のサイズが保持される。ピクセルデータ708は、衛星画像データから検出された船舶画像の大きさに従ってRGBカラーモデルの値が二次元配列上に保持される。ピクセルデータ708が表示装置において船舶画像として表示される。
【0040】
データ状態709には、値として、当該船舶画像として表示される船舶404のAIS405からAISデータが発信されていたかどうかを示す識別情報が保持される。具体的には、たとえば、AISデータと船舶画像データとのマッピング処理により、当該船舶画像データに対応するAISデータが存在する場合には「正常」が格納され、対応するAISデータが存在しない場合には「欠損」が格納される。なお、デフォルトの場合、データ状態709には「NULL」が保持される。
【0041】
図8は、AISデータ523のデータ構造例を示す説明図である。AISデータ523は、AISデータDB502に記憶されており、中央処理装置505により読み出されてデータメモリ508に書き込まれる。そして、更新後は、再度AISデータDB502に格納される。
【0042】
AISデータ523は、船舶ID800と、IMO番号801と、船舶名802と、長さ803と、幅804と、ピクセルデータ805と、時系列データ806と、データ状態807と、を含み、たとえば配列の形式でこれらの情報が保有される。なお、IMO番号801、船舶名802、長さ803、幅804、ピクセルデータ805、および時系列データ806は、手動で入力されるデータである。
【0043】
船舶ID800には、AISデータ523に対して一意に振られた値が保持される。IMO番号801には、値として、国際海事機関において大型船に割り振られた船舶404識別番号が保持される。船舶名802には、値として、IMOに登録した船の名前が保持される。長さ803および幅804には、値として、IMOに登録した船舶404のサイズが保持される。ピクセルデータ805には、RGBカラーモデルの値が船舶404写真の大きさに従って二次元配列上に保持される。ピクセルデータ805が表示装置において船舶画像として表示される。
【0044】
時系列データ806には、時刻ごとの船舶404の位置や速度などの情報が保持される。時系列データ806の詳細については、図9で後述する。データ状態807には、値として、AISデータのIMO番号やサイズに誤入力があるかどうかを示す識別情報が保持される。AISデータにおけるIMO番号801が異常の場合には、「IMO番号異常」が格納され、長さ803や幅804が異常の場合には、「サイズ異常」が格納される。また、AISデータと船舶画像のマッピング処理により当該AISデータに対応する船舶画像がある場合には、データ状態807に「正常」が格納される。なお、デフォルトの場合、データ状態807に「NULL」が保持される。
【0045】
図9は、図8に示した時系列データのデータ構造例を示す説明図である。時系列データ806は、時系列ID901と、受信時刻902と、経度903と、緯度904と、速度905と、データ状態906と、を含み、たとえば配列の形式でこれらの情報が保有される。時系列ID901には、時系列データ806に対して一意に振られた値が保持される。受信時刻902には、値として、当該時系列データが受信した時刻が保持される。経度903および緯度904は、値として、時系列データが発信されたときの船舶404の座標情報が保持される。速度905は、値として、時系列データが発信されたときの船舶404の速度が保持される。データ状態906には、値として、一定間隔で時系列データが受信されているかの識別情報が保持される。なお、一定間隔で次の時系列データが受信されていない場合、すなわち、時系列の中で部分欠損がある場合には欠損がある前の時系列データのデータ状態906に「部分欠損」が登録される。デフォルトの場合、データ状態906にNULLが保持される。
【0046】
図10は、船舶対応データ524のデータ構造例を示す説明図である。船舶対応データ524は、AISデータと船舶画像データとの対応関係を示す情報である。船舶対応データ524は、データメモリ508上で生成され、船舶対応DB503に格納される。
【0047】
船舶対応データ524は、船舶ID1000と、船舶画像ID1001と、サイズ対応スコア1002と、速度対応スコア1003と、船種対応スコア1004と、方向対応スコア1005と、先行時系列データのシフト後の経度1006と、先行時系列データのシフト後の緯度1007と、後続時系列データのシフト後の経度1008と、後続時系列データのシフト後の緯度1009と、最大探索距離1010と、対応関係成立フラグ1011と、を含み、たとえば配列の形式でこれらの情報が保有される。
【0048】
サイズ対応スコア1002には、値として、船舶404のサイズを船舶画像データとAISデータとで比較した際のサイズ差の度合を表すスコアが保持される。速度対応スコア1003には、値として、船舶404の速度を船舶画像データとAISデータとで比較した際の速度差の度合を表すスコアが保持される。船種対応スコア1004には、値として、船舶404のピクセルデータを船舶画像データとAISデータとで比較した際のピクセル差の度合を表すスコアが保持される。
【0049】
方向対応スコア1005には、船舶404の方向を船舶画像データとAISデータとで比較した際の方向差の度合を表すスコアが保持される。また、サイズ対応スコア1002、速度対応スコア1003、船種対応スコア1004および方向対応スコア1005には、正規化された値が入力され、これらの合計の範囲は、たとえば、[0,1]である。
【0050】
先行時系列データのシフト後の経度1006および先行時系列データのシフト後の緯度1007には、値として、衛星画像の撮影時刻前のある時系列データ(先行時系列データ)を当該衛星画像の撮影時刻へタイムシフトした場合の推測撮影時刻における経度および緯度が保持される。先行時系列データは、衛星画像の撮影時刻前であれば、どの時点で観測されたデータでもよいが、衛星画像の撮影時刻の直前に観測された経度および緯度が好ましい。
【0051】
同様に、後続時系列データのシフト後の経度1008および後続時系列データのシフト後の緯度1009には、値として、衛星画像の撮影時刻後における先行時系列データの直後の時系列データ(後続時系列データ)を当該衛星画像の撮影時刻へタイムシフトした場合の推測撮影時刻における経度および緯度が保持される。後続時系列データは、衛星画像の撮影時刻後であれば、どの時点で観測されたデータでもよいが、衛星画像の撮影時刻の直後に観測された経度および緯度が好ましい。
【0052】
最大探索距離1010には、値として、AISデータが示す船舶404の位置から該当する船舶画像を探索する際の範囲を設定するための距離が保持される。対応関係成立フラグ1011には、値として、船舶ID1000により特定されるAISデータと、船舶画像ID1001により特定される船舶画像データとの間に対応関係が成立したか否かを示す情報が設定される。ここでは、デフォルトを「0」(未成立)とし、対応関係が成立した場合「1」とする。船舶ID1000により特定されるAISデータと、対応スコアが最大の船舶画像ID1001により特定される船舶画像データにおける対応スコアが閾値以上の場合、対応関係成立フラグが“1”に設定される。
【0053】
<各処理部511〜514の処理内容>
つぎに、図2に示したフィルタリング処理部511、マッピング処理部512、補完処理部513およびデータ表示処理部514について説明する。
【0054】
フィルタリング処理部511は、AISデータDB502内のAISデータ群において、IMO番号やサイズなど手入力されたデータの異常や部分欠損のAISデータをあらかじめフィルタリングするフィルタリング処理を実行する。具体的には、たとえば、フィルタリング処理部511は、AISデータDB502内のAISデータをデータメモリ508に書込み、AISデータごとに、異常であるか否かを判断する。IMO番号に異常がある場合、そのAISデータのデータ状態に「IMO番号異常」を設定し、船舶404のサイズに異常がある場合、そのAISデータのデータ状態に「サイズ異常」を設定する。これにより、どのAISデータに誤入力があったかを特定することができる。
【0055】
また、フィルタリング処理部511は、該当する場合には、そのAISデータにおける時系列データのデータ状態に「部分欠損」を設定する。たとえば、一定期間おきに時系列データが受信されていない場合、時系列データが欠損している。したがって、フィルタリング処理部511は、欠損直前の時系列データのデータ状態に「部分欠損」を設定する。これにより、どの時系列データ群のどの時点で欠損があったかを特定することができる。
【0056】
マッピング処理部512は、フィルタリング処理部511において異常と部分欠損と判断されたAISデータについて、船舶画像データとのマッピング処理を行い、当該AISデータを、正常データ、異常データ、欠損データの3種類に分類する。正常データとは、対応の船舶画像データが存在するAISデータである。異常データとは、対応の船舶画像が存在しない、または、IMO番号やサイズなど誤入力されたAISデータである。欠損データとは、対応関係を結べない船舶画像データに対し時系列データが欠損したAISデータ、または、一定時間間隔で時系列データが受信されなかった部分欠損のAISデータである。正常データであれば、図1に示したように、船舶画像データと対応づけられるため、AISデータと衛星画像データとで相互的に情報の参照が可能となる。
【0057】
補完処理部513は、異常データや欠損データと対応関係が無かった船舶画像データについて、再度マッピング処理を実行する。具体的には、たとえば、補完処理部513は、フィルタリング処理部511とマッピング処理部512で分類した異常データと、AISデータが欠損する船舶画像データとを用いて、再度マッピング処理を行い、船舶画像データを基に異常と欠損のAISデータを補完する。
【0058】
なお、補完処理部513は、船舶画像データからIMO番号を抽出できない場合、再度マッピング処理の時点で、「IMO番号異常」のAISデータを除去する。また、AISデータと船舶画像データとの対応スコアを計算する際、AISデータの異常によって対応基準を決める。たとえば、補完処理部513は、サイズ異常のAISデータにおいて、対応基準にまずサイズを除き、残りの対応基準において任意に組み合わせて対応スコアを計算する。これにより異常・欠損データを補完でき、衛星画像上の船舶画像データとAISデータとの相互的な参照精度の向上を図る。
【0059】
データ表示処理部514は、補完処理部513によるマッピング結果を反映した衛星画像を表示装置に表示する。たとえば、データ表示処理部514は、船舶対応データ524を参照することにより、対応関係がある船舶画像データおよびAISデータの組み合わせを表示する。なお、本実施例では、データ表示処理部514によりマッピング結果を表示することとしたが、外部装置に出力、送信、または格納することとしてもよい。
【0060】
<補完処理手順例>
図11は、データ補完装置408による詳細な処理手順例を示すフローチャートである。データ補完装置408は、フィルタリング処理部511により上述したフィルタリング処理を実行し(ステップS801)、衛星画像DB500の1以上の衛星画像群をデータメモリ508に格納する(ステップS1102)。フィルタリング処理(ステップS1101)は、IMO番号やサイズなど手入力されたデータの異常や一定間隔で受信されなかった部分欠損のAISデータが誤って関連のない船舶画像データと対応関係を結ぶことを回避するための処理である。フィルタリング処理(ステップS1101)の詳細については図12で説明する。
【0061】
つぎに、データ補完装置408は、データメモリ508上の衛星画像群の中から1枚の衛星画像pを取得する(ステップS1103)。このあと、データ補完装置408は、衛星画像pの中から船舶画像を特定し、特定した船舶画像を含む船舶画像データ522を、船舶画像DBから読み出してデータメモリ508に格納する(ステップS1104)。また、データ補完装置408は、フィルタリング処理(ステップS1101)済みのAISデータ群が格納されているAISデータDB502から、衛星画像pの撮影時刻の直前の時系列データおよび直後の時系列データを含むAISデータ523を読み出して、データメモリ508に格納する(ステップS1105)。そして、データ補完装置408は、マッピング処理部512により、AISデータ523と衛星画像p上の船舶画像データ522とのマッピング処理を実行する(ステップS1106)。
【0062】
マッピング処理(ステップS1106)は、フィルタリング処理(ステップS1101)によって異常や部分欠損していないAISデータについて、一つの衛星画像に映る各船舶画像とマッピングを行い、AISデータを正常データまたは異常データに分類し、船舶画像データを正常データまたは欠損データに分類する処理である。なお、マッピング処理(ステップS1106)の詳細は、図13および図14を用いて詳細に後述する。
【0063】
つぎに、データ補完装置408は、補完処理部513により、再度マッピング処理を実行する(ステップS1107)。具体的には、たとえば、補完処理部513は、異常データに基づいて衛星画像の撮影時刻での船舶404の推測位置を求めて、欠損データとのマッピング処理を行い、データの補完を行う。なお、再マッピング処理(ステップS1107)については、図15を用いて後述する。
【0064】
つぎに、データ補完装置408は、データメモリ508のデータをDBに書き込み(ステップS1108)、衛星画像データ521におけるすべての衛星画像を処理したか確認する(ステップS1109)。ステップS1109において、すべての衛星画像を処理していない場合(ステップS1109:No)、残りの衛星画像を処理するため、ステップS1103の処理に戻る。また、ステップS1109において、すべての衛星画像を処理した場合(ステップS1109:Yes)、データ補完装置409は、データ表示処理部514により、データ表示処理を実行する(ステップS1110)。データ表示処理(ステップS1110)では、データ表示処理部514は、AISデータと船舶画像データと関連付けて表示する。なお、データ表示処理(ステップS1110)の表示内容例は、図23図26を用いて詳細に後述する。
【0065】
<フィルタリング処理手順例>
図12は、図8に示したフィルタリング処理部511によるフィルタリング処理(ステップS1101)の詳細な処理手順例を示すフローチャートである。フィルタリング処理部511は、AISデータDB502からAISデータを読み出してデータメモリ508に格納する(ステップS1201)。つぎに、フィルタリング処理部511は、1件の未取得のAISデータAIS405をデータメモリ508から取得する(ステップS1202)。取得したAIS405がフィルタリング対象となるAISデータである。
【0066】
つぎに、フィルタリング処理部511は、マスタDB504内のIMO番号を参照して、AIS405のIMO番号が異常であるか否かを判断する(ステップS1203)。具体的には、たとえば、フィルタリング処理部511は、AIS405のIMO番号がマスタDB504内の既登録のIMO番号と一致するか否かを判断する。
【0067】
不一致の場合は、AIS405のIMO番号が既登録のIMO番号と一致せず、マスタDB504に存在しないことになる。したがって、異常と判断される。異常と判断された場合(ステップS1203:Yes)、フィルタリング処理部511は、AIS405のデータ状態に「IMO番号異常」を登録して(ステップS1204)、ステップS1211に移行する。
【0068】
一方、AIS405のIMO番号が既登録のIMO番号と一致する場合は、AIS405のIMO番号がマスタDB504に存在することになる。したがって、正常と判断される。正常と判断された場合(ステップS1203:No)、フィルタリング処理部511は、マスタDB504内のサイズ範囲を示す情報を参照して、AIS405の船舶サイズが異常であるか否かを判断する(ステップS1205)。船舶サイズとは、船舶404の幅および長さである。
【0069】
マスタDB504には、幅および長さの各々について基準となるサイズ範囲を示す情報が格納されている。フィルタリング処理部511は、幅および長さのうち少なくともいずれか一方がサイズ範囲内にない場合、サイズ異常と判断し、幅および長さの両方がサイズ範囲内である場合、サイズ正常と判断する。
【0070】
したがって、フィルタリング処理部511は、サイズ異常と判断した場合(ステップS1205:Yes)、AIS405のデータ状態に「サイズ異常」を登録し、ステップS1207に移行する。一方、サイズ異常でないと判断した場合(ステップS1205:No)、ステップS1207に移行する。
【0071】
ステップS1207において、AIS405の時系列データ群の中から未取得である連続2件の時系列データを取得する(ステップS1207)。ここで、処理対象となる2件の連続する時系列データをt1、t2とする。t1が先行時系列データであり、t2がt1の直後に観測された後続時系列データである。
【0072】
フィルタリング処理部511は、t1の受信時刻とt2の受信時刻とを比較して、受信時刻の差がしきい値以上であるか否かを判断する(ステップS1209)。すなわち、フィルタリング処理部511は、一定時間間隔でt1、t2が受信されているか否かを確認することで、t1とt2との間に時系列データの欠損があるか否かを判断する。
【0073】
受信時刻の時間差がしきい値以上である場合(ステップS1209:Yes)、フィルタリング処理部511は、t1のデータ状態に「部分欠損」を登録する(ステップS1209)。一方、しきい値以上でない場合(ステップS1209:No)、ステップS1210に移行する。ステップS1210では、フィルタリング処理部511は、AIS405において未取得である連続2件の時系列データがあるか否かを判断する(ステップS1210)。
【0074】
未取得の連続2件の時系列データがある場合(ステップS1210:Yes)、ステップS1207に戻り、フィルタリング処理部511は、AIS405の時系列データ群の中から未取得である連続2件の時系列データを取得する(ステップS1207)。一方、未取得の連続2件の時系列データがない場合(ステップS1207:No)、ステップS1211に移行する。
【0075】
ステップS1211では、フィルタリング処理部511は、データメモリ508上のすべてのAISデータを処理したか否かを判断する(ステップS1211)。未処理のAISデータが有る場合(ステップS1211:No)、ステップS1202に戻り、フィルタリング処理部511は、データメモリ508から未取得の1件のAISデータAIS405を取得する(ステップS1202)。
【0076】
一方、すべてのデータを処理した場合(ステップS1211:Yes)、フィルタリング処理部511は、データメモリ508上のAISデータ群をAISデータDB502に書き戻す(ステップS1212)。したがって、AISデータDB502内のAISデータ群は、フィルタリング処理(ステップS1101)によるフィルタリング後の内容となる。これにより、フィルタリング処理(ステップS1101)を終了し、ステップS1102に移行する。
【0077】
このように、フィルタリング処理部511は、フィルタリング処理(ステップS1101)によって、AISデータと船舶画像データをマッピング処理(ステップS1106)する前に、あらかじめフィルタリングする。これにより、IMO番号やサイズなど手入力されたデータの異常や一定間隔で受信されなかった部分欠損のAISデータが誤って関連のない船舶画像データと対応関係を結ぶことを回避することができる。なお、フィルタリング処理部511は、データ補完装置408外の外部装置にあってもよい。その場合、データ補完装置408は、フィルタリング結果を当該外部装置から取得すればよい。
【0078】
<マッピング処理手順例>
図13および図14は、図11に示したマッピング処理部512によるマッピング処理(ステップS1106)の詳細な処理手順例を示すフローチャートである。マッピング処理部512は、まず、図11のステップS1105でデータメモリ508に格納されたAISデータ群の中から1件のAISデータAIS405を取得する(ステップS1301)。
【0079】
つぎに、マッピング処理部512は、ステップS1301で取得したAIS405のデータ状態が異常であるか否かを判断する(ステップS1302)。具体的には、たとえば、マッピング処理部512は、AIS405のデータ状態807に「IMO番号異常」や「サイズ異常」が登録されている場合、AIS405が異常と判断する。
【0080】
異常であると判断された場合(ステップS1302:Yes)、ステップS1308に移行する。一方、異常でないと判断された場合(ステップS1302:No)、AIS405の中から、図11のステップS1104でデータメモリ508に格納された衛星画像pの撮影時刻の直前に受信した時系列データ(以降、t1とする)と、直後に受信した時系列データ(以降、t2とする)を取得する(ステップS1303)。
【0081】
そして、部分欠損のAISデータでは座標値や速度などが撮影時刻のデータと大きくずれ、誤って関連のない船舶画像と対応関係を結ぶことを回避するために、マッピング処理部512は、ステップS1303で取得した時系列データt1のデータ状態が「部分欠損」であるか否かを判断する(ステップS1304)。部分欠損である場合(ステップS1304:Yes)、ステップS1308に移行する。一方、部分欠損でない場合(ステップS1304:No)、マッピング処理部512は、時系列データt1または時系列データt2の少なくともいずれか一方における船舶404の座標値が、衛星画像pの範囲外であるか否かを判断する(ステップS1305)。
【0082】
範囲外である場合(ステップS1305:Yes)、ステップS1308に移行する。一方、範囲内である場合(ステップS1305:No)、マッピング処理部512は、タイムシフト処理を実行する(ステップS1306)。タイムシフト処理(ステップS1306)とは、時系列データt1、t2の各受信時刻を衛星画像pの撮影時刻にシフトさせ、撮影時刻での船舶404の推定座標値を示す時系列データt1´、t2´を求める処理である。タイムシフト処理(ステップS1306)の詳細については図16で後述する。
【0083】
タイムシフト処理(ステップS1306)のあと、マッピング処理部512は、時系列データt1´またはt2´の少なくともいずれか一方における船舶404の推定座標値が、衛星画像pの範囲外であるか否かを判断する(ステップS1307)。範囲内である場合(ステップS1307:No)、図14のステップS1401〜S1409を実行し、ステップS1308に移行する。図14のステップS1401〜S1409は、AIS405と船舶画像データとの対応関係を構築する処理である。一方、範囲外である場合(ステップS1305:Yes)、マッピング処理部512は、図14のステップS1401〜S1409を実行せずに、ステップS1308に移行する。
【0084】
ステップS1308では、マッピング処理部512は、データメモリ508上のAISデータがすべてについてステップS1301〜S1307が実行されたか否かを判断する。未処理のAISデータが有る場合(ステップS1308:No)、ステップS1301に戻る。一方、未処理のAISデータがない(ステップS1308:Yes)、マッピング処理部512は、AIS405と対応関係がないと判断された船舶画像データのデータ状態に「欠損」を登録し(ステップS1309)、船舶画像データと対応関係が結べないと判断されたAIS405のデータ状態に「異常」を登録する(ステップS1310)。これにより、マッピング処理(ステップS1106)を終了し、図11のステップS1107に移行する。
【0085】
このように、マッピング処理(ステップS1106)では、フィルタリング処理(ステップS1101)によって異常や部分欠損していないAISデータについて、一つの衛星画像に映る各船舶画像データとマッピングを行い、AISデータを正常データまたは異常データに分類し、船舶画像データを正常データまたは欠損データに分類することができる。
【0086】
つぎに、図14について説明する。図14は、図13のステップS1307で、時系列データt1´またはt2´の少なくともいずれか一方における船舶404の推定座標値が、衛星画像pの範囲内であると判断された場合(ステップS1307:No)の処理を示す。
【0087】
ステップS1307:Noの場合、マッピング処理部512は、最大探索距離算出処理を実行する(ステップS1401)。最大探索距離算出処理(ステップS1401)とは、AISデータにおける最大探索距離(以降、Dとする)を算出する処理である。最大探索距離Dとは、時系列データt1´、t2´での船舶404の各推定座標値を結ぶ船舶404の直線航路Lからの距離である。必ずしもAIS405の船舶404の座標値の近傍に船舶画像データでの船舶404の座標値があるわけではないため、直線航路Lからの最大探索距離Dを求め、最大探索距離Dの範囲内の船舶画像が、AIS405との対応関係を関係づける対象とする。ここで、時系列データt1、t2、t1´、t2´、推定航路L、最大探索距離Dとの関係を図示する。
【0088】
図15は、推定航路Lと最大探索距離Dとの関係を示す説明図である。領域Rは、時系列データt1´の座標値から時系列データt2´までの間で船舶404が航行しうる領域となる。なお、図14の最大探索距離算出処理(ステップS1401)の詳細については図17で後述する。
【0089】
図14において、最大探索距離算出処理(ステップS1401)のあと、マッピング処理部512は、図11のステップS1104でデータメモリ508に格納した、衛星画像p上の船舶画像を含む船舶画像データ群の中から、1件の船舶画像データ(以下、shipとする)を取得する(ステップS1402)。
【0090】
つぎに、マッピング処理部512は、shipの座標値から推定航路Lまでの最短距離distを算出する(ステップS1403)。最短距離distは、天体表面上の地理座標系におけるshipの座標値(経度x,緯度y)からt1´の座標値(経度x1´,緯度y1´)とt2´の座標値(経度x2´,緯度y2´)の線分(直線航路L)までの距離である。distは、下記式(1)により算出される。なお、式(1)のrは地球の赤道半径である。
【0091】
【数1】
【0092】
そして、マッピング処理部512は、算出したdistが最大探索距離D以下であるか否かを判断する(ステップS1404)。すなわち、shipの座標値が領域R内に存在するか否かを判断する。distが最大探索距離D以下でない場合(ステップS1404:No)、ステップS1406に移行する。一方、distが最大探索距離D以下である場合(ステップS1405:Yes)、マッピング処理部512は、対応スコア算出処理を実行して(ステップS1405)、ステップS1406に移行する。
【0093】
対応スコア算出処理(ステップS1405)とは、対応スコアを計算する処理である。対応スコアとは、船舶404のサイズと速度と船種と方向とを基準として、AISデータにより特定される船舶と船舶画像データにより特定される船舶との同一性の確からしさを示す指標値であり、AISデータと船舶画像データとが対応関係にあるかどうかを示す。本例では、対応スコアが高いほど、AISデータにより特定される船舶と船舶画像データにより特定される船舶との同一性があり、AISデータと船舶画像データとが対応関係にあるものとする。対応スコア算出処理(ステップS1405)の詳細については図18で後述する。
【0094】
shipについて対応スコアを算出したあと、マッピング処理部512は、データメモリ508上のすべての船舶画像データを処理したか否かを判断する(ステップS1406)。処理していない場合(ステップS1406:No)、ステップS1402に戻り、マッピング処理部512は、再度shipを取得する(ステップS1402)。一方、処理した場合(ステップS1406:Yes)、マッピング処理部512は、対応スコアが算出された船舶画像データ群の中から最大対応スコアの船舶画像データ(以下、Aとする)を取得する(ステップS1407)。
【0095】
そして、マッピング処理部512は、aisとAとの対応スコアが閾値以上であるか否かを判断する(ステップS1408)。閾値以上である場合(ステップS1408:Yes)、aisとAは同一船舶に関するデータであるとみなして、マッピング処理部512は、aisおよびAの各データ状態に「正常」を登録し、aisおよびAについての船舶対応データ524の対応関係成立フラグを“1”に設定する(ステップS1409)、図13のステップS1308に移行する。一方、閾値以上でない場合(ステップS1408:No)、図13のステップS1308に移行する。これにより、aisおよびAの各データ状態「正常」と、aisおよびAを対応付けた船舶対応データとにより、aisおよびAが対応付けられる。
【0096】
このように、マッピング処理(ステップS1106)を実行することにより、フィルタリング処理(ステップS1101)によって異常や部分欠損していないAISデータについて、AISデータを正常データまたは異常データに分類し、船舶画像データを正常データまたは欠損データに分類することができる。
【0097】
<タイムシフト処理手順例>
図16は、図13に示したタイムシフト処理(ステップS1306)の詳細な処理手順例を示すフローチャートである。上述したように、タイムシフト処理(ステップS1306)は、図15に示したように、時系列データt1、t2の各受信時刻を衛星画像pの撮影時刻にシフトさせ、撮影時刻での船舶404の推定座標値を示す時系列データt1´、t2´を求める処理である。
【0098】
タイムシフト処理(ステップS1306)では、マッピング処理部512は、まず、下記式(2)を用いてAISデータAIS405における撮影時刻601の直前に受信した時系列データt1の座標値(経度x1,緯度y1)から撮影時刻601の直後に受信した時系列データt2の座標値(経度x2,緯度y2)までの直線距離dを計算する(ステップS1301)。式(2)におけるrは地球の赤道半径である。直線距離dを図15に示す。
【0099】
【数2】
【0100】
つぎに、マッピング処理部512は、下記式(3)を用いてt1の座標値からt2の座標値への直線がなす方位角θを計算する(ステップS1302)。方位角θを図15に示す。方位角θは、下記式(4)で用いられる。
【0101】
【数3】
【0102】
そして、マッピング処理部512は、t1の受信時刻902と撮影時刻601との差とt1における船舶404の速度とを用いて、当該速度でt1の受信時刻902から撮影時刻601までの間に船舶404が移動した場合の移動距離s1を計算する(ステップS1303)。マッピング処理部512は、移動距離s1が直線距離d以下であるか否かを判断する(ステップS1304)。移動距離s1が直線距離d以下の場合(ステップS1304:Yes)、下記式(4)を用いて時系列データt1´を求めて(ステップS1305)、ステップS1307に移行する。具体的には、t1の受信時刻を撮影時刻にシフトした場合における衛星画像の撮影時刻での推定座標値(経度x1´,緯度y1´)を求める。式(4)におけるrは地球の赤道半径である。
【0103】
【数4】
【0104】
一方、ステップS1304において、移動距離s1が直線距離dより大きい場合(ステップS1304:No)、マッピング処理部512は、t1´にt1を代入して(ステップS1306)、ステップS1307に移行する。すなわち、t1´とt1を同一座標値とすることで、移動距離s1分の移動をさせないようにする。
【0105】
ステップS1307では、マッピング処理部512は、t2の受信時刻410と撮影時刻601との差とt2における船舶404の速度とを用いて、当該速度で撮影時刻601からt2の受信時刻410までの間に船舶404が移動した場合の移動距離s2を計算する(ステップS1307)。マッピング処理部512は、移動距離s2が直線距離d以下であるか否かを判断する(ステップS1308)。移動距離s2が直線距離d以下の場合(ステップS1308:Yes)、下記式(5)を用いて時系列データt2´を求めて(ステップS1309)、タイムシフト処理(ステップS1306)を終了する。具体的には、t2の受信時刻を撮影時刻にシフトした場合における衛星画像の撮影時刻での推定座標値(経度x2´,緯度y2´)を求める。式(5)におけるrは地球の赤道半径である。
【0106】
【数5】
【0107】
一方、ステップS1308において、移動距離s2が直線距離dより大きい場合(ステップS1308:No)、マッピング処理部512は、t2´にt2を代入して(ステップS1310)、タイムシフト処理(ステップS1306)を終了する。すなわち、t2´とt2を同一座標値とすることで、移動距離s2分の移動をさせないようにする。
【0108】
これにより、衛星画像の撮影時刻でのAISデータにおける船舶404の位置を推測することができる。特に、撮影時刻の直前と直後のAISデータを使うことで急激な加速や旋回などの操作があった場合でも、撮影時刻における船舶404の位置を推定しやすくなる。
【0109】
<最大探索距離算出処理手順例>
図17は、図14に示した最大探索距離算出処理(ステップS1401)の詳細な処理手順例を示すフローチャートである。マッピング処理部512は、まず、上記式(2)を用いてAISデータAIS405における撮影時刻601の直前に受信した時系列データt1の座標値(経度x1,緯度y1)から撮影時刻601の直後に受信した時系列データt2の座標値(経度x2,緯度y2)までの直線距離dを計算する(ステップS1401)。
【0110】
つぎに、マッピング処理部512は、t1の受信時刻902と撮影時刻601との差とt1における船舶404の速度とを用いて、当該速度でt1の受信時刻902から撮影時刻601までの間に船舶404が移動した場合の移動距離s1を計算する(ステップS1402)。また、マッピング処理部512は、t2の受信時刻410と撮影時刻601との差とt2における船舶404の速度とを用いて、当該速度で撮影時刻601からt2の受信時刻410までの間に船舶404が移動した場合の移動距離s2を計算する(ステップS1403)。そして、マッピング処理部512は、下記式(6)を用いて、AIS405における最大探索距離Dを計算する(ステップ1404)。これにより、最大探索距離Dが算出され、最大探索距離算出処理(ステップS1401)を終了する。
【0111】
【数6】
【0112】
<対応スコア算出処理手順例>
図18は、図14に示した対応スコア算出処理(ステップS1405)の詳細な処理手順例を示すフローチャートである。マッピング処理部512は、サイズ対応スコア、速度対応スコア、船種対応スコア、方向対応スコアに設定可能なスコアとして、それぞれα、β、γ、δをあらかじめ設定しておき、サイズ対応スコア、速度対応スコア、船種対応スコア、方向対応スコアを初期化(=0)に設定する(ステップS1801)。なお、α、β、γ、δは正規化されたスコアであり、合計が1となる。また、α、β、γ、δは固定のスコア以外にも、重み付けを付けって計算したスコアでもよい。
【0113】
つぎに、マッピング処理部512は、shipにおける船舶404の長さとAIS405における長さ803との差、および、shipにおける船舶404の幅とAIS405における幅804との差が、それぞれ誤差範囲内であるか否かを判断する(ステップS1802)。いずれの差も誤差範囲内である場合(ステップS1802:Yes)、マッピング処理部512は、サイズ対応スコアにαを設定して(ステップS1803)、ステップS1804に移行する。一方、少なくともいずれか一方の差が誤差範囲外である場合(ステップS1802:No)、サイズ対応スコアは初期値のまま、ステップS1804に移行する。
【0114】
つぎに、ステップS1804において、マッピング処理部512は、shipにおける船舶404の速度と、t1における船舶404の速度およびt2における船舶404の速度の平均速度との速度差が、誤差範囲内であるか否かを判断する(ステップS1804)。誤差範囲内である場合(ステップS1804:Yes)、マッピング処理部512は、速度対応スコアにβを設定して(ステップS1805)、ステップS1806に移行する。一方、誤差範囲外である場合(ステップS1804:No)、速度対応スコアは初期値のまま、ステップS1806に移行する。
【0115】
つぎに、ステップS1806において、マッピング処理部512は、shipの船種とAIS405の船種との差が、誤差範囲内であるか否かを判断する(ステップS1806)。具体的には、マッピング処理部512は、shipのピクセルデータ708とAIS405のピクセルデータ805とを比較して、ピクセルの誤差が誤差範囲内であるか否かを判断する。誤差範囲内である場合(ステップS1806:Yes)、マッピング処理部512は、船種対応スコアにγを設定して(ステップS1807)、ステップS1808に移行する。一方、誤差範囲外である場合(ステップS1806:No)、船種対応スコアは初期値のまま、ステップS1808に移行する。
【0116】
このあと、マッピング処理部512は、下記式(7)を用いて、t1の座標値(経度x1,緯度y1)からshipの座標値(経度x,緯度y)の方位角θ1を計算する(ステップ1508)。
【0117】
【数7】
【0118】
次に、マッピング処理部512は、下記式(8)を用いて、shipの座標値(経度x,緯度y)からt2の座標値(経度x2,緯度y2)の方位角θ2を計算する(ステップ1509)。
【0119】
【数8】
【0120】
そして、マッピング処理部512は、shipの方向705と方位角θ1、θ2との差が誤差範囲内であるか否かを判断する(ステップS1810)。具体的には、マッピング処理部512は、shipの方向705と方位角θ1との差が許容範囲であるか否かを判断し、また、shipの方向705と方位角θ2との差が許容範囲であるか否かを判断する。
【0121】
図19は、shipの方向705と方位角θ1、θ2との関係を示す説明図である。図18に戻り、マッピング処理部512は、いずれか一方の差が誤差範囲内である場合(ステップS1810:Yes)、AIS405とshipとの方向対応スコアにδを設定して(ステップS1811)、ステップS1812に移行する。一方、いずれの差も誤差範囲外である場合(ステップS1810:No)、方向対応スコアは初期値のまま、ステップS1812に移行する。
【0122】
ステップS1812では、マッピング処理部512は、AIS405の船舶404ID、shipの船舶画像ID、サイズ対応スコア、速度対応スコア、船種対応スコア、方向対応スコア、t1´およびt2´の座標値、および最大探索距離Dを、図10に示したようにデータメモリ508に格納する(ステップS1812)。
【0123】
このあと、マッピング処理部512は、AIS405とshipとのサイズ対応スコア、速度対応スコア、船種対応スコア、方向対応スコアの合計スコアを計算する(ステップ1513)。この合計スコアが対応スコア算出処理(ステップS1405)により出力される対応スコアとなる。これにより、対応スコア算出処理(ステップS1405)を終了する。対応スコアは、船舶画像データごとに算出され、ステップS1407において、その中で最大となる対応スコアが選ばれることになる。
【0124】
<再マッピング処理手順例>
図20および図21は、図11に示した補完処理部513による再マッピング処理(ステップS1107)の詳細な処理手順例を示すフローチャートである。補完処理部513は、まず、図11のステップS1105でデータメモリ508に格納され、かつ、マッピング処理(ステップS1106)されたAISデータ群の中から、1件のAISデータAIS405を取得する(ステップS2001)。
【0125】
つぎに、補完処理部513は、ステップS2001で取得したAIS405のデータ状態が異常であるか否かを判断する(ステップS2002)。具体的には、たとえば、補完処理部513は、AIS405のデータ状態807に「IMO番号異常」や「サイズ異常」が登録されている場合、AIS405が異常と判断する。
【0126】
異常でないと判断された場合(ステップS2002:No)、ステップS2007に移行する。一方、異常であると判断された場合(ステップS2002:Yes)、補完処理部513は、AIS405の中から、図11のステップS1104でデータメモリ508に格納された衛星画像pの撮影時刻の直前に受信した時系列データ(以降、t1とする)と、直後に受信した時系列データ(以降、t2とする)を取得する(ステップS2003)。
【0127】
そして、補完処理部513は、時系列データt1または時系列データt2の少なくともいずれか一方における船舶404の座標値が、衛星画像pの範囲外であるか否かを判断する(ステップS2004)。範囲外である場合(ステップS2004:Yes)、ステップS2007に移行する。一方、範囲内である場合(ステップS2004:No)、補完処理部513は、タイムシフト処理を実行する(ステップS2005)。タイムシフト処理(ステップS2005)は、図16に示したタイムシフト処理(ステップS1306)と同一処理であるため、説明を省略する。
【0128】
タイムシフト処理(ステップS2005)のあと、補完処理部513は、時系列データt1´またはt2´の少なくともいずれか一方における船舶404の推定座標値が、衛星画像pの範囲外であるか否かを判断する(ステップS2006)。範囲内である場合(ステップS2006:No)、図21のステップS2101〜S2110を実行し、ステップS1408に移行する。図21のステップS2101〜S2110は、AIS405と船舶画像データとの対応関係を補完する処理である。一方、範囲外である場合(ステップS2006:Yes)、補完処理部513は、図21のステップS2101〜S2110を実行せずに、ステップS2007に移行する。
【0129】
ステップS2007では、補完処理部513は、データメモリ508上のAISデータがすべてについてステップS2001〜S2006が実行されたか否かを判断する。データメモリ508上のAISデータがすべて処理されていない場合(ステップS2007:No)、ステップS2001に戻る。一方、すべて処理された場合(ステップS2007:Yes)、補完処理部513は、残余の船舶画像データを補完して、あらたなAISデータする(ステップS2008)。
【0130】
具体的には、たとえば、補完処理部513は、図3に示したように、残余の船舶画像データからAISデータを生成する。補完処理部513は、残余の船舶画像データのデータ状態を「欠損」から「正常」に更新するとともに、あらたに生成したAISデータのデータ状態を「正常」に設定する。そして、補完処理部513は、残余の船舶画像データとあらたに生成したAISデータとの船舶対応データ524における対応関係成立フラグを“1”に設定する。これにより、再マッピング処理(ステップS1107)を終了する。なお、補完の具体例については後述する。
【0131】
つぎに、図21について説明する。図21は、図20のステップS2006で、時系列データt1´またはt2´の少なくともいずれか一方における船舶404の推定座標値が、衛星画像pの範囲内であると判断された場合(ステップS2006:No)の処理を示す。
【0132】
ステップS2006:Noの場合、補完処理部513は、最大探索距離算出処理を実行する(ステップS2101)。最大探索距離算出処理(ステップS2101)は、最大探索距離算出処理(ステップS1401)と同一処理であるため、説明を省略する。
【0133】
最大探索距離算出処理(ステップS2101)のあと、補完処理部513は、マッピング処理(ステップS1106)後のデータメモリ508に格納された、衛星画像p上の船舶画像を含む船舶画像データ群の中から、1件の船舶画像データ(以下、shipとする)を取得する(ステップS2102)。
【0134】
つぎに、補完処理部513は、取得したshipのデータ状態が「欠損」であるか否かを判断する(ステップS2103)。「欠損」でない場合(ステップS2103:No)、shipは補完の対象外であるため、ステップS2107に移行する。一方、「欠損」である場合(ステップS2103:Yes)、対応するAISデータが欠損しているため、補完処理部513は、ステップS1403と同様、shipの座標値から推定航路Lまでの最短距離distを算出する(ステップS2104)。
【0135】
そして、補完処理部513は、算出したdistが最大探索距離D以下であるか否かを判断する(ステップS2105)。すなわち、shipの座標値が領域R内に存在するか否かを判断する。distが最大探索距離D以下でない場合(ステップS2105:No)、ステップS2107に移行する。一方、distが最大探索距離D以下である場合(ステップS2107:Yes)、補完処理部513は、対応スコア算出処理を実行して(ステップS2106)、ステップS2107に移行する。対応スコア算出処理(ステップS2106)は、対応スコア算出処理(ステップS1405)と同一処理であるため、説明を省略する。
【0136】
shipについて対応スコアを算出したあと、補完処理部513は、データメモリ508上のすべての船舶画像データを処理したか否かを判断する(ステップS1406)。処理していない場合(ステップS2107:No)、ステップS2102に戻り、補完処理部513は、再度shipを取得する(ステップS2102)。一方、処理した場合(ステップS2107:Yes)、補完処理部513は、対応スコアが算出された船舶画像データ群の中から最大対応スコアの船舶画像データ(以下、Aとする)を取得する(ステップS2108)。
【0137】
そして、補完処理部513は、aisとAとの対応スコアが閾値以上であるか否かを判断する(ステップS2109)。閾値以上である場合(ステップS2109:Yes)、補完処理部513は、Aを用いて、異常AISデータであるaisを補完し(ステップS2110)、図20のステップS2007に移行する。具体的には、たとえば、補完処理部513は、aisのデータ状態を「異常」から「正常」に更新し、Aのデータ状態を「欠損」から「正常」に更新する。そして、補完処理部513は、aisとAとの船舶対応データ524における対応関係成立フラグを“1”に設定する。
【0138】
一方、閾値以上でない場合(ステップS2109:No)、図20のステップS2007に移行する。このように、再マッピング処理(ステップS1107)を実行することにより、異常AISデータを補完して正常なAISデータに変換することができ、また、欠損船舶画像データを補完して、当該欠損船舶画像データと対応関係を結ぶことができる正常なAISデータに変換することができる。
【0139】
<異常・欠損補完例>
図22は、異常・欠損補完例を示す説明図である。図22では、説明を簡略化するため、サイズとして長さのみを用いて説明する。(A)は、マッピング処理(ステップS1106)後における船舶画像データとAISデータとの対応関係を示す。なお、船舶画像データおよびAISデータの符号は、それぞれのIDとする。船舶画像データA1とAISデータa1とは、長さおよび速さが一致するため、対応関係がある。したがって、図7の船舶対応データ524において、船舶画像ID:A1と船舶404ID:a1とが関連付けて登録される。また、AISデータa2の長さ(0m)は、誤入力データである。また、船舶画像データA2〜A5は、対応関係を結べるAISデータがないため、「欠損」となる。
【0140】
(B)は、補完処理(ステップS1107)のうち異常補完処理を示す。異常補完処理は、図21のステップS2101〜S2110が示す処理である。船舶画像データA2が、AISデータa2に対して、船舶画像データA2〜A5の中で最高対応スコアのデータであるとする。船舶画像データA2とAISデータa2とを比較すると、AISデータa2における船舶404の長さに異常があるため、補完処理部513は、船舶画像データA2における船舶404の長さ(101m)をAISデータa2に対して補完する。これにより、補完処理部513は、船舶画像データA2とAISデータa2とを対応付けることができる。
【0141】
(C)は、(B)において補完されなかった船舶画像データA3〜A5を示す。船舶画像データA3〜A5には、対応関係を結ぶことができるAISデータが存在しない。したがって、補完処理部513は、ステップS2008において、船舶画像データA3〜A5を、AISデータにも適用する。具体的には、たとえば、船舶画像データA3〜A5に船舶404ID:a3〜a5を付与し、AISデータa3〜a5としても扱うことができるようにする。これにより、補完処理部513は、船舶画像データA3〜A5とAISデータa3〜a5とを対応付けることができる。
【0142】
<表示画面例>
図23は、図5のデータの表示処理部514によって出力されたAISデータの補完結果の出力画面の例を示す説明図である。図23の画面は、1枚の衛星画像において、AISデータと衛星画像上の船舶画像を補完処理した後のAISデータの結果を表示し、正常、異常、欠損それぞれのAISデータについて網羅的に確認することができる。船舶ID2300では、AISデータのIDまたは補完した衛星画像上の船舶画像のIDが表示される。なお、各船舶IDをクリックすると、AISデータと船舶画像の対応関係を示す画面を表示する。図24および図25を用いて詳細に後述する。
【0143】
サイズ2301では、一般的にAISデータにおけるサイズが表示される。なお、サイズ異常のAISデータにおいて、対応する船舶画像のサイズが表示される。受信時刻2302では、一般的にAISデータにおける受信時刻が表示される。なお、AISデータが欠損する衛星画像上の船舶画像を補完する場合、衛星画像の撮影時刻が表示される。座標値2303と、速度2304と、方向2305では、AISデータの時系列における座標値(図9の903および904)と、速度905と、算出したAISデータの方向と、が表示される。なお、欠損AISデータにおいて、船舶画像の位置、速度、方向が表示される。状態2306は、AISデータの正常、異常、欠損を識別するための項目であり、再マッピング処理(ステップ1107)で計算した結果のAISデータのデータ状態906が表示される。
【0144】
図24および図25は、図5のデータの表示処理部514によって出力されたAISデータと船舶画像の出力画面の例を示す説明図である。1枚の衛星画像上に、正常、異常、欠損のAISデータと船舶画像の対応関係が表示される。正常データ種類を選ぶチェックボックス2400と、欠損データ種類を選ぶチェックボックス2401と、異常データ種類を選ぶチェックボックス2402と、正常データに対して対応情報を表示するメッセージボックス2403と、欠損データに対してデータ種類の識別情報を表示するメッセージボックス2404と、異常データに対してデータ種類の識別情報を表示するメッセージボックス2405と、衛星画像情報を表示するテキスト2406と、備える。
【0145】
チェックボックス2400〜2402は、正常、異常、欠損のどのデータを表示するかをユーザが選択する為のもので、たとえば、欠損と異常のみを選択した場合の例を図25に示す。メッセージボックス2403、2404は、AISデータの属性情報を表示するためのもので、たとえば、AISデータが正常であった場合にはメッセージボックス2403の船舶名やサイズなどの属性情報を表示する。また、AISデータが部分欠損していた場合には、メッセージボックス2404のように部分欠損の状態を示す表示を行う。このような表示により、ユーザはAISデータの状態及び補完した情報を衛星画像上で確認することが可能となる。
【0146】
図26は、図5のデータの表示処理部514によって出力されたデータ表示図面の例を示す説明図である。AISデータを発信した1隻の船舶404において、対応する船舶画像データA1を探索して表示される。撮影時刻の直前と直後に受信したAISデータa1の時系列においてタイムシフトした後の座標値をきす示す点2600、2601と、対応する船舶画像データA1を探索するためのエリア2602と、サイズ、速度、船種、方向といった各対応基準において、AISデータa1と船舶画像データA1の対応スコアを表示するメッセージボックス2603と、備える。
【0147】
点2600,2601は、撮影時刻にAISデータa1の時系列より推測した船舶404の位置を表示するデータであり、たとえば、対応の船舶画像データA1がAISデータa1と離れているか確認できる。エリア2602は対応の船舶画像データA1を探すための最大探索距離Dを基準にして表示され、たとえば、どこまでAISデータa1と対応する船舶画像の有無を確認できる。メッセージボックス2603は、AISデータa1と船舶画像データA1におけるサイズ対応スコアと、速度対応スコアと、船種対応スコアと、方向対応スコアを表示し、たとえば、AISデータa1と船舶画像データA1とのサイズが対応しない場合、サイズ対応スコアが0となり、サイズが対応しないことが分かる。このような表示により、ユーザはAISデータa1と船舶画像データA1の対応基準や探索範囲を確認することが可能となる。
【0148】
なお、本実施例においては図23に一つの時点のデータ表示の例を示したが、これに加えて、過去の時点のデータも合わせて表示することも可能である。すなわち、現在の時点では正常であるが過去に欠損していたことがあるAISデータなどについて、その旨の表示を追加することも可能である。これにより、ユーザはAISデータと船舶画像の対応状況についてより詳細な情報を確認することが可能となる。
【0149】
以上に説明したように、本発明の実施例によると、データ補完装置は、AISデータの異常または欠損を補完するための支援情報としてオペレーターによるAISデータにおける手入力の異常や部分欠損をフィルタリングする。つぎに、データ補完装置は、衛星画像の撮影時刻の前後2点のAISデータを取得し、撮影時刻に船舶の位置を推測し、最大探索距離を決定し、長さ・速度・船種・方向の4つの基準を用いてスコアリングを行うことで衛星画像上の船舶とAISデータとをマッピング処理する。そして、データ補完装置は、正常データを抽出し、異常や部分欠損があるAISデータとマッピング処理後に対応関係が無かった船舶画像とを再度マッピングすることで異常データとして属性値を補完し、2回のマッピング処理後に対応関係が無かった船舶画像の属性情報を用いて欠損データとして補完する。
【0150】
このように、衛星画像データの撮影時刻の直前と直後に受信されなかったAISデータを基に撮影時刻に船舶の位置を推測し、対応の船舶画像を探索するための最大探索距離を計算することで、より精度の高い船舶画像とAISデータのマッピングができるようになる。このようなマッピング手法を用いることで、衛星画像に写っている移動体に対して属性情報を付与することが可能となり、衛星画像と移動体情報の相互的な参照が可能となる。
【0151】
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
【符号の説明】
【0152】
500 衛星画像DB
501 船舶画像DB
502 AISデータDB
503 船舶対応DB
504 マスタDB
511 フィルタリング処理部
512 マッピング処理部
513 補完処理部
514 データ表示処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26