特開 2022-186299 位置特定装置、位置特定方法及び位置特定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186299

(43)【公開日】2022-12-15

(54)【発明の名称】位置特定装置、位置特定方法及び位置特定システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221208BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021094448

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000062

【氏名又は名称】特許業務法人第一国際特許事務所

(72)【発明者】

【氏名】アジム サキブ

(72)【発明者】

【氏名】仁藤 拓実

(72)【発明者】

【氏名】中村 克行

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA20

5L096CA01

5L096FA67

5L096FA69

5L096HA03

5L096JA11

(57)【要約】

【課題】必要なコンピューティング資源量を抑制しつつ、高精度の環境地図及び自己位置特定手段を提供すること。
【解決手段】任意の環境を示す入力映像に含まれる複数のフレームのそれぞれについて特徴を抽出する画像特徴抽出部と、フレーム間の移動量、入力映像を取得した撮影部の移動速度及びフレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、動的内容を含む動的フレームを予測する選択的分割判定部と、動的フレームに対して、動的オブジェクト分割処理を施し、各画素について、当該画素が動的オブジェクトに属するか静的オブジェクトに属するかを示す画像の意味的情報を生成する動的オブジェクト分割部と、各特徴を動的特徴又は静的特徴として分類する特徴分類部と、環境を立体的に示す３次元地図と移動体の位置及び向きを示す第１の移動体位置情報とを生成するＳＬＡＭ部とを含む位置特定装置。
【選択図】図３

【特許請求の範囲】

【請求項1】

任意の環境において移動する移動体の位置を特定する位置特定装置であって、
前記環境を示す入力映像を解析し、前記入力映像に含まれる複数のフレームのそれぞれについて、特徴を抽出する画像特徴抽出部と、
前記入力映像に含まれる前記複数のフレーム間の移動量、前記入力映像を取得した撮影部の移動速度、及び前記フレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、前記入力映像の中から、動的内容を含む動的フレームを予測する選択的分割判定部と、
前記動的フレームに対して、動的オブジェクト分割処理を施し、前記動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報を生成する動的オブジェクト分割部と、
前記画像の意味的情報と、前記特徴とに基づいて、各特徴を動的特徴又は静的特徴として分類する特徴分類部と、
前記静的特徴と、前記画像の意味的情報とに基づいて、前記環境を立体的に示す３次元地図と、前記移動体の位置及び向きを示す第１の移動体位置情報とを生成するＳＬＡＭ部と、
を含むことを特徴とする位置特定装置。

【請求項2】

前記選択的分割判定部は、
前記複数のフレームにおいて、前記入力映像を取得した前記撮影部の位置の変化に基づいて、前記撮影部の移動速度を推定し、
前記撮影部の移動速度に基づいて、前記入力映像において、前記動的オブジェクト分割処理から排除するフレーム数を指定するスキップマスクパラメータを設定し、
前記スキップマスクパラメータに基づいて、前記入力映像を処理することで、動的内容を含まない非動的フレームをスキップすると共に前記動的フレームを予測する、
ことを特徴とする、請求項１に記載の位置特定装置。

【請求項3】

前記選択的分割判定部は、
前記非動的フレームから抽出した前記特徴と、前記入力映像における前記非動的フレームの直前のフレームの特徴とを比較することで、前記フレーム間の移動量を判定し、
前記フレーム間の移動量が所定の移動量基準を満たす場合、前記非動的フレームを動的フレームとする、
ことを特徴とする、請求項２に記載の位置特定装置。

【請求項4】

前記特徴分類部は、
前記静的特徴の前記フレーム間の移動量を判定し、
前記静的特徴の内、前記フレーム間の移動量が所定の移動量基準を満たさない特徴のみを前記ＳＬＡＭ部に入力する、
ことを特徴とする、請求項３に記載の位置特定装置。

【請求項5】

前記選択的分割判定部は、
前記画像の意味的情報に基づいて、前記入力映像に含まれる対象フレームにおいて、動的クラスに対応するオブジェクトの画素の比率が所定の動的内容割合基準を満たす場合、
前記スキップマスクパラメータをより低い値に設定する、
ことを特徴とする、請求項４に記載の位置特定装置。

【請求項6】

前記位置特定装置は、
前記移動体の移動に関する移動センサデータを取得する慣性計測部と、
前記移動センサデータに対するフィルタ処理を施し、フィルタ済み移動センサデータを生成するフィルタ部と、
前記フィルタ済み移動センサデータに基づいて、前記移動体の位置及び向きを示す第２の移動体位置情報を生成し、
前記第１の移動体位置情報と、前記第２の移動体位置情報とに基づいて、前記移動体の位置及び向きをより正確に示す補正済み移動体位置情報を生成する位置情報補正部と、
を更に含むことを特徴とする、請求項１に記載の位置特定装置。

【請求項7】

前記位置特定装置は、
リスク管理部と、
通知部と、
を更に含み、
前記リスク管理部は、
前記補正済み移動体位置情報と、リスクの候補の位置を示すリスク位置情報とに基づいて、前記移動体に対して影響を及ぼす可能性があるリスクを判定し、
前記リスクを回避する指示を示すリスク通知を生成し、出力する、
ことを特徴とする、請求項６に記載の位置特定装置。

【請求項8】

前記位置特定装置は、
前記移動体の全地球における位置を示すＧＰＳデータを取得し、
前記ＧＰＳデータを、前記３次元地図に対応付けて地図データベースに格納するＧＰＳ部を更に含む、
ことを特徴とする、請求項７に記載の位置特定装置。

【請求項9】

任意の環境において移動する移動体の位置を特定する位置特定方法であって、
前記環境を示す入力映像を解析し、前記入力映像に含まれる複数のフレームのそれぞれについて、特徴を抽出する工程と、
前記入力映像に含まれる前記複数のフレーム間の移動量、前記入力映像を取得した撮影部の移動速度、及び前記フレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、動的オブジェクト分割処理から排除するフレーム数を指定するスキップマスクパラメータを設定する工程と、
前記スキップマスクパラメータに基づいて、前記入力映像を処理することで、動的内容を含まない非動的フレームをスキップすると共に動的内容を含む動的フレームを予測する工程と、
前記動的フレームに対して、動的オブジェクト分割処理を施し、前記動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報を生成する工程と、
前記画像の意味的情報と、前記特徴とに基づいて、各特徴を動的特徴又は静的特徴として分類する工程と、
前記静的特徴の前記フレーム間の移動量を判定する工程と、
前記静的特徴の内、前記フレーム間の移動量が所定の移動量基準を満たさない特徴と、前記画像の意味的情報とに基づいて、前記環境を立体的に示す３次元地図と、前記移動体の位置及び向きを示す第１の移動体位置情報とを生成する工程と、
を含むことを特徴とする位置特定方法。

【請求項10】

任意の環境において移動する移動体の位置を特定する位置特定システムであって、
前記移動体に設置され、前記環境を示す３次元地図を生成する位置特定装置と、
前記３次元地図を格納する地図データベースとが通信ネットワークを介して接続されており、
前記位置特定装置は、
前記環境を示す入力映像を解析し、前記入力映像に含まれる複数のフレームのそれぞれについて、特徴を抽出する画像特徴抽出部と、
前記入力映像に含まれる前記複数のフレーム間の移動量、前記入力映像を取得した撮影部の移動速度、及び前記フレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、前記入力映像の中から、動的内容を含む動的フレームを予測する選択的分割判定部と、
前記動的フレームに対して、動的オブジェクト分割処理を施し、前記動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報を生成する動的オブジェクト分割部と、
前記画像の意味的情報と、前記特徴とに基づいて、各特徴を動的特徴又は静的特徴として分類する特徴分類部と、
前記静的特徴と、前記画像の意味的情報とに基づいて、前記環境を立体的に示す前記３次元地図と、前記移動体の位置及び向きを示す第１の移動体位置情報とを生成し、前記通信ネットワークを介して前記３次元地図を前記地図データベースに格納するＳＬＡＭ部と、
を含むことを特徴とする位置特定システム。

【請求項11】

前記位置特定装置は、
前記移動体の全地球における位置を示すＧＰＳデータを取得し、
前記ＧＰＳデータを、前記３次元地図に対応付けて前記地図データベースに格納するＧＰＳ部を更に含む、
ことを特徴とする、請求項１０に記載の位置特定システム。

【請求項12】

前記ＧＰＳ部は、
前記通信ネットワークを介して、前記移動体の全地球における位置を示すＧＰＳデータを含む地図要求を前記地図データベースに送信し、
前記前記移動体の全地球における位置に対応する３次元地図を前記地図データベースから受信する、
ことを特徴とする、請求項１１に記載の位置特定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、位置特定装置、位置特定方法及び位置特定システムに関する。

【背景技術】

【0002】

近年、ＩＴ化の進展に伴い、社会に多数のセンサが配置され、極めて大量のデータが蓄積されている。そうした中、集積された映像データを活用する様々な方策が検討されている。特に、写真、動画、画像等の映像コンテンツが増えるにつれ、これらの映像コンテンツから、環境地図を生成し、当該環境内で移動する移動体の位置を正確に特定する手段が望まれている。

【0003】

従来から、自己位置推定と環境地図の作成を同時に実行する手段として、いわゆるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）が知られている。ＳＬＡＭでは、Ｌｉｄａｒなどのセンサを搭載した移動体は、走行を行いながら周囲の環境をセンシングすることで、二次元もしくは三次元の環境地図の作成を行う。
ＳＬＡＭを活用することで、移動体が未知の環境下で環境地図を作成することができる。また、このように生成した地図情報を用いて障害物などを回避しつつ、特定のタスクを遂行することができる。

【0004】

しかし、ＳＬＡＭでは、映像における静的オブジェクト（例えば、建物、家具、壁等の動かない物体）のみが環境地図の作成に用いられており、動的オブジェクト（例えば、人間、動物、自動車等の動く物体）が映像において存在する場合、地図作成に必要な静的オブジェクトや背景が部分的に隠され、地図の精度が低下してしまう。
そのため、ＳＬＡＭを用いて高精度の環境地図を生成するためには、映像における動的オブジェクトを特定し、ＳＬＡＭ処理から排除することが重要である。

【0005】

映像における動的オブジェクトを特定し、ＳＬＡＭ処理から排除する方法については、従来からいくつかの提案がなされている。
例えば、中国特許出願公開第１１１９５０５６１号明細書（特許文献１）には、「本発明は、セマンティックセグメンテーションに基づいてセマンティックＳＬＡＭ動的ポイントを除去する方法を開示し、以下のステップを含む：１）ＰＳＰＮｅｔセマンティックセグメンテーションネットワークを用いて画像フレームに対してセマンティックセグメンテーションを実行し、ピクセルセグメンテーション結果に従って分類を行う。新しいフレームＩのＯＲＢ特徴を抽出し、記述子を計算してから、新しいフレームIをFと一致させる。３）しきい値Ｍを設定する。４）動的ポイントと静的ポイントのモーションeに従って特徴ポイントを分類する。５）セマンティックラベルを分類された静的ポイントセットに関連付けて、ローカルセマンティックマップを構築する。６）ステップ１）からステップ５）を繰り返し、すべてのローカルマップが作成され、グローバルマップが取得されるまで、ローカルセマンティックマップを更新する。この方法では、システムの精度に大きな影響を与える環境内の動的な特徴点を排除し、静的な特徴点を用いて、高精度で意味的な情報で解釈可能なオクトマップを構築することができる」技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】中国特許出願公開第１１１９５０５６１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の手段では、対象の映像を構成する全てのフレームに対してセマンティックセグメンテーションを実行することで、動的オブジェクトを特定し、排除することができる。このように、動的オブジェクトを排除した後、静的オブジェクトを用いてＳＬＡＭ処理を行うことで、環境地図を生成することができる。

【0008】

しかし、特許文献１に記載の手段では、セマンティックセグメンテーションが入力映像の全てのフレームに対して実行されるため、膨大なコンピューティング資源量が必要になる。このため、例えばスマートデバイス等の使用可能なコンピューティング資源が限られている場合、特許文献１の手段の導入は困難となる。また、多くの場合、動的オブジェクトが入力映像の一部のフレームのみに存在するため、動的オブジェクトが存在しないフレームに対してもセマンティックセグメンテーションを実行することは無駄となってしまう。
更に、特許文献１に記載の手段では、オブジェクトが動的か静的かとの判定は、オブジェクトの移動量のみに基づいて行われる。このため、例えば人間、動物、自動車等の移動が可能な物体（以下、「動的クラスのオブジェクト」）が一次的に移動を止めた場合には、当該物体が静的オブジェクトと誤認されてしまうことがある。その後、ＳＬＡＭ処理において、静的オブジェクトとして誤認された動的クラスのオブジェクトを用いて環境地図を生成すると、環境地図の正確性が大幅に損なわれ、精度が低下してしまう。

【0009】

そこで、本開示は、入力映像において動的内容を含む可能性が高いフレーム（以下、「動的フレーム」という。）を予測し、これらの動的フレームのみに対して動的オブジェクト分割処理を施すことで、必要なコンピューティング資源量を抑制しつつ、高精度の環境地図を生成し、移動体の位置を特定することが可能な位置特定手段を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するために、代表的な本開示の位置特定装置の一つは、任意の環境において移動する移動体の位置を特定する位置特定装置であって、前記環境を示す入力映像を解析し、前記入力映像に含まれる複数のフレームのそれぞれについて、特徴を抽出する画像特徴抽出部と、前記入力映像に含まれる前記複数のフレーム間の移動量、前記入力映像を取得した撮影部の移動速度、及び前記フレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、前記入力映像の中から、動的内容を含む動的フレームを予測する選択的分割判定部と、前記動的フレームに対して、動的オブジェクト分割処理を施し、前記動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報を生成する動的オブジェクト分割部と、前記画像の意味的情報と、前記特徴とに基づいて、各特徴を動的特徴又は静的特徴として分類する特徴分類部と、前記静的特徴と、前記画像の意味的情報とに基づいて、前記環境を立体的に示す３次元地図と、前記移動体の位置及び向きを示す第１の移動体位置情報とを生成するＳＬＡＭ部とを含む。

【発明の効果】

【0011】

本開示によれば、入力映像において動的内容を含む可能性が高い動的フレームを予測し、これらの動的フレームのみに対して動的オブジェクト分割処理を施すことで、必要なコンピューティング資源量を抑制しつつ、高精度の環境地図を生成し、移動体の位置を特定することが可能な位置特定手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示の実施例を実施するためのコンピュータシステムを示す図である。

【図2】図２は、本開示の実施例１に係る位置特定装置のハードウェア構成の一例を示す図である。

【図3】図３は、本開示の実施例１に係る位置特定装置における地図生成処理の流れを示すブロック図である。

【図4】図４は、本開示の実施例１に係る位置特定装置における位置特定処理の流れを示す図である。

【図5】図５は、本開示の実施例１に係る位置特定装置における動的内容判定処理の流れを示すブロック図である。

【図6】図６は、本開示の実施例１に係る位置特定装置における特徴分類処理の流れを示すブロック図である。

【図7】図７は、本開示の実施例２に係る位置特定装置のハードウェア構成の一例を示す図である。

【図8】図８は、本開示の実施例２に係る位置特定装置における移動体位置情報補正処理の流れを示すブロック図である。

【図9】図９は、本開示の実施例２に係る位置特定装置におけるＧＰＳ対応付け処理及び地図読み込み処理の流れを示すブロック図である。

【図10】図１０は、本開示の実施例３に係る位置特定装置のハードウェア構成の一例を示す図である。

【図11】図１１は、本開示の実施例３に係る位置特定装置におけるリスク管理処理の流れを示すブロック図である。

【図12】図１２は、本開示の実施例に係るインターフェース部の機能を示すブロック図である。

【図13】図１３は、本開示の実施例に係るスキップマスクパラメータの使用例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して、本発明の実施例について説明する。なお、この実施例により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0014】

まず、図１を参照して、本開示の実施例を実施するためのコンピュータシステム１００について説明する。本明細書で開示される様々な実施例の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１００の主要コンポーネントは、１つ以上のプロセッサ１０２、メモリ１０４、端末インターフェース１１２、ストレージインタフェース１１３、Ｉ／Ｏ（入出力）デバイスインタフェース１１４、及びネットワークインターフェース１１５を含む。これらのコンポーネントは、メモリバス１０６、Ｉ／Ｏバス１０８、バスインターフェースユニット１０９、及びＩ／Ｏバスインターフェースユニット１１０を介して、相互的に接続されてもよい。

【0015】

コンピュータシステム１００は、プロセッサ１０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）１０２Ａ及び１０２Ｂを含んでもよい。ある実施例では、コンピュータシステム１００は複数のプロセッサを備えてもよく、また別の実施例では、コンピュータシステム１００は単一のＣＰＵシステムであってもよい。各プロセッサ１０２は、メモリ１０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

【0016】

ある実施例では、メモリ１０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ１０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ１０４は、位置特定アプリケーション１５０を格納していてもよい。ある実施例では、位置特定アプリケーション１５０は、後述する機能をプロセッサ１０２上で実行する命令又は記述を含んでもよい。

【0017】

ある実施例では、位置特定アプリケーション１５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施例では、位置特定アプリケーション１５０は、命令又は記述以外のデータを含んでもよい。ある実施例では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット１０９、プロセッサ１０２、またはコンピュータシステム１００の他のハードウェアと直接通信するように提供されてもよい。

【0018】

コンピュータシステム１００は、プロセッサ１０２、メモリ１０４、表示システム１２４、及びＩ／Ｏバスインターフェースユニット１１０間の通信を行うバスインターフェースユニット１０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス１０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１１０は、Ｉ／Ｏバス１０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット１１２，１１３，１１４、及び１１５と通信してもよい。

【0019】

表示システム１２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置１２６に提供することができる。また、コンピュータシステム１００は、データを収集し、プロセッサ１０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

【0020】

例えば、コンピュータシステム１００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム１２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置１２６に接続されてもよい。

【0021】

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット１１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス１１６の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス１１６及びコンピュータシステム１００に対して入力データや指示を入力し、コンピュータシステム１００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス１１６を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

【0022】

ストレージインタフェース１１３は、１つ又は複数のディスクドライブや直接アクセスストレージ装置１１７（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施例では、ストレージ装置１１７は、任意の二次記憶装置として実装されてもよい。メモリ１０４の内容は、ストレージ装置１１７に記憶され、必要に応じてストレージ装置１１７から読み出されてもよい。Ｉ／Ｏデバイスインタフェース１１４は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース１１５は、コンピュータシステム１００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク１３０であってもよい。

【0023】

ある実施例では、コンピュータシステム１００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施例では、コンピュータシステム１００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

【実施例0024】

次に、図２を参照して、本開示の実施例１に係る位置特定装置のハードウェア構成について説明する。

【0025】

図２は、本開示の実施例１に係る位置特定装置２００のハードウェア構成の一例を示す図である。
図２に示す位置特定装置２００は、本開示の実施例に係る位置特定手段を実行するように構成された装置であり、例えばスマートフォン、タブレット、ノートパソコン、専用回路等として実現されてもよいが、特に限定されない。
また、本開示の実施例に係る位置特定装置２００は、移動体２７５に備えられており、移動体２７５と共に環境内で移動することを前提としている。この移動体２７５は、例えば人間、動物、自動運転機能を備えたロボット等、自律的な移動が可能なものであれば特に限定されない。更に、位置特定装置２００の形態は、移動体２７５に応じて決定されてもよい。例えば、移動体２７５が人間の場合、位置特定装置２００はスマートフォン、タブレット、又はノートパソコン等の個人用端末として実現されてもよく、移動体２７５がロボットの場合、位置特定装置２００はロボットに含まれる専用回路であってもよい。

【0026】

また、本開示での「環境」とは、地図の生成や移動体２７５の位置特定の対象となる環境を意味し、例えば街、公園、工場、オフィスビル、駅、空港等、任意の環境を含んでもよい。
また、本開示での「環境地図」とは、建物や構造物、固定物、高低差や移動に影響を与える障害物の有無などの周辺環境の情報を記述した地図を意味する。

【0027】

図２に示すように、位置特定装置２００は、撮影部２０５、プロセッサ２１０、メモリ２１５、画像特徴抽出部２２０、選択的分割判定部２２５、動的オブジェクト分割部２３０、特徴分類部２３５、ＳＬＡＭ部２４０、位置特定部２４５及びインターフェース部２５０を含む。

【0028】

撮影部２０５は、環境を示す映像（以下、「入力映像」という）を取得するための機能部である。例えば、撮影部２０５は、レーザーレンジスキャナー(測域センサ、Ｌｉｄａｒ)、カメラ（ＲＧＢカメラ、赤外線カメラ、３６０度カメラ）、エンコーダ等であってもよい。一例として、位置特定装置２００をスマートフォンを用いて実現した場合、撮影部２０５は、当該スマートフォンに内蔵されているカメラであってもよい。また、撮影部２０５は、位置特定装置２００が移動しながら環境の画像を撮影可能に配置されることが望ましい。
この入力映像は、例えば環境を示す動画等、複数のフレームを含むデータであってもよい。ここでのフレームとは、入力映像を構成する一枚一枚の静止画である。
なお、図２では、撮影部２０５が位置特定装置２００に搭載されている構成を一例として示しているが、本開示はこれに限定されない。例えば、位置特定装置２００自体は、その環境から地理的に離れている遠隔サーバとして設置し、撮影部２０５を、環境内で移動する移動体２７５に備えたシステム構成とすることも可能である。

【0029】

また、図２では、単独の撮影部２０５を含む位置特定装置２００の構成を一例として示しているが、本開示はこれに限定されない。例えば、位置特定装置２００は、異なる角度を撮影するように配置した複数の撮影部２０５や、複数の異なる種類の撮影部２０５（ＲＧＢカメラ及びＬｉｄａｒ等）を含んでもよい。一例として、位置特定装置２００は、移動体２７５の前方を撮影する第１の撮影部と後方を撮影する第２の撮影部を含む構成や、移動体２７５の周囲３６０度を撮影可能な３６０度カメラとＬｉｄａｒを含む構成であってもよい。このように、移動体２７５の前方のみならず、周囲を撮影するカメラを用いることで、より精度の高い３次元地図の生成が可能となる。

【0030】

プロセッサ２１０は、位置特定装置２００の各機能部の機能を実現するための命令を実行する演算装置であり、例えば図１に示すプロセッサ１０２と実質的に同様であるため、ここではその説明を省略する。

【0031】

メモリ２１５は、位置特定装置２００の各機能部に用いられるデータやプログラム命令を記憶するランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）であり、例えば図１に示すメモリ１０４と実質的に同様であるため、ここではその説明を省略する。

【0032】

画像特徴抽出部２２０は、撮影部２０５によって取得された入力映像を解析し、当該入力映像に含まれる複数のフレームのそれぞれについて特徴を抽出するための機能部である。ここでの特徴とは、フレームにおけるオブジェクトの特徴を表す情報（ベクトル等）であり、例えば色、大きさ、形状等を含んでもよい。また、ここでの画像特徴抽出部２２０は、例えばＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＯＲＢ(Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ)等、任意の既存の手段を用いてもよい。

【0033】

選択的分割判定部２２５は、撮影部２０５によって取得された入力映像に含まれる複数のフレームの中から、動的内容（Ｄｙｎａｍｉｃ ｃｏｎｔｅｎｔ）を含む可能性が高いフレームを、動的オブジェクト分割処理（いわゆるセマンティックセグメンテーション）の対象となる動的フレームとして予測する機能部である。より具体的には、選択的分割判定部２２５は、入力映像に含まれる複数のフレーム間の移動量、入力映像を取得した撮影部２０５の移動速度、及びフレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、入力映像の中から、動的内容を含む動的フレームを予測する。
なお、ここでの動的内容とは、移動することができる動的オブジェクト（例えば、人間、動物、自動車等）に対応する画像情報を意味する。一方、静的内容とは、移動することができない静的オブジェクト（例えば、建物、家具、壁等）に対応する画像情報を意味する。
選択的分割判定部２２５の処理の詳細については後述するため、ここではその説明を省略する。

【0034】

動的オブジェクト分割部２３０は、選択的分割判定部２２５によって予測された動的フレームに対して、動的オブジェクト分割処理を施し、動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報（Ｉｍａｇｅ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ）を生成する機能部である。
ここでの動的オブジェクト分割部２３０は、例えばＭａｓｋ Ｒ－ＣＮＮ（Ｍａｓｋ Ｒｅｇｉｏｎ－Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＰＳＰＮｅｔ（Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ）及びＢｉＳｅＮｅｔ（Ｂｉｌａｔｅｒａｌ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｎｅｔｗｏｒｋ）等、任意の既存の手段を用いてもよい。

【0035】

特徴分類部２３５は、動的オブジェクト分割部２３０によって生成される画像の意味的情報と、画像特徴抽出部２２０によって抽出された特徴とに基づいて、入力映像のフレームの各特徴を動的特徴（つまり、動的オブジェクトに属する特徴）又は静的特徴（つまり、静的オブジェクトに属する特徴）として分類する機能部である。
ある実施例では、特徴分類部２３５は、フレーム間における特徴の移動量に基づいて特徴を静的特徴又は動的特徴として分類してもよい。なお、「フレーム間の移動量」との表現は、移動体２７５に移動によって発生する、複数のフレームの差分（例えば、画素情報の差分）を意味する。

【0036】

ＳＬＡＭ部２４０は、特徴分類部２３５によって分類された静的特徴と、動的オブジェクト分割部２３０によって生成された画像の意味的情報とに基づいて、環境を立体的に示す３次元地図を生成する機能部である。
ここでのＳＬＡＭ部２４０は、既存のＳｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ手段を用いてもよく、本開示では特に限定されない。

【0037】

位置特定部２４５は、ＳＬＡＭ部２４０によって生成される環境の３次元地図と、特徴分類部２３５によって分類される静的特徴と、動的オブジェクト分割部２３０によって生成される画像の意味的情報とに基づいて、移動体２７５の環境における位置を特定するための機能部である。

【0038】

インターフェース部２５０は、各種情報を位置特定装置２００のユーザに提供すると共に、ユーザからの入力を受け付けるための機能部である。一例として、インターフェース部２５０は、タッチ画面であってもよい。インターフェース部２５０は、例えばＳＬＡＭ部２４０によって生成される３次元地図を表示したり、当該３次元地図における移動体２７５の位置を表示したり、移動体の目的地の入力を受け付けたり、当該目的地までの推奨の経路を表示したりしてもよい。

【0039】

以上説明したように構成した位置特定装置２００によれば、入力映像において、動的内容を含む可能性が高い動的フレームを予測し、これらの動的フレームのみに対して動的オブジェクト分割処理を施すことで、必要なコンピューティング資源量を抑制しつつ、高精度の環境地図を生成し、移動体の位置を特定することが可能な位置特定手段を提供することができる。

【0040】

次に、図３を参照して、本開示の実施例１に係る位置特定装置における地図生成処理の流れについて説明する。

【0041】

図３は、本開示の実施例１に係る位置特定装置２００における地図生成処理３００の流れを示すブロック図である。図３に示す地図生成処理３００は、位置特定装置２００を備える移動体（例えば、図２に示す移動体２７５）が移動する環境の３次元地図を生成するための処理であり、位置特定装置２００の各機能部によって実行される。

【0042】

まず、撮影部（例えば、図２に示す位置特定装置２００における撮影部２０５、図３には図示せず）は、入力映像３０５を取得する。上述したように、この入力映像３０５は、移動体が移動する環境を示す映像であり、複数のフレームから構成されている。一例として、ここでは、撮影部は、環境を撮影可能な状態で移動体に配置され、移動体が移動しながら環境を撮影することで入力映像３０５を取得してもよい。
撮影部によって取得される入力映像３０５は、画像特徴抽出部２２０及び選択的分割判定部２２５に入力される。

【0043】

画像特徴抽出部２２０は、撮影部によって取得された入力映像３０５を入力した後、当該入力映像３０５を解析し、各フレームの特徴を抽出する。上述したように、ここでの特徴とは、フレームにおけるオブジェクトの特徴を表す情報（ベクトル等）であり、例えば色、大きさ、形状等を含んでもよい。
画像特徴抽出部２２０によって抽出される特徴は、選択的分割判定部２２５に入力される。

【0044】

選択的分割判定部２２５は、撮影部によって取得された入力映像３０５に含まれる複数のフレームの中から、動的内容（Ｄｙｎａｍｉｃ ｃｏｎｔｅｎｔ）を含む可能性が高いフレームを、動的オブジェクト分割処理の対象となる動的フレームとして予測する。より具体的には、選択的分割判定部２２５は、入力映像３０５と、画像特徴抽出部２２０によって抽出された各フレームの特徴と、後述する移動体位置履歴情報３１０（なお、地図生成処理３００が初めて行われる場合は、当該移動体位置履歴情報３１０は存在しない）を入力し、入力映像３０５に含まれる複数のフレーム間の移動量、入力映像３０５を取得した撮影部の移動速度、及びフレームにおいて動的クラスに対応するオブジェクトの画素の比率のいずれかに基づいて、入力映像３０５の中から、動的内容を含む動的フレームを予測する。
動的内容を含むと予測される動的フレームは、動的オブジェクト分割部２３０に入力され、動的内容を含まないと予測される非動的フレームは、特徴分類部２３５に入力される。
選択的分割判定部２２５の処理の詳細については後述するため、ここではその説明を省略する。

【0045】

動的オブジェクト分割部２３０は、選択的分割判定部２２５によって予測された動的フレームに対して、動的オブジェクト分割処理を施し、動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報３２０を生成する。ここでは、動的オブジェクト分割部２３０は、動的クラスとみなされるオブジェクトの情報を示す動的クラス情報３１５に基づいて当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを判定してもよい。
動的オブジェクト分割部２３０によって生成される画像の意味的情報３２０はＳＬＡＭ部２４０及び特徴分類部２３５に入力される。

【0046】

特徴分類部２３５は、動的オブジェクト分割部２３０によって生成された画像の意味的情報３２０と、画像特徴抽出部２２０によって抽出された特徴とに基づいて、入力映像３０５のフレームの各特徴を動的特徴（つまり、動的オブジェクトに属する特徴）又は静的特徴（つまり、静的オブジェクトに属する特徴）として分類する。ある実施例では、特徴分類部２３５は、フレーム間における特徴の移動量に基づいて特徴を静的特徴又は動的特徴として分類してもよい。
静的特徴として分類された特徴はＳＬＡＭ部２４０に入力され、動的特徴として分類された特徴は外れ値として扱われ、ＳＬＡＭ部２４０の処理から排除される。

【0047】

ＳＬＡＭ部２４０は、特徴分類部２３５によって分類された静的特徴と、動的オブジェクト分割部２３０によって生成された画像の意味的情報３２０とに基づいて３次元地図３２５と、第１の移動体位置情報３３０とを生成する。
ここでの３次元地図３２５は、入力映像３０５に示された環境に対応する３次元地図である。図３に示す地図生成処理３００を、同じ環境の異なる部分を示す入力映像に基づいて行い、生成するそれぞれの３次元地図を結合することで、環境の全体を示す３次元地図を生成することができる。

【0048】

また、ここでの第１の移動体位置情報３３０は、移動体の位置（例えば、地理的座標等）及び向き（北、東、西、南等）を示す情報である。実際には、この第１の移動体位置情報３３０は、撮影部によって取得された入力映像から導出された撮影部の位置及び向きを示す情報であるが、撮影部は移動体に備えられているため、移動体の位置及び向きを示す情報でもある。
また、この第１の移動体位置情報３３０に示されている、複数の異なるフレームにおける移動体／撮影部の位置の変化から、移動体／撮影部の移動を時系列に示す移動体位置履歴情報３１０を生成することができる。後述するように、この移動体位置履歴情報３１０は、動的フレームを予測する際に用いられてもよい。
ＳＬＡＭ部２４０によって生成される３次元地図３２５及び第１の移動体位置情報３３０は、インターフェース部２５０に入力される。

【0049】

インターフェース部２５０は、ＳＬＡＭ部２４０によって生成される３次元地図３２５及び第１の移動体位置情報３３０を出力する。一例として、インターフェース部２５０は、３次元地図３２５を表示すると共に、当該３次元地図３２５における移動体の位置を表示してもよい。また、ある実施例では、インターフェース部２５０は、移動体の目的地の入力を受け付けた後、当該目的地までの推奨の経路を表示してもよい。

【0050】

以上説明した地図生成処理３００によれば、動的内容を含む可能性が高い動的フレームを予測し、これらの動的フレームのみに対して動的オブジェクト分割処理を施すことで、必要なコンピューティング資源量を抑制しつつ、高精度の環境地図を構築することができる。

【0051】

次に、図４を参照して、本開示の実施例１に係る位置特定装置における位置特定処理の流れについて説明する。

【0052】

図４は、本開示の実施例１に係る位置特定装置２００における位置特定処理４００の流れを示す図である。図４に示す位置特定処理４００は、図３を参照して説明した地図生成処理３００によって予め生成された３次元地図３２５を用いて、位置特定装置２００を備える移動体（人間、ロボット等）の任意の環境における位置を特定するための処理であり、位置特定装置２００の各機能部によって実行される。
なお、図４に示す位置特定処理４００は、３次元地図３２５を生成するＳＬＡＭ部に代えて、予め作成された３次元地図３２５に基づいて移動体の位置を特定する位置特定部２４５を用いる点以外、基本的な処理の流れは図３を参照して説明した地図生成処理３００と同様であるため、繰り返しとなる説明を省略する。

【0053】

位置特定部２４５は、特徴分類部２３５によって分類される静的特徴と、動的オブジェクト分割部２３０によって生成される画像の意味的情報３２０と、図３を参照して説明した地図生成処理３００によって生成され、メモリ２１５に格納される３次元地図３２５とを入力し、解析することで、３次元地図３２５における移動体の位置（例えば、地理的座標等）及び向き（北、東、西、南等）を示す第１の移動体位置情報３３０を生成する。
この第１の移動体位置情報３３０は、インターフェース部２５０に転送され、インターフェース部２５０にて出力される。

【0054】

以上説明した位置特定処理４００によれば、動的内容を含む可能性が高い動的フレームを予測し、これらの動的フレームのみに対して動的オブジェクト分割処理を施すことで、必要なコンピューティング資源量を抑制しつつ、移動体の環境における位置を正確に特定することができる。

【0055】

次に、図５を参照して、本開示の実施例１に係る位置特定装置における動的内容判定処理の流れについて説明する。

【0056】

上述したように、本開示では、映像フレームを構成する複数のフレームの中から、動的内容を含むと予測される動的フレームのみに対して動的オブジェクト分割処理を施し、動的内容を含まないと予測される非動的フレームを動的オブジェクト分割処理から排除することで、必要なコンピューティング資源量を抑制しつつ、移動体の環境における位置を正確に特定することができる。
より具体的には、本開示の実施例に係る動的内容の判定は、スキップマスクパラメータ５５０に基づいて行われる。このスキップマスクパラメータ５５０は、入力映像において、動的オブジェクト分割処理から排除するフレーム数を指定するパラメータである。このスキップマスクパラメータ５５０は、入力映像に含まれる複数のフレーム間の移動量、入力映像を取得した撮影部の移動速度、及びフレームにおいて動的クラスに対応するオブジェクトの画素の比率に基づいて設定及び更新をすることができる。
このスキップマスクパラメータ５５０を用いることで、動的内容を含む可能性が低いフレームがスキップ（つまり、動的オブジェクト分割処理から排除）され、動的内容を含む可能性が高いフレームのみが動的オブジェクト分割処理の対象となるため、入力映像の全てのフレームに対して動的オブジェクト分割処理を行った場合に比べて、コンピューティング資源を大幅に節約することができる。

【0057】

図５は、本開示の実施例１に係る位置特定装置における動的内容判定処理５００の流れを示すブロック図である。図５に示す動的内容判定処理５００は、スキップマスクパラメータ５５０を用いて動的内容を含む可能性が高い動的フレームを予測するための処理であり、主に画像特徴抽出部、選択的分割判定部、及び動的オブジェクト分割部によって実行される。

【0058】

まず、入力映像３０５は、選択的分割判定部２２５及び画像特徴抽出部２２０に入力される。

【0059】

上述したように、画像特徴抽出部２２０は、撮影部によって取得された入力映像３０５を入力した後、当該入力映像３０５を解析し、各フレームの特徴を抽出する。これらの特徴は、後述する移動量推定の際に用いられる。

【0060】

選択的分割判定部２２５は、入力映像３０５を構成する各フレーム毎に、当該フレームの順番を示す画像指標（ｉｍａｇｅ ｉｎｄｅｘ）とスキップマスクパラメータ５５０を用いて除算演算（ｍｏｄｕｌｏ ｏｐｅｒａｔｉｏｎ）を行い、余りが「０」の場合（つまり、画像指標のスキップマスクパラメータ５５０による除算の余りが０の場合）、当該フレームを動的フレームとし、動的オブジェクト分割部２３０に入力する。一方、除算演算の余りが「０」でない場合、当該フレームに対して後述の移動量推定を実行する。
ここでは、この除算演算を用いることで、スキップマスクパラメータに設定されているフレーム数毎に、フレームが動的オブジェクト分割部に入力され、それ以外のフレームについては、後述の移動量推定が実行される。
なお、入力映像における１番目のフレームについては、スキップマスクパラメータ５５０はまだ未設定であるため、この１番目のフレームは直接に動的オブジェクト分割部２３０に入力される。

【0061】

次に、選択的分割判定部２２５は、除算演算の余りが「０」のフレームについて、画像特徴抽出部２２０によって抽出された特徴及び対象のフレームの、入力映像における前のフレーム５１０の情報（以下、「前フレーム」という）に基づいて、移動量推定を行う。
ここでは、選択的分割判定部２２５は、対象のフレームと、前フレーム５１０との特徴を比較することで、フレーム間の移動量ｅを推定する。上述したように、ここでのフレーム間の移動量ｅは、移動体の移動によって発生する複数のフレームの差分（例えば、画素情報の差分）を意味する。推定した移動量ｅが所定の移動量基準Ｍを超える場合、この対象のフレームは動的フレームとみなされ、動的オブジェクト分割部２３０に入力される。
一方、推定した移動量ｅが所定の移動量基準Ｍ以下の場合、この対象のフレームは非動的フレームとみなされ、特徴分類部（図５には図示せず）に入力される。
このように、非動的フレームに対して移動量推定を行うことで、仮にスキップマスクパラメータの設定によって排除されたフレームの中で動的内容が存在した場合でも、当該動的内容を検出し、この動的内容を含むフレームを動的フレームとして再分類することができる。このように、動的内容を含むフレームをＳＬＡＭ部から高い精度で排除することができるため、高精度の３次元地図の生成が可能となる。

【0062】

動的オブジェクト分割部２３０は、上述したように、動的クラス情報３１５を用いて、選択的分割判定部２２５によって予測された動的フレームに対して、動的オブジェクト分割処理を施し、動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報３２０を生成する。

【0063】

次に、選択的分割判定部２２５は、動的オブジェクト分割部２３０によって生成された画像の意味的情報３２０を用いて、当該フレームにおける動的内容の比率に基づいてスキップマスクパラメータ５５０を設定する。より具体的には、ここでは、選択的分割判定部２２５は、当該フレームの全画素数に対して、動的クラスに対応するオブジェクトの画素数の比率を計算し、計算した比率が所定の動的内容の割合に関する基準を満たすか否かを判定する。
計算した比率が所定の動的内容の割合に関する基準を満たさない場合、スキップマスクパラメータ５５０を設定・更新しない。一方、計算した比率が所定の動的内容の割合に関する基準を満たす場合、スキップマスクパラメータ５５０は「１」に設定される。

【0064】

また、選択的分割判定部２２５は、移動体位置履歴情報３１０を用いてスキップマスクパラメータ５５０を設定してもよい。上述したように、この移動体位置履歴情報３１０は、複数の異なるフレームにおける移動体／撮影部の位置を示す情報である。選択的分割判定部２２５は、この移動体位置履歴情報３１０に示されている移動体／撮影部の位置の変化に基づいて、移動体／撮影部の移動速度を推定する。その後、選択的分割判定部２２５は、推定した移動速度に基づいて、スキップマスクパラメータ５５０を設定・更新してもよい。ここでは、原則として、選択的分割判定部２２５は、移動体／撮影部の移動速度が早ければ早い程、スキップマスクパラメータ５５０をより大きい値とし、移動体／撮影部の移動速度が遅ければ遅い程、スキップマスクパラメータ５５０をより小さい値とすることが望ましい。
例えば、ある実施例では、選択的分割判定部２２５は、計算した移動体／撮影部の移動速度を事前に設定された閾値に基づいて「Fast」、「Medium」、「Slow」等のカテゴリーのいずれかに分類し、カテゴリーに応じてスキップマスクパラメータ５５０を設定してもよい。一例として、選択的分割判定部２２５は、移動体／撮影部の移動速度を「Fast」と判定した場合、スキップマスクパラメータ５５０を「２」に設定し、移動体／撮影部の移動速度を「Medium」と判定した場合、スキップマスクパラメータ５５０を「５」に設定し、移動体／撮影部の移動速度を「Slow」と判定した場合、スキップマスクパラメータ５５０を「１０」に設定してもよい。

【0065】

以上説明した動的内容判定処理５００によれば、入力映像に含まれる複数のフレーム間の移動量、入力映像を取得した撮影部の移動速度、及びフレームにおいて動的クラスに対応するオブジェクトの画素の比率に基づいてスキップマスクパラメータ５５０を設定及び更新することができる。また、このスキップマスクパラメータ５５０を用いて入力映像を処理することで、動的内容を含まない非動的フレーム（例えば、フレーム間移動が少ないフレーム、移動体／撮影部の移動速度が遅いフレーム、動的オブジェクトに対応する画素が少ないフレーム等）をスキップしつつ、動的内容を含む可能性が高い動的フレーム（例えば、フレーム間移動が多いフレーム、移動体／撮影部の移動速度が速いフレーム、動的オブジェクトに対応する画素が多いフレーム等）を判定することができる。

【0066】

次に、図６を参照して、本開示の実施例１に係る位置特定装置における特徴分類処理の流れについて説明する。

【0067】

図６は、本開示の実施例１に係る位置特定装置における特徴分類処理６００の流れを示すブロック図である。図６に示す特徴分類処理６００は、入力映像の特徴を静的特徴か動的特徴かに分類するための処理であり、主に画像特徴抽出部２２０、選択的分割判定部２２５、及び特徴分類部２３５によって実行される。

【0068】

まず、入力映像３０５は、選択的分割判定部２２５及び画像特徴抽出部２２０に入力される。

【0069】

上述したように、画像特徴抽出部２２０は、撮影部によって取得された入力映像３０５を入力した後、当該入力映像３０５を解析し、各フレームの特徴６１５を抽出する。これらの特徴６１５は、後述する移動量推定及び特徴分類の際に用いられる。

【0070】

選択的分割判定部２２５は、入力映像３０５を構成する各フレーム毎に、当該フレームの順番を示す画像指標（ｉｍａｇｅ ｉｎｄｅｘ）とスキップマスクパラメータ５５０を用いて除算演算（ｍｏｄｕｌｏ ｏｐｅｒａｔｉｏｎ）を行い、余りが「０」の場合（つまり、画像指標のスキップマスクパラメータ５５０による除算の余りが０の場合）、当該フレームを動的フレームとし、動的オブジェクト分割部２３０に入力する。一方、除算演算の余りが「０」でない場合、当該フレームの特徴に対して特徴分類を実行する。
なお、入力映像における１番目のフレームの場合、スキップマスクパラメータ５５０はまだ未設定であるため、この１番目のフレームは直接に動的オブジェクト分割部２３０に入力される。

【0071】

動的オブジェクト分割部２３０は、上述したように、予め作成された動的クラス情報３１５を用いて、選択的分割判定部２２５によって予測された動的フレームに対して、動的オブジェクト分割処理を施し、動的フレームにおける各画素について、当該画素が動的クラスに対応するオブジェクトに属するか静的クラスに対応するオブジェクトに属するかを示す画像の意味的情報３２０を生成する。
この画像の意味的情報３２０は、特徴分類部２３５に入力される。

【0072】

特徴分類部２３５は、動的オブジェクト分割部２３０によって生成された画像の意味的情報３２０と、画像特徴抽出部２２０によって抽出された特徴６１５とに基づいて、入力映像のフレームの各特徴を動的特徴６２２又は静的特徴の候補６２４として分類する。ここで、動的特徴６２２として分類された特徴は外れ値として扱われ、ＳＬＡＭ部２４０の処理から排除される。
一方、静的特徴の候補６２４として分類された特徴については、特徴分類部２３５は、上述したフレーム間の移動量eに基づいて、更なる特徴分類を行ってもよい。より具体的には、特徴分類部２３５は、対象のフレームと、前フレーム５１０との特徴の比較に基づいて推定された移動量ｅを所定の移動量基準Ｍに比較し、移動量ｅが所定の移動量基準Ｍを超える場合、当該特徴を動的特徴６２２として分類し、移動量ｅが所定の移動量基準Ｍ以下の場合、当該特徴を静的特徴６３２として分類する。

【0073】

以上説明した特徴分類処理６００によれば、入力映像の特徴を静的特徴６３１または動的特徴６２２のいずれかに分類することができる。更に、以上説明したように、特徴分類を画像の意味的情報３２０と、フレーム間の移動量とに基づいて二重に行うことにより、スキップマスクパラメータの設定によりスキップされた非動的フレームに存在する動的内容を特定することができると共に、画像の意味的情報３２０に基づいた判定により誤認されたオブジェクト（動的クラスに対応するのに移動していないオブジェクトや、静的クラスに対応するのに移動したオブジェクト）を正しく分類することができる。

【実施例0074】

次に、図７を参照して、本開示の実施例２に係る位置特定装置のハードウェア構成について説明する。

【0075】

図７は、本開示の実施例２に係る位置特定装置７００のハードウェア構成の一例を示す図である。
上述したように、本開示の実施例１に係るＳＬＡＭ部２４０及び位置特定部２４５は、任意の環境の３次元地図において、移動体２７５の位置及び向きを示す第１の移動体位置情報を生成する。本開示の実施例２に係る位置特定装置７００は、この第１の移動体位置情報と、移動体の移動に関する移動センサデータから導出される第２の移動位置情報とに基づいて、移動体２７５の位置及び向きをより正確に示す補正済み位置情報を生成することができる。
なお、本開示の実施例２に係る位置特定装置７００は、上述した実施例１に係る位置特定装置２００の構成に加えて、慣性計測部７０５、ＧＰＳ部７１０、フィルタ部７１５、及び位置情報補正部７２０を含む点以外は、実施例１に係る位置特定装置２００と実質的に同様の構成であるため、以下では、繰り返しとなる説明を省略する。

【0076】

慣性計測部（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）７０５は、運動を司る３軸の角度（または角速度）と加速度とを移動センサデータとして検出するための機能部である。慣性計測部７０５は、取得した３軸のジャイロと３方向の加速度計によって、移動体２７５の３次元の角速度及び加速度を計算することができる。

【0077】

ＧＰＳ(Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ)部７１０は、ＧＰＳ衛星からの信号に基づいて、移動体２７５の地理的位置情報（座標等）を取得するための機能部である。

【0078】

フィルタ部７１５は、慣性計測部７０５によって取得された移動センサデータに対して所定のフィルタ処理を施すことで、当該移動センサデータからノイズを除去するための機能部である。

【0079】

位置情報補正部７２０は、上述したＳＬＡＭ部２４０又は位置特定部２４５によって生成される第１の移動体位置情報と、慣性計測部７０５によって取得される移動センサデータから導出される第２の移動体位置情報とに基づいて、移動体２７５の位置及び向きをより正確に示す補正済み移動体位置情報を生成するための機能部である。

【0080】

以上説明したように構成した、本開示の実施例２に係る位置特定装置７００によれば、実施例１に係る位置特定装置２００に比べて、移動体２７５の位置をより正確に特定することができると共に、ＳＬＡＭ部２４０によって生成される３次元地図をＧＰＳデータに連携させることができる。

【0081】

次に、図８を参照して、本開示の実施例２に係る位置特定装置における移動体位置情報補正処理の流れについて説明する。

【0082】

図８は、本開示の実施例２に係る位置特定装置における移動体位置情報補正処理８００の流れを示すブロック図である。図８に示す移動体位置情報補正処理８００は、ＳＬＡＭ部２４０又は位置特定部２４５によって生成される第１の移動体位置情報と、慣性計測部によって生成される第２の移動体位置情報とに基づいて、移動体２７５の位置及び向きをより正確に示す補正済み移動体位置情報を生成するための処理である。そして、移動体位置情報補正処理８００は、ＳＬＡＭ部２４０、位置特定部２４５、慣性計測部７０５、フィルタ部７１５、及び位置情報補正部７２０によって実行される。

【0083】

まず、撮影部によって取得される入力映像３０５は、位置特定装置のＳＬＡＭ部２４０又は位置特定部２４５に入力される。ＳＬＡＭ部２４０又は位置特定部２４５は、図３に示す地図生成処理３００又は図４に示す位置特定処理４００を行うことで、移動体の位置（例えば、地理的座標等）及び向き（北、東、西、南等）を示す第１の移動体位置情報３３０を生成する。

【0084】

また、慣性計測部７０５は、移動体が移動しながら、慣性計測部７０５を含む位置特定装置を備えた移動体の３次元の角速度及び加速度を示す移動センサデータ８０５を取得する。

【0085】

次に、フィルタ部７１５は、慣性計測部７０５によって取得された移動センサデータ８０５に対して、所定のフィルタ処理を施すことで、当該センサデータからノイズを除去し、フィルタ済みデータ８１０を生成する。
ここでは、移動センサデータ８０５からノイズを除去するために、任意の既存のノイズ除去手段を用いてもよく、本開示では特に限定されない。

【0086】

次に、位置情報補正部７２０は、フィルタ部７１５によって生成されたフィルタ済みデータ８１０に基づいて、移動体の位置及び向きを示す第２の移動体位置情報８３０を生成する。なお、実際には、この第２の移動体位置情報８３０は、慣性計測部７０５によって取得された移動センサデータから導出された慣性計測部７０５の位置及び向きを示す情報である。そして、この第２の移動体位置情報８３０は、慣性計測部７０５は移動体に備えられているため、移動体の位置及び向きを示す情報でもある。
ここでは、フィルタ済みデータ８１０から移動体の位置及び向きを導出するためには、位置情報補正部７２０は、任意の既存の手段を用いてもよく、本開示では特に限定されない。

【0087】

次に、位置情報補正部７２０は、上述した第１の移動体位置情報３３０と、第２の移動体位置情報８３０とに基づいて、移動体の位置及び向きを第１の移動体位置情報３３０又は第２の移動体位置情報８３０よりも正確に示すことができる補正済み移動体位置情報８５０を生成する。
ここで生成される補正済み移動体位置情報８５０は、例えば位置特定装置のインターフェース部（例えば図７に示す位置特定装置７００のインターフェース部２５０）を介して出力されてもよい。

【0088】

以上説明したように、本開示の実施例２に係る位置特定装置において、ＳＬＡＭ部２４０又は位置特定部２４５によって生成された第１の移動体位置情報３３０と、慣性計測部７０５によって生成される第２の移動体位置情報８３０とに基づいて、移動体の位置及び向きをより正確に示す補正済み移動体位置情報を生成することができる。

【0089】

次に、図９を参照して、本開示の実施例２に係る位置特定装置におけるＧＰＳ対応付け処理及び地図読み込み処理の流れについて説明する。

【0090】

上述したように、本開示の実施例２に係る位置特定装置７００は、ＧＰＳ部７１０を備える。このＧＰＳ部７１０を用いて、ＧＰＳデータをＳＬＡＭ部２４０によって生成される３次元地図に対応付けることで、所定の環境における移動体の位置のみならず、移動体の全地球における位置（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ）を特定することが可能となる。

【0091】

図９は、本開示の実施例２に係る位置特定装置におけるＧＰＳ対応付け処理９００及び地図読み込み処理９５０の流れを示すブロック図である。

【0092】

まず、ＧＰＳ対応付け処理９００について説明する。ＧＰＳ対応付け処理９００とは、ＧＰＳデータをＳＬＡＭ部２４０によって生成される３次元地図に対応付けて地図データベース９２５格納するための処理である。

【0093】

まず、ＳＬＡＭ部２４０は、例えば図３に示す地図生成処理３００に従って、入力映像３０５に対応する３次元地図３２５を生成する。

【0094】

３次元地図３２５が作成された後、ＧＰＳ部７１０は、移動体の全地球における位置（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ）を示すＧＰＳデータ９０５を取得する。その後、ＧＰＳ部７１０は、取得したＧＰＳデータ９０５を、３次元地図３２５に対応付ける。ここで、ＧＰＳデータ９０５を３次元地図３２５に対応付ける手段として、ＧＰＳ部７１０は、３次元地図３２５において、特定の地点（公園、オフィスビル、駅等）に対して、当該地点の地理的座標（緯度、経度）を示すジオタグを追加してもよい。
その後、ＧＰＳ部７１０は、ＧＰＳデータ９０５を対応付けた３次元地図３２５を、インターネット等の通信ネットワーク９１５を介して、地理的に離れた場所に設置されているサーバ装置（クラウドサーバ等）に管理されている地図データベース（以下、「地図ＤＢ」）９２５に格納する。

【0095】

次に、地図読み込み処理９５０について説明する。地図読み込み処理９５０は、ＧＰＳデータに対応付けられている３次元地図を読み込むための処理である。この地図読み込み処理９５０は、ＧＰＳデータ９０５を対応付けた３次元地図３２５が既に作成されており、地図ＤＢ９２５に格納されている環境の中に移動体が入場した際に自動的に行われてもよい。

【0096】

移動体のＧＰＳ部７１０は、位置特定装置７００（つまり、移動体）の地理的情報（緯度、経度等）９５５を含む地図要求を、通信ネットワーク９１５を介して、地図ＤＢ９２５に送信する。なお、本開示において「地図要求」とは、移動体の現在の地理的情報に対応する、予め作成されている環境地図（例えば、上述したＧＰＳ対応付け処理９００によって地図ＤＢ９２５に格納された３次元地図）を要求する情報である。
その後、地図ＤＢ９２５は、位置特定装置７００から受信した地図要求に含まれる地理的情報９５５に対応する３次元地図３２５を検索し、検索した３次元地図３２５を、通信ネットワーク９１５を介して送信する。その後、３次元地図３２５を受信した位置特定装置７００は、この３次元地図３２５を用いて、例えば図４を参照して説明した位置特定処理４００を行うことで、位置特定装置７００を備えた移動体の全地球における位置を特定することができる。

【0097】

以上説明したＧＰＳ対応付け処理９００及び地図読み込み処理９５０によれば、ＧＰＳデータをＳＬＡＭ部２４０によって生成される環境の３次元地図に対応付けて格納しておくことで、後に当該環境に入場する移動体は、予め生成された３次元地図を地図ＤＢ９２５から取得し、利用することができるため、何もない状態から３次元地図を生成することが不要となる上、移動体の全地球における位置を特定することができる。