知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝デバイス＆ストレージ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-08
(45)【発行日】2024-03-18
(54)【発明の名称】運動推定装置及びそれを用いた運動推定方法
(51)【国際特許分類】
G06T 7/571 20170101AFI20240311BHJP
G06T 7/00 20170101ALI20240311BHJP
G06T 7/593 20170101ALI20240311BHJP
G01B 11/14 20060101ALI20240311BHJP
【ＦＩ】
G06T7/571
G06T7/00 350B
G06T7/593
G01B11/14 H
【請求項の数】
8
(21)【出願番号】P 2021047735
(22)【出願日】2021-03-22
(65)【公開番号】P2022146659
(43)【公開日】2022-10-05
【審査請求日】2023-01-27
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317011920
【氏名又は名称】東芝デバイス＆ストレージ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】山田 裕
(72)【発明者】
【氏名】小田 雄一
(72)【発明者】
【氏名】西山 学
(72)【発明者】
【氏名】大木 豊
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１９－０１１９７１（ＪＰ，Ａ）
【文献】特開２００６－３３７０７５（ＪＰ，Ａ）
【文献】特表２０２１－５０２６２６（ＪＰ，Ａ）
【文献】Chao Liu, et al.，Neural RGB D Sensing: Depth and Uncertainty From a Video Camera，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，2019年06月20日，https://ieeexplore.ieee.org/document/8953381
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ ー ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０１Ｂ １１／１４
(57)【特許請求の範囲】
【請求項1】
第１カメラから第１入力フレームを受信する第１受信回路と、前記第１入力フレームに基づいて運動推定処理を行う演算回路と
を備え、
前記演算回路は、前記運動推定処理において、
前記第１入力フレームの各画素の情報に基づいて、前記各画素における前記第１カメラから被写体までの距離の推定、及び前記各画素における前記距離の信頼度の作成を行い、
前記第１入力フレームの前記各画素の中から第１特徴点を検出し、
前記第１特徴点における前記信頼度が第１基準値以上である場合、前記第１特徴点を第２特徴点として選択し、
前記第２特徴点と、前記第１入力フレームの受信前に登録されたキーフレームの第３特徴点とをマッチングし、
前記第２特徴点と前記第３特徴点とがマッチしなかった場合、前記第２特徴点を第４特徴点として選択し、
前記第４特徴点が前記第１入力フレームの予め設定された領域にある場合、前記第４特徴点を、前記第１入力フレームの移動点として検出する、
運動推定装置。
【請求項2】
前記演算回路は、前記運動推定処理において更に、前記第４特徴点が前記第１入力フレームの前記予め設定された領域にない場合、前記第４特徴点を、前記第１入力フレームの非移動点として検出し、
前記第２特徴点と前記第３特徴点とがマッチした場合、前記第２特徴点を、前記第１入力フレームの前記非移動点として検出し、
前記非移動点における前記第１カメラから前記被写体までの距離を算出する、請求項１記載の運動推定装置。
【請求項3】
前記演算回路は、前記運動推定処理において更に、前記推定した前記第１入力フレームの前記各画素における前記距離と、前記算出した前記第１入力フレームの前記非移動点における前記距離とを比較する、請求項２記載の運動推定装置。
【請求項4】
前記演算回路は、前記運動推定処理において、前記第１入力フレームの前記各画素の前記情報と、機械学習データとに基づいて、前記各画素における前記距離の推定、及び前記各画素における前記距離の前記信頼度の作成を行う、請求項１乃至３のいずれか１項記載の運動推定装置。
【請求項5】
前記第１入力フレームは、撮像画像であり、前記第１入力フレームの前記各画素の前記情報は、ボケの形状であり、
前記機械学習データは、前記撮像画像の距離毎のボケの形状を学習した学習データセットである、請求項４記載の運動推定装置。
【請求項6】
前記第１入力フレームは、フルカラー画像であり、前記第１入力フレームの前記各画素の前記情報は、画素値であり、
前記機械学習データは、前記フルカラー画像の距離毎の画素値を学習した学習データセットである、請求項４記載の運動推定装置。
【請求項7】
第２カメラから第２入力フレームを受信する第２受信回路をさらに有し、前記演算回路は、前記運動推定処理において、
前記第１入力フレームの前記各画素の情報に加えて、前記第２入力フレームの各画素の情報に基づいて、前記第１入力フレームの前記各画素における前記第１カメラから被写体までの距離の推定、並びに前記第１入力フレームの前記各画素における前記距離の信頼度の作成を行う、請求項１乃至６のいずれか１項記載の運動推定装置。
【請求項8】
カメラから受信した入力フレームの各画素の情報に基づいて、前記各画素における前記カメラから被写体までの距離を推定することと、前記各画素の前記情報に基づいて、前記各画素における前記距離の信頼度を作成することと、
前記入力フレームの前記各画素の中から第１特徴点を検出すること、
前記第１特徴点における前記信頼度が第１基準値以上である場合、前記第１特徴点を第２特徴点として選択することと、
前記第２特徴点と、前記入力フレームの受信前に登録されたキーフレームの第３特徴点とをマッチングすることと、
前記第２特徴点と前記第３特徴点とがマッチしなかった場合、前記第２特徴点を第４特徴点として選択することと、
前記第４特徴点が前記入力フレームの予め設定された領域にある場合、前記第４特徴点を、前記入力フレームの移動点として検出することと
を備える、運動推定装置による運動推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、運動推定装置及びそれを用いた運動推定方法に関する。
【背景技術】
【0002】
カメラで撮影された画像に基づいて、自己位置推定と環境地図作成とを同時に行うＶｉｓｕａｌ ＳＬＡＭ（Visual Simultaneous Localization and Mapping）技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第５９６５２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
運動推定の精度を向上できる運動推定装置及びそれを用いた運動推定方法を提供する。
【課題を解決するための手段】
【0005】
実施形態に係る運動推定装置は、第１カメラから第１入力フレームを受信する第１受信回路と、第１入力フレームに基づいて運動推定処理を行う演算回路とを備える。演算回路は、運動推定処理において、第１入力フレームの各画素の情報に基づいて、各画素における第１カメラから被写体までの距離の推定、及び各画素における距離の信頼度の作成を行い、第１入力フレームの各画素の中から第１特徴点を検出し、第１特徴点における信頼度が第１基準値以上である場合、第１特徴点を第２特徴点として選択し、第２特徴点と、第１入力フレームの受信前に登録されたキーフレームの第３特徴点とをマッチングし、第２特徴点と第３特徴点とがマッチしなかった場合、第２特徴点を第４特徴点として選択し、第４特徴点が第１入力フレームの予め設定された領域にある場合、第４特徴点を、第１入力フレームの移動点として検出する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を参照して実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。
【0008】
１．第１実施形態
第１実施形態に係る運動推定装置について説明する。本実施形態に係る運動推定装置は、例えば画像認識を行うプロセッサに組み込まれ、車両、ロボット、ＡＧＶ（Automatic Guided Vehicle）及びドローン等に応用可能である。以下、運動推定装置が車両に搭載されている場合について説明する。
第１実施形態に係る運動推定装置について説明する。本実施形態に係る運動推定装置は、例えば画像認識を行うプロセッサに組み込まれ、車両、ロボット、ＡＧＶ（Automatic Guided Vehicle）及びドローン等に応用可能である。以下、運動推定装置が車両に搭載されている場合について説明する。
【0009】
【0010】
運動推定装置１は、受信回路１０、ＣＰＵ（Central Processing Unit）２０、アクセラレータ３０、ＲＯＭ（Read Only Memory）４０、及びＲＡＭ（Random Access Memory）５０を含む。運動推定装置１は、例えば運動推定装置１と同じ車両に搭載された外部のカメラ２で撮影されたフレーム（画像）を、バスを介して受信する。本実施形態において、カメラ２は単眼カメラである。カメラ２としては、例えばカラーカメラ、モノクロカメラ、またはＮＩＲ（Near-InfraRed）カメラ等が用いられる。運動推定装置１は、カメラ２から受信したフレーム（以下、「入力フレーム」と称する）に基づいて、自己の運動推定を行う。本明細書において、「自己」とは、カメラ２を意味する。なお、例えば１個以上のカメラ２が搭載された車両を、「自己」と定義してもよい。運動推定装置１は、運動推定の結果を、バスを介して外部の制御装置３に送信する。制御装置３は、例えば運動推定の結果に基づいて、車両の動作の決定及び制御を行う装置である。
【0011】
受信回路１０は、カメラ２から入力フレームを受信する。受信回路１０は、受信した入力フレームをＲＡＭ５０に送信する。受信回路１０の詳細については、後述する。
【0012】
ＣＰＵ２０は、運動推定装置１全体の動作を制御する。ＣＰＵ２０は、様々な演算を行う。なお、ＣＰＵ２０は、マルチプロセッサであってもよい。また、ＣＰＵ２０は、例えばＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等であってもよい。
【0013】
アクセラレータ３０は、入力フレームを用いて運動推定処理を行う専用回路である。アクセラレータ３０の詳細については、後述する。
【0014】
ＲＯＭ４０は、不揮発性メモリである。ＲＯＭ４０は、例えばＣＰＵ２０が種々の動作を実行するためのファームウェア（プログラム）を記憶する。
【0015】
ＲＡＭ５０は、ＣＰＵ２０の作業領域として使用される。ＲＡＭ５０は、例えばＤＲＡＭやＳＲＡＭ等の半導体メモリである。ＲＡＭ５０は、例えば上述のファームウェア、入力フレーム、及びＣＰＵ２０による種々の動作実行時のデータ等を一時的に記憶する。上述のファームウェアは、例えば運動推定装置１のパワーオン直後に、ＣＰＵ２０によりＲＯＭ４０からＲＡＭ５０にロードされる。
【0016】
【0017】
受信回路１０は、ＩＳＰ（Image Signal Processor）１１を含む。受信回路１０は、カメラ２から受信した入力フレームの画像（以下、「撮像画像」と称する）、及びＩＳＰ１１により画像処理された画像（以下、「被処理画像」と称する）をＲＡＭ５０に送信する。
【0018】
本明細書において、カメラ２としてカラーカメラを用いる場合、「撮像画像」とは、カメラ２が撮像素子（イメージセンサ）のフォトダイオードで受光した光を、ベイヤー配列のカラーフィルタアレイを通してサンプリングした画像を意味する。「被処理画像」とは、撮像画像の各画素の情報を、Ｒ（赤）、Ｇ（緑）及びＢ（青）で規定されるフルカラーに変換した画像（以下、「フルカラー画像」と称する）を意味する。なお、イメージセンサは、ベイヤー配列のカラーセンサに限定されるものではなく、他の方式のカラーセンサであってもよい。
【0019】
本明細書において、カメラ２としてモノクロカメラやＮＩＲカメラを用いる場合、「撮像画像」とは、カメラ２が撮像素子のフォトダイオードで受光した光の量に相関のある信号値で規定される画像を意味する。以下、撮像画像における、フォトダイオードで受光した光に相関のある信号値を、単に「撮像画像の信号値」と表記する。「被処理画像」とは、撮像画像に対してノイズ削除等の画質調整を行った画像を意味する。なお、撮像画像をそのまま被処理画像として用いてもよい。
【0020】
以下では、撮像画像と被処理画像とを区別する場合は、それぞれ撮像画像、被処理画像と表記し、区別しない場合は、単にフレームと表記する。
【0021】
ＩＳＰ１１は、カメラ２から撮像画像を受信する。カメラ２としてカラーカメラを用いる場合、ＩＳＰ１１は、受信した撮像画像をフルカラー画像に変換する。ＩＳＰ１１は、変換したフルカラー画像を被処理画像として出力する。カメラ２としてモノクロカメラやＮＩＲカメラを用いる場合、ＩＳＰ１１は、例えば受信した撮像画像をそのまま被処理画像として出力する、または撮像画像に対してノイズ削除等の画質調整を行った画像を被処理画像として出力する。
【0022】
１．１．３ アクセラレータ３０のハードウェア構成
アクセラレータ３０のハードウェア構成について、図３を用いて説明する。図３は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０のハードウェア構成の一例を示すブロック図である。
アクセラレータ３０のハードウェア構成について、図３を用いて説明する。図３は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０のハードウェア構成の一例を示すブロック図である。
【0023】
アクセラレータ３０は、制御部３１、ディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）演算器３５、及び通信部３６を含む。
【0024】
制御部３１は、ＣＰＵ３２、ＲＯＭ３３、及びＲＡＭ３４を含む。制御部３１は、アクセラレータ３０全体の動作を制御する。
【0025】
ＣＰＵ３２は、運動推定処理に関する様々な演算を行う。なお、ＣＰＵ３２は、マルチプロセッサであってもよい。また、ＣＰＵ３２は、例えばＤＳＰ、ＧＰＵ、またはアクセラレータ等であってもよい。運動推定処理に関する様々な演算は、ＣＰＵ２０で行われてもよい。
【0026】
ＲＯＭ３３は、不揮発性メモリである。ＲＯＭ３３は、例えばアクセラレータ３０で実行される運動推定処理プログラム３３０を記憶する。運動推定処理プログラム３３０は、後述する距離推定、信頼度作成、特徴点検出、特徴点選択、特徴点マッチング、移動点検出、キーフレーム判定、ポーズ推定、キーフレーム登録、ローカルマッピング、距離チェック、グローバルマップ作成判定、及びグローバルマップ作成等の運動推定処理を、アクセラレータ３０に実行させるためのプログラムである。
【0027】
ＲＡＭ３４は、ＣＰＵ３２の作業領域として使用される。ＲＡＭ３４は、例えばＤＲＡＭやＳＲＡＭ等の半導体メモリである。ＲＡＭ３４は、例えば運動推定処理プログラム３３０、入力フレーム、運動推定処理で得られるマップ情報３４０、及びＣＰＵ３２による運動推定処理実行時のデータ等を一時的に記憶する。図３では、マップ情報３４０以外は省略されている。運動推定処理プログラム３３０は、例えば運動推定装置１のパワーオン直後に、制御部３１によりＲＯＭ３３からＲＡＭ３４にロードされる。マップ情報３４０の詳細については、後述する。
【0028】
ＤＮＮ演算器３５は、様々な学習用データに基づいて機械学習データ３５０を作成する。機械学習データ３５０は、機械学習アルゴリズムを用いて作成されたデータセットである。なお、機械学習データ３５０は、ＤＮＮ演算器３５により作成される場合に限定されず、運動推定装置１の外部デバイス（サーバ等）で作成されてもよい。外部デバイスにより作成された学習データはネットワークを介して提供されてもよいし、フラッシュメモリなどの外部ストレージを介してオフラインで提供されてもよい。ＤＮＮ演算器３５は、機械学習データ３５０に基づいて様々な解析（推論）及びデータの算出を行う。
【0029】
通信部３６は、アクセラレータ３０と、ＣＰＵ２０及びＲＡＭ５０を含む外部との通信を司る通信インタフェースである。通信部３６は、例えば入力フレームを外部から受け、ＲＡＭ３４に記憶する。また、通信部３６は、運動推定処理プログラム３３０の実行により得られた運動推定の結果を外部に出力する。
【0030】
１．１．４ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図４を用いて説明する。図４は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。以下では、カメラ２としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２としてモノクロカメラやＮＩＲカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図４を用いて説明する。図４は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。以下では、カメラ２としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２としてモノクロカメラやＮＩＲカメラが用いられてもよい。
【0031】
制御部３１は、ＲＯＭ３３に記憶された運動推定処理プログラム３３０をＲＡＭ３４にロードする。制御部３１は、ＲＡＭ３４にロードされた運動推定処理プログラム３３０をＣＰＵ３２により解釈及び実行して、アクセラレータ３０の各機能の構成要素を制御する。
【0032】
アクセラレータ３０は、入力フレームＦに基づいて、運動推定処理を実行する際、距離推定部３０１、特徴点検出部３０２、特徴点選択部３０３、特徴点マッチング部３０４、移動点検出部３０５、キーフレーム判定部３０６、ポーズ推定部３０７、キーフレーム登録部３０８、ローカルマッピング部３０９、距離チェック部３１０、グローバルマップ作成判定部３１１、及びグローバルマップ作成部３１２を含むコンピュータとして機能する。
【0033】
以下では、アクセラレータ３０の各機能の構成要素について、入力フレームＦの撮影時に、カメラ２が過去のキーフレームの撮影時から左に移動する場合を例に挙げて説明する。本明細書において、「キーフレーム」とは、カメラ２から入力されるフレームのうち、後述する特徴点マッチング等に用いられるフレームを意味する。「過去のキーフレーム」とは、入力フレームＦの撮影よりも前にマップ情報３４０に登録されたキーフレームを意味する。なお、本実施形態では、過去のキーフレームの撮影から入力フレームＦの撮影までの時間間隔は数百ｍｓ～数秒とする。入力フレームＦは、被写体として、表示物（例えば標識や看板等）、人物、車両、木、及び太陽を含み得る。
【0034】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦの撮像画像ＩＭＧＲａｗを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から撮像画像ＩＭＧＲａｗを受信する。ＤＮＮ演算器３５は、受信した撮像画像ＩＭＧＲａｗの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。本明細書において、「距離」とは、カメラ２から被写体までの距離（カメラ２から見た被写体の奥行き）を意味する。本実施形態では、距離は、入力フレームＦの２次元座標上の点と、カメラ２からの距離とで表される。なお、距離は、カメラ２に対する３次元座標上の点（ｘ，ｙ，ｚ）または極座標上の点（ｒ，θ，φ）で表されてもよい。
距離推定部３０１は、受信回路１０から入力フレームＦの撮像画像ＩＭＧＲａｗを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から撮像画像ＩＭＧＲａｗを受信する。ＤＮＮ演算器３５は、受信した撮像画像ＩＭＧＲａｗの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。本明細書において、「距離」とは、カメラ２から被写体までの距離（カメラ２から見た被写体の奥行き）を意味する。本実施形態では、距離は、入力フレームＦの２次元座標上の点と、カメラ２からの距離とで表される。なお、距離は、カメラ２に対する３次元座標上の点（ｘ，ｙ，ｚ）または極座標上の点（ｒ，θ，φ）で表されてもよい。
【0035】
機械学習データ３５０として、撮像画像の距離毎のボケの形状を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗの各画素について、ボケの形状と、機械学習データ３５０のボケの形状との対応関係（例えば、完全一致または部分一致等）を解析して距離を算出する。本明細書において、「ボケ」とは、被写体までの距離や画像の位置で異なるレンズ収差による画像のボケ情報（収差マップ）を意味する。以下では、算出された１個以上の距離の集まりを「距離グループＤＰＧ」と表記する。
【0036】
ＤＮＮ演算器３５は、距離推定部３０１に、算出した入力フレームＦの距離グループＤＰＧを送信する。距離推定部３０１は、ＤＮＮ演算器３５から距離グループＤＰＧを受信する。距離推定部３０１は、撮像画像ＩＭＧＲａｗの各画素について、受信した距離グループＤＰＧの距離を、推定した距離とする。これにより、撮像画像ＩＭＧＲａｗの各画素について、距離が推定される。距離推定部３０１は、受信した距離グループＤＰＧをＲＡＭ３４に記憶する。距離推定部３０１は、距離チェック部３１０に、入力フレームＦの距離グループＤＰＧを送信する。
【0037】
また、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗの各画素について、機械学習データ３５０との対応関係を解析して距離の信頼度（尤度）を算出する。本明細書において、「信頼度（尤度）」とは、距離の確からしさを意味する。本実施形態では、信頼度は、入力フレームＦの２次元座標上の点と、距離の確からしさを示す確率（％）とで表される。
【0038】
機械学習データ３５０として、撮像画像の距離毎のボケの形状を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗの各画素について、ボケの形状と、機械学習データ３５０のボケの形状との近さを解析して距離の信頼度を算出する。撮像画像ＩＭＧＲａｗの対応するボケの形状が、機械学習データ３５０の対応するボケの形状に近いと解析した場合、ＤＮＮ演算器３５は、高い信頼度を算出する。他方で、撮像画像ＩＭＧＲａｗの対応するボケの形状が、機械学習データ３５０の対応するボケの形状に近くないと解析した場合、ＤＮＮ演算器３５は、低い信頼度を算出する。信頼度が高いほど信頼度を示す数値（％）は高くなり、信頼度が低いほど信頼度を示す数値（％）は低くなる。以下では、算出された１個以上の信頼度の集まりを「信頼度グループＲＬＧ」と表記する。
【0039】
ＤＮＮ演算器３５は、距離推定部３０１に、算出した入力フレームＦの信頼度グループＲＬＧを送信する。距離推定部３０１は、ＤＮＮ演算器３５から信頼度グループＲＬＧを受信する。距離推定部３０１は、撮像画像ＩＭＧＲａｗの各画素について、受信した信頼度グループＲＬＧの信頼度を、作成した信頼度とする。これにより、撮像画像ＩＭＧＲａｗの各画素について、信頼度が作成される。距離推定部３０１は、受信した信頼度グループＲＬＧをＲＡＭ３４に記憶する。距離推定部３０１は、特徴点選択部３０３に、入力フレームＦの信頼度グループＲＬＧを送信する。
【0040】
信頼度の一例について、図５を用いて説明する。図５は、本実施形態に係る運動推定装置１で作成される信頼度の一例を説明するための簡易的な図である。図５は、入力フレームＦの信頼度グループＲＬＧの各信頼度が、基準値（以下、「基準値ＲＶ１」と称する）に基づいて分類された例である。分類の結果、入力フレームＦの信頼度グループＲＬＧの各信頼度は、例えば領域Ｒａ～Ｒｃで表される。領域Ｒａは、例えば表示物を含む。領域Ｒｂは、例えば人物、車両、及び木の幹を含む。領域Ｒｃは、例えば木の葉及び太陽を含む。入力フレームＦの領域Ｒａ及びＲｂは、信頼度が高い領域を示している。すなわち、領域Ｒａ及びＲｂ内の各画素は、信頼度が高い。入力フレームＦの領域Ｒｃは、信頼度が低い領域を示している。すなわち、領域Ｒｃ内の各画素は、信頼度が低い。なお、信頼度は、図５に示すように、信頼度が高い領域と信頼度が低い領域とに分けられないこともある。例えば、被写体のエッジ部分では信頼度が高く、エッジ部分の周辺では信頼度が低いこともある。また、被写体のエッジ部分では信頼度が低く、エッジ部分の周辺では信頼度が高いこともある。
【0041】
（特徴点検出部３０２）
特徴点検出部３０２は、受信回路１０から入力フレームＦの被処理画像ＩＭＧＣｎｖを受信する。特徴点検出部３０２は、受信した被処理画像ＩＭＧＣｎｖに基づいて、特徴点を検出する。本明細書において、「特徴点」とは、入力フレームＦにおいて、ビルの角や標識等のような位置を特定しやすい点を意味する。本実施形態では、特徴点は、２次元座標上の点として表される。なお、特徴点として、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量等を用いてもよい。ＯＲＢとは、ＦＡＳＴ特徴点検出とＢＲＩＥＦ特徴量記述子とを合わせたものである。特徴点検出部３０２は、例えばコーナー検出（Harris-corner）や特徴点検出（ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features））等のアルゴリズムを用いて、被処理画像ＩＭＧＣｎｖの各画素の画素値に基づいて、特徴点を検出する。以下では、検出された１個以上の特徴点の集まりを「特徴点グループＦＰＧ」と表記する。特徴点検出部３０２は、特徴点選択部３０３に、入力フレームＦの特徴点グループＦＰＧを送信する。
特徴点検出部３０２は、受信回路１０から入力フレームＦの被処理画像ＩＭＧＣｎｖを受信する。特徴点検出部３０２は、受信した被処理画像ＩＭＧＣｎｖに基づいて、特徴点を検出する。本明細書において、「特徴点」とは、入力フレームＦにおいて、ビルの角や標識等のような位置を特定しやすい点を意味する。本実施形態では、特徴点は、２次元座標上の点として表される。なお、特徴点として、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量等を用いてもよい。ＯＲＢとは、ＦＡＳＴ特徴点検出とＢＲＩＥＦ特徴量記述子とを合わせたものである。特徴点検出部３０２は、例えばコーナー検出（Harris-corner）や特徴点検出（ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features））等のアルゴリズムを用いて、被処理画像ＩＭＧＣｎｖの各画素の画素値に基づいて、特徴点を検出する。以下では、検出された１個以上の特徴点の集まりを「特徴点グループＦＰＧ」と表記する。特徴点検出部３０２は、特徴点選択部３０３に、入力フレームＦの特徴点グループＦＰＧを送信する。
【0042】
特徴点の一例について、図６を用いて説明する。図６は、本実施形態に係る運動推定装置１で検出される特徴点の一例を説明するための簡易的な図である。図６は、入力フレームＦの特徴点グループＦＰＧが、特徴点ＦＰ１～ＦＰ１３を含む例である。特徴点ＦＰ１～ＦＰ４は、表示物について検出された特徴点である。特徴点ＦＰ１～ＦＰ４は、例えば表示物の各コーナーに対応する。特徴点ＦＰ５は、人物について検出された特徴点である。特徴点ＦＰ５は、例えば人物の首に対応する。特徴点ＦＰ６～ＦＰ９は、車両について検出された特徴点である。特徴点ＦＰ６～ＦＰ９は、例えば車両の各コーナーに対応する。特徴点ＦＰ１０～ＦＰ１２は、木について検出された特徴点である。特徴点ＦＰ１０は、例えば木の枝の付け根に対応する。特徴点ＦＰ１１及びＦＰ１２は、例えば木の葉の端部に対応する。特徴点ＦＰ１３は、太陽について検出された特徴点である。なお、入力フレームＦの特徴点グループＦＰＧは、特徴点検出のアルゴリズムによっては図６の例と異なることもある。
【0043】
なお、特徴点検出部３０２は、距離推定部３０１から距離グループＤＰＧを受信してもよい。この場合、特徴点検出部３０２は、例えば受信した距離グループＤＰＧに基づいて特徴点を検出し、被処理画像ＩＭＧＣｎｖに基づいて特徴点を検出し、これらの検出の結果に基づいて、特徴点グループＦＰＧを検出することができる。
【0044】
（特徴点選択部３０３）
特徴点選択部３０３は、距離推定部３０１から受信した入力フレームＦの信頼度グループＲＬＧに基づいて、特徴点検出部３０２から受信した入力フレームＦの特徴点グループＦＰＧの特徴点のうち、信頼度が高い特徴点を選択する。例えば、特徴点選択部３０３は、特徴点グループＦＰＧの特徴点のうち、信頼度が基準値ＲＶ１以上である特徴点を選択し、信頼度が基準値ＲＶ１未満である特徴点を選択しない。以下では、選択された１個以上の特徴点の集まりを「特徴点グループＦＰＧｓｌ」と表記する。
特徴点選択部３０３は、距離推定部３０１から受信した入力フレームＦの信頼度グループＲＬＧに基づいて、特徴点検出部３０２から受信した入力フレームＦの特徴点グループＦＰＧの特徴点のうち、信頼度が高い特徴点を選択する。例えば、特徴点選択部３０３は、特徴点グループＦＰＧの特徴点のうち、信頼度が基準値ＲＶ１以上である特徴点を選択し、信頼度が基準値ＲＶ１未満である特徴点を選択しない。以下では、選択された１個以上の特徴点の集まりを「特徴点グループＦＰＧｓｌ」と表記する。
【0045】
特徴点選択の一例について、図７を用いて説明する。図７は、本実施形態に係る運動推定装置１における特徴点選択の一例を説明するための簡易的な図である。なお、信頼度が高い領域Ｒａ及びＲｂは、信頼度が基準値ＲＶ１以上であるものとする。信頼度が低い領域Ｒｃは、信頼度が基準値ＲＶ１未満であるものとする。特徴点選択部３０３は、入力フレームＦの特徴点グループＦＰＧｓｌとして、特徴点グループＦＰＧの特徴点ＦＰ１～ＦＰ１３のうち、信頼度が高い領域Ｒａ及びＲｂに含まれる特徴点ＦＰ１～ＦＰ１０を選択する。他方で、特徴点選択部３０３は、入力フレームＦの特徴点グループＦＰＧｓｌとして、特徴点グループＦＰＧの特徴点ＦＰ１～ＦＰ１３のうち、信頼度が低い領域Ｒｃに含まれる特徴点ＦＰ１１～ＦＰ１３を選択しない。特徴点選択部３０３は、特徴点マッチング部３０４に、入力フレームＦの特徴点グループＦＰＧｓｌを送信する。
【0046】
（特徴点マッチング部３０４）
特徴点マッチング部３０４は、マップ情報３４０から過去のキーフレームＦｋｎ（入力フレームＦのｎフレーム（ｎは１以上の自然数）前のキーフレーム）の特徴点グループＦＰＧｋｎを取得する。特徴点マッチング部３０４は、特徴点選択部３０３から受信した入力フレームＦの特徴点グループＦＰＧｓｌと、特徴点グループＦＰＧｋｎとを比較する。比較の結果、特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌの特徴点のうち、特徴点グループＦＰＧｋｎのいずれかの特徴点に対応する特徴点を、対応特徴点と判定する。特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌの特徴点のうち、特徴点グループＦＰＧｋｎのいずれの特徴点にも対応しない特徴点を、非対応特徴点と判定する。以下では、対応特徴点と判定された１個以上の特徴点の集まりを「対応特徴点グループＦＰＧｍｔ」と表記する。非対応特徴点と判定された１個以上の特徴点の集まりを「非対応特徴点グループＦＰＧｕｍｔ」と表記する。
特徴点マッチング部３０４は、マップ情報３４０から過去のキーフレームＦｋｎ（入力フレームＦのｎフレーム（ｎは１以上の自然数）前のキーフレーム）の特徴点グループＦＰＧｋｎを取得する。特徴点マッチング部３０４は、特徴点選択部３０３から受信した入力フレームＦの特徴点グループＦＰＧｓｌと、特徴点グループＦＰＧｋｎとを比較する。比較の結果、特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌの特徴点のうち、特徴点グループＦＰＧｋｎのいずれかの特徴点に対応する特徴点を、対応特徴点と判定する。特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌの特徴点のうち、特徴点グループＦＰＧｋｎのいずれの特徴点にも対応しない特徴点を、非対応特徴点と判定する。以下では、対応特徴点と判定された１個以上の特徴点の集まりを「対応特徴点グループＦＰＧｍｔ」と表記する。非対応特徴点と判定された１個以上の特徴点の集まりを「非対応特徴点グループＦＰＧｕｍｔ」と表記する。
【0047】
特徴点マッチングの一例について、図８を用いて説明する。図８は、本実施形態に係る運動推定装置１における特徴点マッチングの一例を説明するための簡易的な図である。なお、過去のキーフレームＦｋｎの特徴点グループＦＰＧｋｎは、表示物についての特徴点ＦＰ３’及びＦＰ４’、並びに木についての特徴点ＦＰ１０’を含むものとする。
【0048】
特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌ（特徴点ＦＰ１～ＦＰ１０）と、特徴点グループＦＰＧｋｎ（特徴点ＦＰ３’、ＦＰ４’及びＦＰ１０’）とを比較する。比較の結果、特徴点マッチング部３０４は、特徴点ＦＰ３と特徴点ＦＰ３’、特徴点ＦＰ４と特徴点ＦＰ４’、及び特徴点ＦＰ１０と特徴点ＦＰ１０’がそれぞれ対応すると判定する。すなわち、特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌの特徴点ＦＰ１～ＦＰ１０のうち、特徴点ＦＰ３、ＦＰ４及びＦＰ１０を対応特徴点と判定する。他方で、特徴点マッチング部３０４は、特徴点グループＦＰＧｓｌの特徴点ＦＰ１～ＦＰ１０のうち、特徴点ＦＰ１、ＦＰ２、及びＦＰ５～ＦＰ９を非対応特徴点と判定する。特徴点マッチング部３０４は、移動点検出部３０５に、入力フレームＦの対応特徴点グループＦＰＧｍｔ及び非対応特徴点グループＦＰＧｕｍｔを送信する。
【0049】
（移動点検出部３０５）
移動点検出部３０５は、特徴点マッチング部３０４から受信した入力フレームＦの非対応特徴点グループＦＰＧｕｍｔに基づいて、移動点を検出する。本明細書において、「移動点」とは、入力フレームＦの特徴点のうち、過去のキーフレームＦｋｎの撮影時から、カメラ２の移動に関係なく移動した特徴点を意味する。
移動点検出部３０５は、特徴点マッチング部３０４から受信した入力フレームＦの非対応特徴点グループＦＰＧｕｍｔに基づいて、移動点を検出する。本明細書において、「移動点」とは、入力フレームＦの特徴点のうち、過去のキーフレームＦｋｎの撮影時から、カメラ２の移動に関係なく移動した特徴点を意味する。
【0050】
また、移動点検出部３０５は、特徴点マッチング部３０４から受信した入力フレームＦの対応特徴点グループＦＰＧｍｔ及び非対応特徴点グループＦＰＧｕｍｔに基づいて、非移動点を検出する。本明細書において、「非移動点」とは、入力フレームＦの特徴点のうち、移動点ではない特徴点、及び過去のキーフレームＦｋｎのいずれかの特徴点に対応する特徴点を意味する。
【0051】
移動点検出の一例について、図９を用いて説明する。図９は、本実施形態に係る運動推定装置１における移動点検出の一例を説明するための簡易的な図である。なお、車両は、過去のキーフレームＦｋｎの撮影時から左に移動している。
【0052】
入力フレームＦの左端（破線で囲まれた部分）の特徴点は、過去のキーフレームＦｋｎではフレーム外の点である。過去のキーフレームＦｋｎの右端（破線で囲まれた部分）は、入力フレームＦではフレーム外となる。
【0053】
これに対して、過去のキーフレームＦｋｎの撮影から入力フレームＦの撮影までの時間間隔が短い（数百ｍｓ～数秒）場合、過去のキーフレームＦｋｎから入力フレームＦまでのカメラ２の移動距離は短いため、入力フレームＦの中央付近（一点鎖線で囲まれた部分）の特徴点は、過去のキーフレームＦｋｎ内にも存在すると考えられる。入力フレームＦの中央付近は、例えば入力フレームＦの端部（上端、下端、左端、及び右端）以外の領域である。よって、移動点検出部３０５は、非対応特徴点グループＦＰＧｕｍｔの特徴点ＦＰ１、ＦＰ２、及びＦＰ５～ＦＰ９のうち、入力フレームＦの中央付近の特徴点ＦＰ６～ＦＰ９を移動点と判定する。これにより、入力フレームＦの特徴点のうちの移動点が検出される。他方で、移動点検出部３０５は、非対応特徴点グループＦＰＧｕｍｔの特徴点ＦＰ１、ＦＰ２、及びＦＰ５～ＦＰ９のうち、入力フレームＦの左端にある特徴点ＦＰ１、ＦＰ２及びＦＰ５（過去のキーフレームＦｋｎではフレーム外であった特徴点）を、非移動点と判定する。また、移動点検出部３０５は、対応特徴点グループＦＰＧｍｔの特徴点ＦＰ３、ＦＰ４及びＦＰ１０も非移動点と判定する。これにより、入力フレームＦの特徴点のうちの非移動点が検出される。以下では、移動点として検出された１個以上の特徴点の集まりを「移動特徴点グループＦＰＧｍｖ」と表記する。非移動点として検出された１個以上の特徴点の集まりを「非移動特徴点グループＦＰＧｕｍｖ」と表記する。移動点検出部３０５は、ポーズ推定部３０７及びローカルマッピング部３０９に、入力フレームＦの非移動特徴点グループＦＰＧｕｍｖを送信する。
【0054】
なお、移動特徴点グループＦＰＧｍｖを検出する代わりに、非対応特徴点グループＦＰＧｕｍｔの特徴点のうちの移動点と判定された特徴点に、移動点であることを示すラベルを付けてもよい。
【0055】
非移動点と判定する入力フレームＦの端部は、カメラ２が過去のキーフレームＦｋｎの撮影時から移動する方向に応じて変えることができる。例えば、カメラ２が過去のキーフレームＦｋｎの撮影時から上に移動する場合、入力フレームＦの上端にある特徴点を、非移動点と判定することができる。カメラ２が過去のキーフレームＦｋｎの撮影時から右に移動する場合、及び下に移動する場合についても同様である。
【0056】
また、カメラ２が過去のキーフレームＦｋｎの撮影時から前方に移動した場合、過去のキーフレームＦｋｎの上端、下端、左端、及び右端は、入力フレームＦではフレーム外となる。他方で、カメラ２が過去のキーフレームＦｋｎの撮影時から後方に移動した場合、入力フレームＦの上端、下端、左端、及び右端は、過去のキーフレームＦｋｎではフレーム外の点である。これらの場合も同様に、非対応特徴点グループＦＰＧｕｍｔの特徴点のうち、入力フレームＦの中央付近の特徴点を移動点と判定し、入力フレームＦの上端、下端、左端、及び右端の特徴点を非移動点と判定することができる。
【0057】
入力フレームＦの端部は、固定の画素数で設定することができる。車両の動きの方向に基づいて、入力フレームＦの端部の画素数を設定してもよい。カメラ２が過去のキーフレームＦｋｎの撮影時から左に移動する場合、入力フレームＦの左端の画素数を大きく設定してもよい。過去のキーフレームＦｋｎから入力フレームＦまでのカメラ２の移動距離（画素数）に基づいて、入力フレームＦの端部の画素数を設定してもよい。
【0058】
（キーフレーム判定部３０６）
キーフレーム判定部３０６は、入力フレームＦをキーフレームとするかどうかを判定する。例えば、キーフレーム判定部３０６は、ｍフレーム（ｍは１以上の自然数）毎に、入力フレームＦをキーフレームとすると判定することができる。
キーフレーム判定部３０６は、入力フレームＦをキーフレームとするかどうかを判定する。例えば、キーフレーム判定部３０６は、ｍフレーム（ｍは１以上の自然数）毎に、入力フレームＦをキーフレームとすると判定することができる。
【0059】
なお、キーフレーム判定部３０６は、特徴点マッチング部３０４から入力フレームＦの対応特徴点グループＦＰＧｍｔを受信してもよい。この場合、キーフレーム判定部３０６は、例えば対応特徴点グループＦＰＧｍｔ内の特徴点の数が１個以上である場合、入力フレームＦをキーフレームとすると判定し、対応特徴点グループＦＰＧｍｔ内の特徴点の数が０個である場合、入力フレームＦをキーフレームとしないと判定することができる。
【0060】
（ポーズ推定部３０７）
ポーズ推定部３０７は、マップ情報３４０から過去のキーフレームＦｋｎのポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎを取得する。本明細書において、「ポーズ」とは、被写体に対するカメラ２の位置を意味する。本実施形態では、「ポーズ」は、３次元座標上の点で表される。ポーズ推定部３０７は、移動点検出部３０５から受信した非移動特徴点グループＦＰＧｕｍｖ、並びにポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎに基づいて、入力フレームＦのポーズＰＳを推定する。例えば、ポーズ推定部３０７は、非移動特徴点グループＦＰＧｕｍｖの各特徴点について、過去のキーフレームＦｋｎからの移動距離（移動した画素数）を算出する。ポーズ推定部３０７は、算出した移動距離と、ポーズＰＳｋとに基づいて、入力フレームＦのポーズＰＳを推定する。ポーズ推定部３０７は、ローカルマッピング部３０９に、入力フレームＦのポーズＰＳを送信する。
ポーズ推定部３０７は、マップ情報３４０から過去のキーフレームＦｋｎのポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎを取得する。本明細書において、「ポーズ」とは、被写体に対するカメラ２の位置を意味する。本実施形態では、「ポーズ」は、３次元座標上の点で表される。ポーズ推定部３０７は、移動点検出部３０５から受信した非移動特徴点グループＦＰＧｕｍｖ、並びにポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎに基づいて、入力フレームＦのポーズＰＳを推定する。例えば、ポーズ推定部３０７は、非移動特徴点グループＦＰＧｕｍｖの各特徴点について、過去のキーフレームＦｋｎからの移動距離（移動した画素数）を算出する。ポーズ推定部３０７は、算出した移動距離と、ポーズＰＳｋとに基づいて、入力フレームＦのポーズＰＳを推定する。ポーズ推定部３０７は、ローカルマッピング部３０９に、入力フレームＦのポーズＰＳを送信する。
【0061】
（キーフレーム登録部３０８）
キーフレーム登録部３０８は、入力フレームＦをキーフレームとして登録する。例えば、キーフレーム登録部３０８は、入力フレームＦと、入力フレームＦの非移動特徴点グループＦＰＧｕｍｖと、入力フレームＦのポーズＰＳと、入力フレームＦの移動特徴点グループＦＰＧｍｖ（非対応特徴点グループＦＰＧｕｍｔ中の移動点にラベルを付けた場合は非対応特徴点グループＦＰＧｕｍｔ）と、他のキーフレームとの関係とをマップ情報３４０に登録する。入力フレームＦは、フレームＦｋｎとして登録される。非移動特徴点グループＦＰＧｕｍｖは、特徴点グループＦＰＧｋｎとして登録される。ポーズＰＳは、ポーズＰＳｋｎとして登録される。移動特徴点グループＦＰＧｍｖは、移動点グループＦＰＧｍｖｋｎとして登録される。他のキーフレームとの関係も登録される。
キーフレーム登録部３０８は、入力フレームＦをキーフレームとして登録する。例えば、キーフレーム登録部３０８は、入力フレームＦと、入力フレームＦの非移動特徴点グループＦＰＧｕｍｖと、入力フレームＦのポーズＰＳと、入力フレームＦの移動特徴点グループＦＰＧｍｖ（非対応特徴点グループＦＰＧｕｍｔ中の移動点にラベルを付けた場合は非対応特徴点グループＦＰＧｕｍｔ）と、他のキーフレームとの関係とをマップ情報３４０に登録する。入力フレームＦは、フレームＦｋｎとして登録される。非移動特徴点グループＦＰＧｕｍｖは、特徴点グループＦＰＧｋｎとして登録される。ポーズＰＳは、ポーズＰＳｋｎとして登録される。移動特徴点グループＦＰＧｍｖは、移動点グループＦＰＧｍｖｋｎとして登録される。他のキーフレームとの関係も登録される。
【0062】
（ローカルマッピング部３０９）
ローカルマッピング部３０９は、マップ情報３４０から過去のキーフレームＦｋｎのポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎを取得する。ローカルマッピング部３０９は、ポーズ推定部３０７から受信したポーズＰＳ、及び移動点検出部３０５から受信した非移動特徴点グループＦＰＧｕｍｖ、並びにポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎに基づいて、例えば三角測量により、入力フレームＦの非移動特徴点グループＦＰＧｕｍｖの各特徴点における距離を算出する。以下では、算出された１個以上の距離の集まりを「距離グループＤＰＧｌｍ」または「ローカルマップＬＭ」と表記する。ローカルマッピング部３０９は、算出した距離グループＤＰＧｌｍをマップ情報３４０に登録する。距離グループＤＰＧｌｍは、特徴点のローカルマップＬＭｋｎとして登録される。ローカルマッピング部３０９は、距離チェック部３１０に、入力フレームＦの距離グループＤＰＧｌｍを送信する。
ローカルマッピング部３０９は、マップ情報３４０から過去のキーフレームＦｋｎのポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎを取得する。ローカルマッピング部３０９は、ポーズ推定部３０７から受信したポーズＰＳ、及び移動点検出部３０５から受信した非移動特徴点グループＦＰＧｕｍｖ、並びにポーズＰＳｋｎ及び特徴点グループＦＰＧｋｎに基づいて、例えば三角測量により、入力フレームＦの非移動特徴点グループＦＰＧｕｍｖの各特徴点における距離を算出する。以下では、算出された１個以上の距離の集まりを「距離グループＤＰＧｌｍ」または「ローカルマップＬＭ」と表記する。ローカルマッピング部３０９は、算出した距離グループＤＰＧｌｍをマップ情報３４０に登録する。距離グループＤＰＧｌｍは、特徴点のローカルマップＬＭｋｎとして登録される。ローカルマッピング部３０９は、距離チェック部３１０に、入力フレームＦの距離グループＤＰＧｌｍを送信する。
【0063】
（距離チェック部３１０）
距離チェック部３１０は、ローカルマッピング部３０９から受信した距離グループＤＰＧｌｍと、距離推定部３０１から受信した距離グループＤＰＧとを比較する。比較の結果、対応する特徴点における距離が異なる場合、距離チェック部３１０は、距離グループＤＰＧｌｍ及び距離グループＤＰＧのいずれかが妥当ではないと判定する。この場合、例えば距離チェック部３１０は、次の入力フレームにおける距離チェックの結果を考慮して妥当性を判定してもよい。なお、距離チェック部３１０は、ローカルマップＬＭｋｎとして登録された距離グループＤＰＧｌｍをマップ情報３４０から削除してもよい。また、距離チェック部３１０は、距離グループＤＰＧを信頼して、距離グループＤＰＧをローカルマップＬＭｋｎとしてマップ情報３４０に登録してもよい。他方で、対応する特徴点における距離が同じ場合、距離チェック部３１０は、距離チェックを終了する。
距離チェック部３１０は、ローカルマッピング部３０９から受信した距離グループＤＰＧｌｍと、距離推定部３０１から受信した距離グループＤＰＧとを比較する。比較の結果、対応する特徴点における距離が異なる場合、距離チェック部３１０は、距離グループＤＰＧｌｍ及び距離グループＤＰＧのいずれかが妥当ではないと判定する。この場合、例えば距離チェック部３１０は、次の入力フレームにおける距離チェックの結果を考慮して妥当性を判定してもよい。なお、距離チェック部３１０は、ローカルマップＬＭｋｎとして登録された距離グループＤＰＧｌｍをマップ情報３４０から削除してもよい。また、距離チェック部３１０は、距離グループＤＰＧを信頼して、距離グループＤＰＧをローカルマップＬＭｋｎとしてマップ情報３４０に登録してもよい。他方で、対応する特徴点における距離が同じ場合、距離チェック部３１０は、距離チェックを終了する。
【0064】
（グローバルマップ作成判定部３１１）
グローバルマップ作成判定部３１１は、グローバルマップＧＭの作成を行うかどうかを判定する。本明細書において、「グローバルマップ」とは、ローカルマップＬＭで表される特徴点を探索空間全体で表したものを意味する。グローバルマップは、例えば３次元座標上の点で表される。例えば、グローバルマップ作成判定部３１１は、１秒毎にグローバルマップＧＭの作成を行うと判定することができる。なお、グローバルマップ作成判定部３１１は、ｍフレーム（ｍは１以上の自然数）毎にグローバルマップＧＭの作成を行うと判定してもよい。また、グローバルマップ作成判定部３１１は、ローカルマップＬＭが一定サイズ作成された場合や演算リソースに余裕がある場合にグローバルマップＧＭの作成を行うと判定してもよい。
グローバルマップ作成判定部３１１は、グローバルマップＧＭの作成を行うかどうかを判定する。本明細書において、「グローバルマップ」とは、ローカルマップＬＭで表される特徴点を探索空間全体で表したものを意味する。グローバルマップは、例えば３次元座標上の点で表される。例えば、グローバルマップ作成判定部３１１は、１秒毎にグローバルマップＧＭの作成を行うと判定することができる。なお、グローバルマップ作成判定部３１１は、ｍフレーム（ｍは１以上の自然数）毎にグローバルマップＧＭの作成を行うと判定してもよい。また、グローバルマップ作成判定部３１１は、ローカルマップＬＭが一定サイズ作成された場合や演算リソースに余裕がある場合にグローバルマップＧＭの作成を行うと判定してもよい。
【0065】
（グローバルマップ作成部３１２）
グローバルマップ作成部３１２は、マップ情報３４０から、入力フレームＦを含む直近の２個以上のキーフレームＦｋｎのローカルマップＬＭｋｎを取得する。グローバルマップ作成部３１２は、これらのローカルマップＬＭｋｎの対応する特徴点を位置合わせして、対応する特徴点の位置の誤差を抑えるようにグローバルマップＧＭを作成する。グローバルマップＧＭは、例えばループクロージング等のアルゴリズムにより作成される。グローバルマップ作成部３１２は、作成したグローバルマップＧＭをマップ情報３４０に登録する。グローバルマップＧＭは、特徴点のグローバルマップＧＭｋｎとしてマップ情報３４０に登録される。
グローバルマップ作成部３１２は、マップ情報３４０から、入力フレームＦを含む直近の２個以上のキーフレームＦｋｎのローカルマップＬＭｋｎを取得する。グローバルマップ作成部３１２は、これらのローカルマップＬＭｋｎの対応する特徴点を位置合わせして、対応する特徴点の位置の誤差を抑えるようにグローバルマップＧＭを作成する。グローバルマップＧＭは、例えばループクロージング等のアルゴリズムにより作成される。グローバルマップ作成部３１２は、作成したグローバルマップＧＭをマップ情報３４０に登録する。グローバルマップＧＭは、特徴点のグローバルマップＧＭｋｎとしてマップ情報３４０に登録される。
【0066】
（マップ情報３４０）
マップ情報３４０の一例について、図１０を用いて説明する。図１０は、本実施形態に係る運動推定装置１で記憶されるマップ情報３４０の一例を示す図である。マップ情報３４０は、キーフレーム判定部３０６によりキーフレームとすると判定された入力フレームＦの情報を、キーフレーム情報として記憶する。キーフレーム情報は、フレームＦｋｎ、特徴点グループＦＰＧｋｎ、ポーズＰＳｋｎ、移動点ＦＰＧｍｖｋｎ、特徴点のローカルマップＬＭｋｎ、特徴点のグローバルマップＧＭｋｎ、及び他のキーフレームとの関係等を含む。
マップ情報３４０の一例について、図１０を用いて説明する。図１０は、本実施形態に係る運動推定装置１で記憶されるマップ情報３４０の一例を示す図である。マップ情報３４０は、キーフレーム判定部３０６によりキーフレームとすると判定された入力フレームＦの情報を、キーフレーム情報として記憶する。キーフレーム情報は、フレームＦｋｎ、特徴点グループＦＰＧｋｎ、ポーズＰＳｋｎ、移動点ＦＰＧｍｖｋｎ、特徴点のローカルマップＬＭｋｎ、特徴点のグローバルマップＧＭｋｎ、及び他のキーフレームとの関係等を含む。
【0067】
１．２ 運動推定動作
本実施形態に係る運動推定装置１の運動推定動作について、図１１及び図１２を用いて説明する。図１１及び図１２は、本実施形態に係る運動推定装置１の運動推定動作を示すフローチャートである。
本実施形態に係る運動推定装置１の運動推定動作について、図１１及び図１２を用いて説明する。図１１及び図１２は、本実施形態に係る運動推定装置１の運動推定動作を示すフローチャートである。
【0068】
運動推定装置１は、Ｓ１０においてカメラ２から入力フレームＦを取得する。
【0069】
運動推定装置１が入力フレームＦを取得した後、制御部３１は、距離推定部３０１として機能し、Ｓ１１において上述のように距離推定を行い、Ｓ１２において上述のように信頼度作成を行う。これにより、入力フレームＦについて、距離グループＤＰＧが推定され、信頼度グループＲＬＧが作成される。
【0070】
距離推定及び信頼度作成を実行した後、制御部３１は、特徴点検出部３０２として機能し、Ｓ１３において上述のように特徴点検出を行う。これにより、入力フレームＦの特徴点グループＦＰＧが検出される。
【0071】
特徴点検出を実行した後、制御部３１は、特徴点選択部３０３として機能し、Ｓ１４において上述のように特徴点選択を行う。これにより、入力フレームＦの特徴点グループＦＰＧｓｌが選択される。
【0072】
特徴点選択を実行した後、制御部３１は、特徴点マッチング部３０４として機能し、Ｓ１５において上述のように特徴点マッチングを行う。これにより、入力フレームＦの対応特徴点グループＦＰＧｍｔ及び非対応特徴点グループＦＰＧｕｍｔが得られる。
【0073】
特徴点マッチングを実行した後、制御部３１は、移動点検出部３０５として機能し、Ｓ１６において上述のように移動点検出を行う。これにより、入力フレームＦの移動特徴点グループＦＰＧｍｖ及び非移動特徴点グループＦＰＧｕｍｖが検出される。
【0074】
移動点検出を実行した後、制御部３１は、キーフレーム判定部３０６として機能し、Ｓ１７において上述のようにキーフレーム判定を行う。
【0075】
入力フレームＦをキーフレームとすると判定した場合（Ｓ１７＿Ｙｅｓ）、制御部３１は、ポーズ推定部３０７として機能し、Ｓ１８において上述のようにポーズ推定を行う。これにより、入力フレームＦのポーズＰＳが推定される。入力フレームＦのポーズＰＳは、通信部３６により制御装置３に転送される。
【0076】
ポーズ推定を実行した後、制御部３１は、キーフレーム登録部３０８として機能し、Ｓ１９において上述のようにキーフレーム登録を行う。これにより、入力フレームＦと、入力フレームＦの非移動特徴点グループＦＰＧｕｍｖと、入力フレームＦのポーズＰＳと、入力フレームＦの移動特徴点グループＦＰＧｍｖ（非対応特徴点グループＦＰＧｕｍｔ中の移動点にラベルを付けた場合は非対応特徴点グループＦＰＧｕｍｔ）と、他のキーフレームとの関係とがマップ情報３４０に登録される。
【0077】
キーフレーム登録を実行した後、制御部３１は、ローカルマッピング部３０９として機能し、Ｓ２０において上述のようにローカルマッピングを行う。これにより、入力フレームＦの距離グループＤＰＧｌｍが作成される。距離グループＤＰＧｌｍは、上述のようにマップ情報３４０に登録される。
【0078】
ローカルマッピングを実行した後、制御部３１は、距離チェック部３１０として機能し、Ｓ２１において上述のように距離チェックを行う。
【0079】
距離チェックを実行した後、制御部３１は、グローバルマップ作成判定部３１１として機能し、Ｓ２２において上述のようにグローバルマップ作成判定を行う。
【0080】
グローバルマップＧＭの作成を行うと判定した場合（Ｓ２２＿Ｙｅｓ）、制御部３１は、グローバルマップ作成部３１２として機能し、Ｓ２３において上述のようにグローバルマップＧＭの作成を行う。これにより、入力フレームＦのグローバルマップＧＭが得られる。入力フレームＦのグローバルマップＧＭは、上述のようにマップ情報３４０に登録される。また、入力フレームＦのグローバルマップＧＭは、通信部３６により制御装置３に転送される。
【0081】
制御部３１がグローバルマップＧＭの作成を実行した後、運動推定装置１は、Ｓ２４において終了判定を行う。ユーザからの終了指示を受けた場合、運動推定装置１は、終了すると判定する。例えば、アプリケーションを終了する場合、システムを停止する（車両のエンジンを切る、並びにロボット、ＡＧＶ及びドローンの電源を切る）場合、ロボット等が目的地に到着した場合、及び車両が一時停止する（車両のパーキングブレーキを踏む）場合に、運動推定装置１は、終了すると判定することができる。なお、ロボット等が目的地に到着した場合、及び車両が一時停止する場合には、その後も作成したグローバルマップＧＭを利用することがあり得るため、運動推定装置１は、終了すると判定しなくてもよい。
【0082】
終了しないと判定した場合（Ｓ２４＿Ｎｏ）、運動推定装置１は、前述のＳ１０に進む。他方で、終了すると判定した場合（Ｓ２４＿Ｙｅｓ）、運動推定装置１は、処理を終了する。
【0083】
入力フレームＦをキーフレームとしないと判定した場合（Ｓ１７＿Ｎｏ）、制御部３１は、前述のＳ２４に進む。
【0084】
グローバルマップＧＭの作成を行わないと判定した場合（Ｓ２２＿Ｎｏ）、制御部３１は、前述のＳ２４に進む。
【0085】
１．３ 効果
本実施形態に係る構成では、入力フレームＦの各画素における距離推定、及び入力フレームＦの特徴点検出に加えて、入力フレームＦの各画素における距離の信頼度を作成する。作成した信頼度に基づいて、検出した入力フレームＦの特徴点の中から信頼度が高い特徴点を選択する。更に、本実施形態に係る構成では、選択した入力フレームＦの特徴点のうち、過去のキーフレームのいずれの特徴点にも対応しない特徴点の中から移動点を検出することができる。よって、信頼度が高く、且つ移動点を除いた特徴点に基づいてポーズＰＳを推定することができるため、運動推定の精度を向上させることができる。また、信頼度が高く、且つ移動点を除いた特徴点で表される、ローカルマップＬＭ及びグローバルマップＧＭを作成することができる。
本実施形態に係る構成では、入力フレームＦの各画素における距離推定、及び入力フレームＦの特徴点検出に加えて、入力フレームＦの各画素における距離の信頼度を作成する。作成した信頼度に基づいて、検出した入力フレームＦの特徴点の中から信頼度が高い特徴点を選択する。更に、本実施形態に係る構成では、選択した入力フレームＦの特徴点のうち、過去のキーフレームのいずれの特徴点にも対応しない特徴点の中から移動点を検出することができる。よって、信頼度が高く、且つ移動点を除いた特徴点に基づいてポーズＰＳを推定することができるため、運動推定の精度を向上させることができる。また、信頼度が高く、且つ移動点を除いた特徴点で表される、ローカルマップＬＭ及びグローバルマップＧＭを作成することができる。
【0086】
２．第２実施形態
第２実施形態に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本実施形態に係る運動推定装置１では、距離推定及び信頼度作成が第１実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
第２実施形態に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本実施形態に係る運動推定装置１では、距離推定及び信頼度作成が第１実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
【0087】
２．１ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図１３を用いて説明する。図１３は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１３に示すアクセラレータ３０の機能構成は、距離推定部３０１が入力フレームＦの被処理画像ＩＭＧＣｎｖを用いて距離推定及び信頼度作成を行う点において、第１実施形態で示した図４と異なる。アクセラレータ３０の他の機能構成は、第１実施形態で示した図４と同じである。以下では、カメラ２としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２としてモノクロカメラやＮＩＲカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図１３を用いて説明する。図１３は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１３に示すアクセラレータ３０の機能構成は、距離推定部３０１が入力フレームＦの被処理画像ＩＭＧＣｎｖを用いて距離推定及び信頼度作成を行う点において、第１実施形態で示した図４と異なる。アクセラレータ３０の他の機能構成は、第１実施形態で示した図４と同じである。以下では、カメラ２としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２としてモノクロカメラやＮＩＲカメラが用いられてもよい。
【0088】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦの被処理画像ＩＭＧＣｎｖを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から被処理画像ＩＭＧＣｎｖを受信する。ＤＮＮ演算器３５は、受信した被処理画像ＩＭＧＣｎｖの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦの被処理画像ＩＭＧＣｎｖを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から被処理画像ＩＭＧＣｎｖを受信する。ＤＮＮ演算器３５は、受信した被処理画像ＩＭＧＣｎｖの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。
【0089】
機械学習データ３５０として、被処理画像の距離毎の画素値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、被処理画像ＩＭＧＣｎｖの各画素について、画素値と、機械学習データ３５０の画素値との対応関係（例えば、３つの画素成分が全て一致、あるいは１つまたは２つの画素成分が一致等）を解析して距離を算出する。
【0090】
ＤＮＮ演算器３５は、距離推定部３０１に、算出した入力フレームＦの距離グループＤＰＧを送信する。距離推定部３０１は、ＤＮＮ演算器３５から距離グループＤＰＧを受信する。距離推定部３０１は、被処理画像ＩＭＧＣｎｖの各画素について、受信した距離グループＤＰＧの距離を、推定した距離とする。これにより、被処理画像ＩＭＧＣｎｖの各画素について、距離が推定される。距離推定部３０１は、受信した距離グループＤＰＧをＲＡＭ３４に記憶する。距離推定部３０１は、距離チェック部３１０に、入力フレームＦの距離グループＤＰＧを送信する。
【0091】
また、ＤＮＮ演算器３５は、被処理画像ＩＭＧＣｎｖの各画素について、機械学習データ３５０との対応関係を解析して距離の信頼度を算出する。機械学習データ３５０として、被処理画像の距離毎の画素値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、被処理画像ＩＭＧＣｎｖの各画素について、画素値と、機械学習データ３５０の画素値との近さを解析して距離の信頼度を算出する。被処理画像ＩＭＧＣｎｖの対応する画素値が、機械学習データ３５０の対応する画素値に近いと解析した場合、ＤＮＮ演算器３５は、高い信頼度を算出する。他方で、被処理画像ＩＭＧＣｎｖの対応する画素値が、機械学習データ３５０の対応する画素値に近くないと解析した場合、ＤＮＮ演算器３５は、低い信頼度を算出する。
【0092】
ＤＮＮ演算器３５は、距離推定部３０１に、算出した入力フレームＦの信頼度グループＲＬＧを送信する。距離推定部３０１は、ＤＮＮ演算器３５から信頼度グループＲＬＧを受信する。距離推定部３０１は、被処理画像ＩＭＧＣｎｖの各画素について、受信した信頼度グループＲＬＧの信頼度を、作成した信頼度とする。これにより、被処理画像ＩＭＧＣｎｖの各画素について、信頼度が作成される。距離推定部３０１は、受信した信頼度グループＲＬＧをＲＡＭ３４に記憶する。距離推定部３０１は、特徴点選択部３０３に、入力フレームＦの信頼度グループＲＬＧを送信する。
【0093】
２．２ 効果
本実施形態に係る構成によれば、第１実施形態と同様の効果を奏する。
本実施形態に係る構成によれば、第１実施形態と同様の効果を奏する。
【0094】
３．第３実施形態
第３実施形態に係る運動推定装置１について説明する。本実施形態に係る運動推定装置１は、受信回路６０を更に備える。また、本実施形態に係る運動推定装置１では、距離推定及び信頼度作成が第１及び第２実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１及び第２実施形態と異なる点を中心に説明する。
第３実施形態に係る運動推定装置１について説明する。本実施形態に係る運動推定装置１は、受信回路６０を更に備える。また、本実施形態に係る運動推定装置１では、距離推定及び信頼度作成が第１及び第２実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１及び第２実施形態と異なる点を中心に説明する。
【0095】
【0096】
運動推定装置１は、受信回路６０を更に備える。運動推定装置１は、例えば運動推定装置１と同じ車両に搭載された外部のカメラ４で撮影されたフレーム（画像）を、バスを介して更に受信する。本実施形態において、カメラ４は、カメラ２と同じ単眼カメラである。カメラ４としては、例えばカラーカメラ、モノクロカメラ、またはＮＩＲカメラ等が用いられる。カメラ２及び４によりステレオカメラが構成される。受信回路６０は、カメラ４から入力フレームを受信する。受信回路６０は、受信した入力フレームをＲＡＭ５０に送信する。受信回路６０は、受信回路１０と同じ構成を有する。運動推定装置１の他の構成は、第１実施形態で示した図１と同じである。
【0097】
３．２ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図１５を用いて説明する。図１５は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１５に示すアクセラレータ３０の機能構成は、受信回路１０から受信した入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒと、受信回路６０から受信した入力フレームＦｌの被処理画像ＩＭＧＣｎｖｌとを用いて距離推定及び信頼度作成を行う点において、第１実施形態で示した図４と異なる。アクセラレータ３０の他の機能構成は、第１実施形態で示した図４と同じである。なお、距離推定及び信頼度作成では、例えば入力フレームＦｒが基準フレームとして採用され、入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒの各画素について、距離の推定及び距離の信頼度の作成が行われる。また、特徴点検出、特徴点選択、特徴点マッチング、移動点検出、キーフレーム判定、ポーズ推定、キーフレーム登録、ローカルマッピング、距離チェック、グローバルマップ作成判定、及びグローバルマップ作成では、例えば入力フレームＦｒが基準フレームとして採用され、入力フレームＦｒについて、入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒに基づいて、第１実施形態と同様に行われる。以下では、カメラ２及び４としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてモノクロカメラやＮＩＲカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図１５を用いて説明する。図１５は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１５に示すアクセラレータ３０の機能構成は、受信回路１０から受信した入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒと、受信回路６０から受信した入力フレームＦｌの被処理画像ＩＭＧＣｎｖｌとを用いて距離推定及び信頼度作成を行う点において、第１実施形態で示した図４と異なる。アクセラレータ３０の他の機能構成は、第１実施形態で示した図４と同じである。なお、距離推定及び信頼度作成では、例えば入力フレームＦｒが基準フレームとして採用され、入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒの各画素について、距離の推定及び距離の信頼度の作成が行われる。また、特徴点検出、特徴点選択、特徴点マッチング、移動点検出、キーフレーム判定、ポーズ推定、キーフレーム登録、ローカルマッピング、距離チェック、グローバルマップ作成判定、及びグローバルマップ作成では、例えば入力フレームＦｒが基準フレームとして採用され、入力フレームＦｒについて、入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒに基づいて、第１実施形態と同様に行われる。以下では、カメラ２及び４としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてモノクロカメラやＮＩＲカメラが用いられてもよい。
【0098】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの被処理画像ＩＭＧＣｎｖｌを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌを受信する。ＤＮＮ演算器３５は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌの各画素について機械学習データ３５０との対応関係を解析して、被処理画像ＩＭＧＣｎｖｒの各画素について被処理画像ＩＭＧＣｎｖｌの対応する画素を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの被処理画像ＩＭＧＣｎｖｌを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌを受信する。ＤＮＮ演算器３５は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌの各画素について機械学習データ３５０との対応関係を解析して、被処理画像ＩＭＧＣｎｖｒの各画素について被処理画像ＩＭＧＣｎｖｌの対応する画素を算出する。
【0099】
機械学習データ３５０として、被処理画像の距離毎の画素値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌの各画素について、画素値と、機械学習データ３５０の画素値との対応関係（例えば、３つの画素成分が全て一致、あるいは１つまたは２つの画素成分が一致等）を解析して、被処理画像ＩＭＧＣｎｖｒの各画素について、被処理画像ＩＭＧＣｎｖｌの対応する画素を算出する。以下では、算出された１組以上の対応する画素の集まりを「対応画素グループＰＸＧ」と表記する。
【0100】
ＤＮＮ演算器３５は、距離推定部３０１に、算出した対応画素グループＰＸＧを送信する。距離推定部３０１は、ＤＮＮ演算器３５から対応画素グループＰＸＧを受信する。距離推定部３０１は、受信した対応画素グループＰＸＧをＲＡＭ３４に記憶する。距離推定部３０１は、ＤＮＮ演算器３５から受信した対応画素グループＰＸＧと、カメラ２とカメラ４との間隔とに基づいて、例えば三角測量により、被処理画像ＩＭＧＣｎｖｒの各画素における距離を算出する。距離推定部３０１は、被処理画像ＩＭＧＣｎｖｒの各画素について、算出した距離を、推定した距離とする。これにより、被処理画像ＩＭＧＣｎｖｒの各画素について、距離が推定される。距離推定部３０１は、推定した距離グループＤＰＧをＲＡＭ３４に記憶する。距離推定部３０１は、ＤＮＮ演算器３５及び距離チェック部３１０に、入力フレームＦｒの距離グループＤＰＧを送信する。
【0101】
また、ＤＮＮ演算器３５は、被処理画像ＩＭＧＣｎｖｒの各画素について、機械学習データ３５０との対応関係を解析して距離の信頼度を算出する。機械学習データ３５０として、被処理画像の距離毎の画素値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、第２実施形態と同様に、被処理画像ＩＭＧＣｎｖｒの各画素について、画素値と、機械学習データ３５０の画素値との近さを解析して距離の信頼度を算出する。
【0102】
ＤＮＮ演算器３５は、距離推定部３０１に、算出した入力フレームＦｒの信頼度グループＲＬＧを送信する。距離推定部３０１は、ＤＮＮ演算器３５から信頼度グループＲＬＧを受信する。距離推定部３０１は、被処理画像ＩＭＧＣｎｖｒの各画素について、受信した信頼度グループＲＬＧの信頼度を、作成した信頼度とする。これにより、被処理画像ＩＭＧＣｎｖｒの各画素について、信頼度が作成される。距離推定部３０１は、受信した信頼度グループＲＬＧをＲＡＭ３４に記憶する。距離推定部３０１は、特徴点選択部３０３に、入力フレームＦｒの信頼度グループＲＬＧを送信する。
【0103】
３．３ 効果
本実施形態に係る構成によれば、第１実施形態と同様の効果を奏する。
本実施形態に係る構成によれば、第１実施形態と同様の効果を奏する。
【0104】
４．第４実施形態
第４実施形態に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第３実施形態で示した図１４と同じである。本実施形態に係る運動推定装置１では、距離推定及び信頼度作成が第３実施形態と異なる。アクセラレータ３０は、第１実施形態で示した図３からＤＮＮ演算器３５が廃され、ステレオマッチング部３７が設けられた構成を有する。なお、運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第３実施形態と異なる点を中心に説明する。
第４実施形態に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第３実施形態で示した図１４と同じである。本実施形態に係る運動推定装置１では、距離推定及び信頼度作成が第３実施形態と異なる。アクセラレータ３０は、第１実施形態で示した図３からＤＮＮ演算器３５が廃され、ステレオマッチング部３７が設けられた構成を有する。なお、運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第３実施形態と異なる点を中心に説明する。
【0105】
４．１ アクセラレータ３０のハードウェア構成
アクセラレータ３０のハードウェア構成について、図１６を用いて説明する。図１６は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０のハードウェア構成の一例を示すブロック図である。
アクセラレータ３０のハードウェア構成について、図１６を用いて説明する。図１６は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０のハードウェア構成の一例を示すブロック図である。
【0106】
アクセラレータ３０は、制御部３１、ステレオマッチング部３７、及び通信部３６を含む。
【0107】
ステレオマッチング部３７は、入力フレームＦｒの各画素と入力フレームＦｌの各画素とのマッチングを行う。ステレオマッチング部３７は、マッチングの結果に基づいて、例えば入力フレームＦｒの各画素における距離の信頼度を算出する。アクセラレータ３０の他のハードウェア構成は、第１実施形態で示した図３と同じである。
【0108】
４．２ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図１７を用いて説明する。図１７は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１７に示すアクセラレータ３０の機能構成は、ステレオマッチング部３７を用いて距離推定及び信頼度作成を行う点において、第３実施形態で示した図１５と異なる。アクセラレータ３０の他の機能構成は、第３実施形態で示した図１５と同じである。以下では、カメラ２及び４としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてモノクロカメラやＮＩＲカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図１７を用いて説明する。図１７は、本実施形態に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１７に示すアクセラレータ３０の機能構成は、ステレオマッチング部３７を用いて距離推定及び信頼度作成を行う点において、第３実施形態で示した図１５と異なる。アクセラレータ３０の他の機能構成は、第３実施形態で示した図１５と同じである。以下では、カメラ２及び４としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてモノクロカメラやＮＩＲカメラが用いられてもよい。
【0109】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの被処理画像ＩＭＧＣｎｖｌを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをステレオマッチング部３７に送信する。ステレオマッチング部３７は、距離推定部３０１から被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌを受信する。ステレオマッチング部３７は、例えばＳＧＭ（Semi-Global-Matching）等のアルゴリズムを用いて、画素値に基づいて、被処理画像ＩＭＧＣｎｖｒの各画素について、被処理画像ＩＭＧＣｎｖｌの対応する画素を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦｒの被処理画像ＩＭＧＣｎｖｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの被処理画像ＩＭＧＣｎｖｌを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌをステレオマッチング部３７に送信する。ステレオマッチング部３７は、距離推定部３０１から被処理画像ＩＭＧＣｎｖｒ及びＩＭＧＣｎｖｌを受信する。ステレオマッチング部３７は、例えばＳＧＭ（Semi-Global-Matching）等のアルゴリズムを用いて、画素値に基づいて、被処理画像ＩＭＧＣｎｖｒの各画素について、被処理画像ＩＭＧＣｎｖｌの対応する画素を算出する。
【0110】
ステレオマッチング部３７は、距離推定部３０１に、算出した対応画素グループＰＸＧを送信する。距離推定部３０１は、ステレオマッチング部３７から対応画素グループＰＸＧを受信する。距離推定部３０１は、受信した対応画素グループＰＸＧをＲＡＭ３４に記憶する。距離推定部３０１は、ステレオマッチング部３７から受信した対応画素グループＰＸＧと、カメラ２とカメラ４との間隔とに基づいて、第３実施形態と同様に、被処理画像ＩＭＧＣｎｖｒの各画素における距離を算出する。距離推定部３０１は、被処理画像ＩＭＧＣｎｖｒの各画素について、算出した距離を、推定した距離とする。これにより、被処理画像ＩＭＧＣｎｖｒの各画素について、距離が推定される。距離推定部３０１は、推定した距離グループＤＰＧをＲＡＭ３４に記憶する。距離推定部３０１は、ステレオマッチング部３７及び距離チェック部３１０に、入力フレームＦｒの距離グループＤＰＧを送信する。
【0111】
また、ステレオマッチング部３７は、被処理画像ＩＭＧＣｎｖｒの各画素について、距離の信頼度を算出する。例えば、ＳＧＭを用いた場合、ステレオマッチング部３７は、被処理画像ＩＭＧＣｎｖｒの各画素について、画素毎のコスト関数に基づいて距離の信頼度を算出する。
【0112】
ステレオマッチング部３７は、距離推定部３０１に、算出した入力フレームＦｒの信頼度グループＲＬＧを送信する。距離推定部３０１は、ステレオマッチング部３７から信頼度グループＲＬＧを受信する。距離推定部３０１は、被処理画像ＩＭＧＣｎｖｒの各画素について、受信した信頼度グループＲＬＧの信頼度を、作成した信頼度とする。これにより、被処理画像ＩＭＧＣｎｖｒの各画素について、信頼度が作成される。距離推定部３０１は、受信した信頼度グループＲＬＧをＲＡＭ３４に記憶する。距離推定部３０１は、特徴点選択部３０３に、入力フレームＦｒの信頼度グループＲＬＧを送信する。
【0113】
４．３ 効果
本実施形態に係る構成によれば、第１実施形態と同様の効果を奏する。
本実施形態に係る構成によれば、第１実施形態と同様の効果を奏する。
【0114】
５．変形例等
上記のように、実施形態に係る運動推定装置は、第１入力フレーム(F)を受信する第１受信回路(10)と、第１入力フレームに基づいて運動推定処理を行う演算回路(30)とを備える。演算回路は、運動推定処理において、第１入力フレームの各画素の情報(ボケの形状/画素値/撮像画像の信号値)に基づいて、各画素における距離の推定、及び各画素における距離の信頼度の作成を行う。
上記のように、実施形態に係る運動推定装置は、第１入力フレーム(F)を受信する第１受信回路(10)と、第１入力フレームに基づいて運動推定処理を行う演算回路(30)とを備える。演算回路は、運動推定処理において、第１入力フレームの各画素の情報(ボケの形状/画素値/撮像画像の信号値)に基づいて、各画素における距離の推定、及び各画素における距離の信頼度の作成を行う。
【0115】
なお、実施形態は上記説明した形態に限定されるものではなく、種々の変形が可能である。
【0116】
５．１ 第１変形例
第１変形例として、第１実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第１実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。アクセラレータ３０の機能構成は、第２実施形態で示した図１３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
第１変形例として、第１実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第１実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。アクセラレータ３０の機能構成は、第２実施形態で示した図１３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
【0117】
５．１．１ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図１３を用いて説明する。以下では、カメラ２としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２としてモノクロカメラやＮＩＲカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図１３を用いて説明する。以下では、カメラ２としてカラーカメラが用られる場合を例に挙げて説明するが、カメラ２としてモノクロカメラやＮＩＲカメラが用いられてもよい。
【0118】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦの被処理画像ＩＭＧＣｎｖを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から被処理画像ＩＭＧＣｎｖを受信する。ＤＮＮ演算器３５は、受信した被処理画像ＩＭＧＣｎｖの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦの被処理画像ＩＭＧＣｎｖを受信する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＲＡＭ３４に記憶する。距離推定部３０１は、受信した被処理画像ＩＭＧＣｎｖをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から被処理画像ＩＭＧＣｎｖを受信する。ＤＮＮ演算器３５は、受信した被処理画像ＩＭＧＣｎｖの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。
【0119】
機械学習データ３５０として、被処理画像の距離毎のボケの形状を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、第１実施形態と同様に、被処理画像ＩＭＧＣｎｖの各画素について、ボケの形状と、機械学習データ３５０のボケの形状との対応関係（例えば、完全一致または部分一致等）を解析して距離を算出する。
【0120】
距離推定部３０１は、第１実施形態と同様に、ＤＮＮ演算器３５から、算出された入力フレームＦの距離グループＤＰＧを受信し、距離チェック部３１０に、距離グループＤＰＧを送信する。
【0121】
また、ＤＮＮ演算器３５は、被処理画像ＩＭＧＣｎｖの各画素について、機械学習データ３５０との対応関係を解析して距離の信頼度を算出する。機械学習データ３５０として、被処理画像の距離毎のボケの形状を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、第１実施形態と同様に、被処理画像ＩＭＧＣｎｖの各画素について、ボケの形状と、機械学習データ３５０のボケの形状との近さを解析して距離の信頼度を算出する。
【0122】
距離推定部３０１は、第１実施形態と同様に、ＤＮＮ演算器３５から、算出された入力フレームＦの信頼度グループＲＬＧを受信し、特徴点選択部３０３に、信頼度グループＲＬＧを送信する。
【0123】
５．１．２ 効果
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
【0124】
５．２ 第２変形例
第２変形例として、第２実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第２実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。アクセラレータ３０の機能構成は、第１実施形態で示した図４と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
第２変形例として、第２実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第２実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。アクセラレータ３０の機能構成は、第１実施形態で示した図４と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
【0125】
５．２．１ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図４を用いて説明する。以下では、カメラ２としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２としてＮＩＲカメラやカラーカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図４を用いて説明する。以下では、カメラ２としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２としてＮＩＲカメラやカラーカメラが用いられてもよい。
【0126】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦの撮像画像ＩＭＧＲａｗを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から撮像画像ＩＭＧＲａｗを受信する。ＤＮＮ演算器３５は、受信した撮像画像ＩＭＧＲａｗの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦの撮像画像ＩＭＧＲａｗを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から撮像画像ＩＭＧＲａｗを受信する。ＤＮＮ演算器３５は、受信した撮像画像ＩＭＧＲａｗの各画素について、機械学習データ３５０との対応関係を解析して距離を算出する。
【0127】
機械学習データ３５０として、撮像画像における距離毎の撮像画像の信号値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗの各画素について、撮像画像の信号値と、機械学習データ３５０の撮像画像の信号値との対応関係（例えば、完全一致または部分一致等）を解析して距離を算出する。
【0128】
距離推定部３０１は、第２実施形態と同様に、ＤＮＮ演算器３５から、算出された入力フレームＦの距離グループＤＰＧを受信し、距離チェック部３１０に、距離グループＤＰＧを送信する。
【0129】
また、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗの各画素について、機械学習データ３５０との対応関係を解析して距離の信頼度を算出する。機械学習データ３５０として、撮像画像における距離毎の撮像画像の信号値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗの各画素について、撮像画像の信号値と、機械学習データ３５０の撮像画像の信号値との近さを解析して距離の信頼度を算出する。撮像画像ＩＭＧＲａｗにおいて対応する撮像画像の信号値が、機械学習データ３５０の対応する撮像画像の信号値に近いと解析した場合、ＤＮＮ演算器３５は、高い信頼度を算出する。他方で、撮像画像ＩＭＧＲａｗにおいて対応する撮像画像の信号値が、機械学習データ３５０の対応する撮像画像の信号値に近くないと解析した場合、ＤＮＮ演算器３５は、低い信頼度を算出する。
【0130】
距離推定部３０１は、第２実施形態と同様に、ＤＮＮ演算器３５から、算出された入力フレームＦの信頼度グループＲＬＧを受信し、特徴点選択部３０３に、信頼度グループＲＬＧを送信する。
【0131】
５．２．２ 効果
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
【0132】
５．３ 第３変形例
第３変形例として、第３実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第３実施形態で示した図１４と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第３実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第３実施形態と異なる点を中心に説明する。
第３変形例として、第３実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第３実施形態で示した図１４と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第３実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第３実施形態と異なる点を中心に説明する。
【0133】
５．３．１ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図１８を用いて説明する。図１８は、本変形例に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１８に示すアクセラレータ３０の機能構成は、距離推定部３０１が入力フレームＦｒの撮像画像ＩＭＧＲａｗｒ及び入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを用いて距離推定及び信頼度作成を行う点において、第３実施形態で示した図１５と異なる。アクセラレータ３０の他の機能構成は、第３実施形態で示した図１５と同じである。以下では、カメラ２及び４としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてＮＩＲカメラやカラーカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図１８を用いて説明する。図１８は、本変形例に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１８に示すアクセラレータ３０の機能構成は、距離推定部３０１が入力フレームＦｒの撮像画像ＩＭＧＲａｗｒ及び入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを用いて距離推定及び信頼度作成を行う点において、第３実施形態で示した図１５と異なる。アクセラレータ３０の他の機能構成は、第３実施形態で示した図１５と同じである。以下では、カメラ２及び４としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてＮＩＲカメラやカラーカメラが用いられてもよい。
【0134】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦｒの撮像画像ＩＭＧＲａｗｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌを受信する。ＤＮＮ演算器３５は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌの各画素について機械学習データ３５０との対応関係を解析して、撮像画像ＩＭＧＲａｗｒの各画素について撮像画像ＩＭＧＲａｗｌの対応する画素を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦｒの撮像画像ＩＭＧＲａｗｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをＤＮＮ演算器３５に送信する。ＤＮＮ演算器３５は、距離推定部３０１から撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌを受信する。ＤＮＮ演算器３５は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌの各画素について機械学習データ３５０との対応関係を解析して、撮像画像ＩＭＧＲａｗｒの各画素について撮像画像ＩＭＧＲａｗｌの対応する画素を算出する。
【0135】
機械学習データ３５０として、撮像画像における距離毎の撮像画像の信号値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌの各画素について、撮像画像の信号値と、機械学習データ３５０の撮像画像の信号値との対応関係（例えば、完全一致または部分一致等）を解析して、撮像画像ＩＭＧＲａｗｒの各画素について、撮像画像ＩＭＧＲａｗｌの対応する画素を算出する。
【0136】
距離推定部３０１は、第３実施形態と同様に、ＤＮＮ演算器３５から、算出された対応画素グループＰＸＧを受信し、受信した対応画素グループＰＸＧと、カメラ２とカメラ４との間隔とに基づいて、入力フレームＦｒの距離グループＤＰＧを算出する。距離推定部３０１は、第３実施形態と同様に、ＤＮＮ演算器３５及び距離チェック部３１０に、算出した距離グループＤＰＧを送信する。
【0137】
また、ＤＮＮ演算器３５は、撮像画像ＩＭＧＲａｗｒの各画素について、機械学習データ３５０との対応関係を解析して距離の信頼度を算出する。機械学習データ３５０として、撮像画像における距離毎の撮像画像の信号値を学習した学習データセットが用いられる場合、ＤＮＮ演算器３５は、第２変形例と同様に、撮像画像ＩＭＧＲａｗｒの各画素について、撮像画像の信号値と、機械学習データ３５０の撮像画像の信号値との近さを解析して距離の信頼度を算出する。
【0138】
距離推定部３０１は、第３実施形態と同様に、ＤＮＮ演算器３５から、算出された入力フレームＦｒの信頼度グループＲＬＧを受信し、特徴点選択部３０３に、信頼度グループＲＬＧを送信する。
【0139】
５．３．２ 効果
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
【0140】
５．４ 第４変形例
第４変形例として、第４実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第３実施形態で示した図１４と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第４実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第４実施形態で示した図１６と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第４実施形態と異なる点を中心に説明する。
第４変形例として、第４実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第３実施形態で示した図１４と同じである。本変形例に係る運動推定装置１では、距離推定及び信頼度作成が第４実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第４実施形態で示した図１６と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第４実施形態と異なる点を中心に説明する。
【0141】
５．４．１ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図１９を用いて説明する。図１９は、本変形例に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１９に示すアクセラレータ３０の機能構成は、距離推定部３０１が入力フレームＦｒの撮像画像ＩＭＧＲａｗｒ及び入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを用いて距離推定及び信頼度作成を行う点において、第４実施形態で示した図１７と異なる。アクセラレータ３０の他の機能構成は、第４実施形態で示した図１７と同じである。以下では、カメラ２及び４としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてＮＩＲカメラやカラーカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図１９を用いて説明する。図１９は、本変形例に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図１９に示すアクセラレータ３０の機能構成は、距離推定部３０１が入力フレームＦｒの撮像画像ＩＭＧＲａｗｒ及び入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを用いて距離推定及び信頼度作成を行う点において、第４実施形態で示した図１７と異なる。アクセラレータ３０の他の機能構成は、第４実施形態で示した図１７と同じである。以下では、カメラ２及び４としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２及び４としてＮＩＲカメラやカラーカメラが用いられてもよい。
【0142】
（距離推定部３０１）
距離推定部３０１は、受信回路１０から入力フレームＦｒの撮像画像ＩＭＧＲａｗｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをステレオマッチング部３７に送信する。ステレオマッチング部３７は、距離推定部３０１から撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌを受信する。ステレオマッチング部３７は、例えばＳＧＭ等のアルゴリズムを用いて、撮像画像の信号値に基づいて、撮像画像ＩＭＧＲａｗｒの各画素について、撮像画像ＩＭＧＲａｗｌの対応する画素を算出する。
距離推定部３０１は、受信回路１０から入力フレームＦｒの撮像画像ＩＭＧＲａｗｒを受信する。距離推定部３０１は、受信回路６０から入力フレームＦｌの撮像画像ＩＭＧＲａｗｌを受信する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをＲＡＭ３４に記憶する。距離推定部３０１は、受信した撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌをステレオマッチング部３７に送信する。ステレオマッチング部３７は、距離推定部３０１から撮像画像ＩＭＧＲａｗｒ及びＩＭＧＲａｗｌを受信する。ステレオマッチング部３７は、例えばＳＧＭ等のアルゴリズムを用いて、撮像画像の信号値に基づいて、撮像画像ＩＭＧＲａｗｒの各画素について、撮像画像ＩＭＧＲａｗｌの対応する画素を算出する。
【0143】
距離推定部３０１は、第４実施形態と同様に、ステレオマッチング部３７から、算出された対応画素グループＰＸＧを受信し、受信した対応画素グループＰＸＧと、カメラ２とカメラ４との間隔とに基づいて、入力フレームＦｒの距離グループＤＰＧを算出する。距離推定部３０１は、第４実施形態と同様に、ステレオマッチング部３７及び距離チェック部３１０に、算出した距離グループＤＰＧを送信する。
【0144】
また、ステレオマッチング部３７は、撮像画像ＩＭＧＲａｗｒの各画素について、距離の信頼度を算出する。例えば、ＳＧＭを用いた場合、ステレオマッチング部３７は、第４実施形態と同様に、撮像画像ＩＭＧＲａｗｒの各画素について、画素毎のコスト関数に基づいて、距離の信頼度を算出する。
【0145】
距離推定部３０１は、第４実施形態と同様に、ステレオマッチング部３７から、算出された入力フレームＦｒの信頼度グループＲＬＧを受信し、特徴点選択部３０３に、信頼度グループＲＬＧを送信する。
【0146】
５．４．２ 効果
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。
【0147】
５．５ 第５変形例
第５変形例として、第１実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本変形例に係る運動推定装置１では、特徴点検出が第１実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
第５変形例として、第１実施形態の変形例に係る運動推定装置１について説明する。運動推定装置１の全体構成は、第１実施形態で示した図１と同じである。本変形例に係る運動推定装置１では、特徴点検出が第１実施形態と異なる。なお、アクセラレータ３０のハードウェア構成は、第１実施形態で示した図３と同じである。運動推定動作を示すフローチャートは、第１実施形態で示した図１１及び図１２と同じである。以下では、第１実施形態と異なる点を中心に説明する。
【0148】
５．５．１ アクセラレータ３０の機能構成
アクセラレータ３０の機能構成について、図２０を用いて説明する。図２０は、本変形例に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図２０に示すアクセラレータ３０の機能構成は、特徴点検出部３０２が入力フレームＦの撮像画像ＩＭＧＲａｗを用いて特徴点検出を行う点において、第１実施形態で示した図４と異なる。アクセラレータ３０の他の機能構成は、第１実施形態で示した図４と同じである。以下では、カメラ２としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２としてＮＩＲカメラやカラーカメラが用いられてもよい。
アクセラレータ３０の機能構成について、図２０を用いて説明する。図２０は、本変形例に係る運動推定装置１に含まれるアクセラレータ３０の機能構成の一例を示すブロック図である。図２０に示すアクセラレータ３０の機能構成は、特徴点検出部３０２が入力フレームＦの撮像画像ＩＭＧＲａｗを用いて特徴点検出を行う点において、第１実施形態で示した図４と異なる。アクセラレータ３０の他の機能構成は、第１実施形態で示した図４と同じである。以下では、カメラ２としてモノクロカメラが用られる場合を例に挙げて説明するが、カメラ２としてＮＩＲカメラやカラーカメラが用いられてもよい。
【0149】
（特徴点検出部３０２）
特徴点検出部３０２は、受信回路１０から入力フレームＦの撮像画像ＩＭＧＲａｗを受信する。特徴点検出部３０２は、受信した撮像画像ＩＭＧＲａｗに基づいて、特徴点を検出する。特徴点検出部３０２は、例えばＳＩＦＴやＳＵＲＦ等のアルゴリズムを用いて、撮像画像ＩＭＧＲａｗの各画素における撮像画像の信号値に基づいて、特徴点を検出する。
特徴点検出部３０２は、受信回路１０から入力フレームＦの撮像画像ＩＭＧＲａｗを受信する。特徴点検出部３０２は、受信した撮像画像ＩＭＧＲａｗに基づいて、特徴点を検出する。特徴点検出部３０２は、例えばＳＩＦＴやＳＵＲＦ等のアルゴリズムを用いて、撮像画像ＩＭＧＲａｗの各画素における撮像画像の信号値に基づいて、特徴点を検出する。
【0150】
特徴点検出部３０２は、第１実施形態と同様に、特徴点選択部３０３に、検出した入力フレームＦの特徴点グループＦＰＧを送信する。
【0151】
５．５．２ 効果
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。もちろん、本変形例は、第２乃至第４実施形態、及び第１乃至第４変形例に適用することもできる。
本変形例に係る構成によれば、第１実施形態と同様の効果を奏する。もちろん、本変形例は、第２乃至第４実施形態、及び第１乃至第４変形例に適用することもできる。
【0152】
５．６ 他の変形例
機械学習データ３５０は、上述したデータセットに限定されない。
機械学習データ３５０は、上述したデータセットに限定されない。
【0153】
また、ＤＮＮ演算器３５の機能は、距離推定部３０１に含まれていてもよい。
【0154】
上記実施形態で説明したフローチャートは、その処理の順番を可能な限り入れ替えることができる。距離推定（Ｓ１１）と信頼度作成（Ｓ１２）とは逆の順序でもよい。また、距離推定（Ｓ１１）、信頼度作成（Ｓ１２）、及び特徴点検出（Ｓ１３）は、並列に実行可能である。距離チェック（Ｓ２１）は省略されてもよい。
【0155】
また、カメラ２及び４を用いる場合、入力フレームＦｒの特徴点グループの検出に加えて、入力フレームＦｌの特徴点グループの検出を行ってもよい。この場合、これらの検出の結果に基づいて、入力フレームＦｒの特徴点グループＦＰＧを検出することができる。
【0156】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0157】
１…運動推定装置、２、４…カメラ、３…制御装置、１０、６０…受信回路、１１…ＩＳＰ、２０、３２…ＣＰＵ、３０…アクセラレータ、３１…制御部、３３、４０…ＲＯＭ、３４、５０…ＲＡＭ、３５…ＤＮＮ演算器、３６…通信部、３７…ステレオマッチング部、３０１…距離推定部、３０２…特徴点検出部、３０３…特徴点選択部、３０４…特徴点マッチング部、３０５…移動点検出部、３０６…キーフレーム判定部、３０７…ポーズ推定部、３０８…キーフレーム登録部、３０９…ローカルマッピング部、３１０…距離チェック部、３１１…グローバルマップ作成判定部、３１２…グローバルマップ作成部、３３０…運動推定処理プログラム、３４０…マップ情報、３５０…機械学習データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
