(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023146044
(43)【公開日】2023-10-12
(54)【発明の名称】位置推定装置、位置推定方法、及びプログラム
(51)【国際特許分類】
G06T 7/529 20170101AFI20231004BHJP
G01B 11/00 20060101ALI20231004BHJP
G06T 7/11 20170101ALI20231004BHJP
G06T 7/00 20170101ALI20231004BHJP
G06V 10/74 20220101ALI20231004BHJP
【ＦＩ】
G06T7/529
G01B11/00 B
G01B11/00 H
G06T7/11
G06T7/00 650A
G06V10/74
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022053028
(22)【出願日】2022-03-29
(71)【出願人】
【識別番号】000000929
【氏名又は名称】ＫＹＢ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】長谷部 敦俊
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065BB05
2F065FF01
2F065FF04
2F065FF05
2F065FF09
2F065JJ03
2F065JJ05
2F065JJ26
2F065QQ24
2F065QQ28
2F065QQ31
2F065UU05
5L096BA02
5L096BA04
5L096DA02
5L096FA02
5L096FA66
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】画像に写った対象物までの位置関係を、容易に検出する。
【解決手段】位置推定装置１０は、撮像された画像データから、対象物を含む対象領域を検出する領域検出部２１と、撮像された画像に写る範囲の深度情報を検出する距離検出部２２と、深度情報に基づき、対象領域までの距離の情報を取得する領域距離取得部２３と、を含み、領域検出部２１は、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、第１対象領域と第２対象領域とが画像の同一垂線上にあり、かつ、深度情報において第１対象領域の深度と第２対象領域の深度との差が所定の範囲内に含まれるかを判定する判定部２４を更に含む。
【選択図】図３
【解決手段】位置推定装置１０は、撮像された画像データから、対象物を含む対象領域を検出する領域検出部２１と、撮像された画像に写る範囲の深度情報を検出する距離検出部２２と、深度情報に基づき、対象領域までの距離の情報を取得する領域距離取得部２３と、を含み、領域検出部２１は、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、第１対象領域と第２対象領域とが画像の同一垂線上にあり、かつ、深度情報において第１対象領域の深度と第２対象領域の深度との差が所定の範囲内に含まれるかを判定する判定部２４を更に含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
撮像された画像データから、対象物を含む対象領域を検出する領域検出部と、
前記撮像された画像に写る範囲の深度情報を検出する距離検出部と、
前記深度情報に基づき、前記対象領域までの距離の情報を取得する領域距離取得部と、
を含み、
前記領域検出部は、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、
前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定する判定部を更に含む、
位置推定装置。
前記撮像された画像に写る範囲の深度情報を検出する距離検出部と、
前記深度情報に基づき、前記対象領域までの距離の情報を取得する領域距離取得部と、
を含み、
前記領域検出部は、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、
前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定する判定部を更に含む、
位置推定装置。
【請求項2】
前記領域検出部は、画像データと対象物を含む領域との対応関係を機械学習した第１ＡＩモデルに、前記画像データを入力することで、前記対象領域を検出する、
請求項１に記載の位置推定装置。
請求項１に記載の位置推定装置。
【請求項3】
前記距離検出部は、画像データと画像の位置毎の深度との対応関係を機械学習した第２ＡＩモデルに、前記画像データを入力することで、前記深度情報を検出する、
請求項１または請求項２に記載の位置推定装置。
請求項１または請求項２に記載の位置推定装置。
【請求項4】
撮像された画像データから、対象物を含む対象領域を検出するステップと、
前記撮像された画像に写る範囲の深度情報を検出するステップと、
前記深度情報に基づき、前記対象領域までの距離の情報を取得するステップと、
を含み、
前記対象領域を検出するステップでは、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、
前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定するステップを更に含む、
位置推定方法。
前記撮像された画像に写る範囲の深度情報を検出するステップと、
前記深度情報に基づき、前記対象領域までの距離の情報を取得するステップと、
を含み、
前記対象領域を検出するステップでは、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、
前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定するステップを更に含む、
位置推定方法。
【請求項5】
撮像された画像データから、対象物を含む対象領域を検出するステップと、
前記撮像された画像に写る範囲の深度情報を検出するステップと、
前記深度情報に基づき、前記対象領域までの距離の情報を取得するステップと、
をコンピュータに実行させ、
前記対象領域を検出するステップでは、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、
前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定するステップを更に含む、
プログラム。
前記撮像された画像に写る範囲の深度情報を検出するステップと、
前記深度情報に基づき、前記対象領域までの距離の情報を取得するステップと、
をコンピュータに実行させ、
前記対象領域を検出するステップでは、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、
前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定するステップを更に含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、位置推定装置、位置推定方法、及びプログラムに関する。
【背景技術】
【0002】
道路脇には、雑草や樹木を含む様々な植生が存在する。これらの植生が成長し、葉や茎の数が増えたり、背丈が高くなったり、幹や茎が太くなると、道路上を通行する車両の進行の妨げとなる恐れがある。そのため、道路管理の業務においては、目視で植生の道路面へのはみ出しの有無、及びその位置関係を把握したうえで、道路面にはみ出した植生の伐採範囲を決定していた。また例えば特許文献１には、近赤外カメラでの植生の撮像を、期間をおいて複数回行い、それらの複数の撮像画像から植生の変化率を算出して、伐採する植生を選択する旨が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１０８５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、伐採する植生の位置関係を、容易に検出することが求められている。
【課題を解決するための手段】
【0005】
上述した課題を解決し、目的を達成するために、本開示に係る位置推定装置は、撮像された画像データから、対象物を含む対象領域を検出する領域検出部と、前記撮像された画像に写る範囲の深度情報を検出する距離検出部と、前記深度情報に基づき、前記対象領域までの距離の情報を取得する領域距離取得部と、を含み、前記領域検出部は、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定する判定部を更に含む。
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る位置推定方法は、撮像された画像データから、対象物を含む対象領域を検出するステップと、前記撮像された画像に写る範囲の深度情報を検出するステップと、前記深度情報に基づき、前記対象領域までの距離の情報を取得するステップと、を含み、前記対象領域を検出するステップでは、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定するステップを更に含む。
【0007】
上述した課題を解決し、目的を達成するために、本開示に係るプログラムは、撮像された画像データから、対象物を含む対象領域を検出するステップと、前記撮像された画像に写る範囲の深度情報を検出するステップと、前記深度情報に基づき、前記対象領域までの距離の情報を取得するステップと、をコンピュータに実行させ、前記対象領域を検出するステップでは、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出し、前記第１対象領域と前記第２対象領域とが画像の同一垂線上にあり、かつ、前記深度情報において前記第１対象領域の深度と前記第２対象領域の深度との差が所定の範囲内に含まれるかを判定するステップを更に含む。
【発明の効果】
【0008】
本開示によれば、撮像した画像に写った対象物までの位置関係を、容易に検出できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本開示の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本開示が限定されるものではない。
【0011】
（位置推定システム）
図１は、本実施形態に係る位置推定システムの模式的なブロック図である。図１に示すように、本実施形態に係る位置推定システム１は、車両４と、測定データ取得装置６と、位置推定装置１０とを含む。位置推定システム１は、位置推定装置１０によって、撮像された画像に写っている対象物を含む領域までの距離を算出する。以下、対象物を含む領域を、適宜、対象領域と記載する。
図１は、本実施形態に係る位置推定システムの模式的なブロック図である。図１に示すように、本実施形態に係る位置推定システム１は、車両４と、測定データ取得装置６と、位置推定装置１０とを含む。位置推定システム１は、位置推定装置１０によって、撮像された画像に写っている対象物を含む領域までの距離を算出する。以下、対象物を含む領域を、適宜、対象領域と記載する。
【0012】
位置推定システム１においては、車両４が、道路を走行しながら周囲を撮像し、撮像した画像データを測定データ取得装置６に送信する。測定データ取得装置６は、例えば道路を管理する主体に管理される装置（コンピュータ）である。測定データ取得装置６は、車両４から送信された画像データを、位置推定装置１０に送信する。このように、位置推定装置１０は、測定データ取得装置６を介して画像データを取得して、その画像データに写る対象物までの距離を算出する。ただしそれに限られず、例えば、位置推定システム１は、測定データ取得装置６が設けられておらず、位置推定装置１０が、車両４から画像データを取得してもよい。また、位置推定装置１０は、車両４によって撮像された画像データを取得することに限られず、撮像された任意の画像データを取得して、その画像データに写る対象物までの距離を算出してよい。
【0013】
（車両）
図２は、車両の模式図である。図２に示すように、車両４は、カメラ４Ａと、測定装置４Ｂとを備える。カメラ４Ａは、車両４の周囲を撮像するカメラである。より詳しくは、本実施形態においては、カメラ４Ａは、車両４が移動している道路を含む領域を撮像する。カメラ４Ａは、光学素子と撮像素子とを含むカメラによって実現されてよい。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどにより実現されてよい。
図２は、車両の模式図である。図２に示すように、車両４は、カメラ４Ａと、測定装置４Ｂとを備える。カメラ４Ａは、車両４の周囲を撮像するカメラである。より詳しくは、本実施形態においては、カメラ４Ａは、車両４が移動している道路を含む領域を撮像する。カメラ４Ａは、光学素子と撮像素子とを含むカメラによって実現されてよい。光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどにより実現されてよい。
【0014】
また、車両４は、車両４の位置情報を取得する位置センサを有していてもよい。車両４の位置情報とは、車両４及び道路の位置を規定可能な座標系である所定座標系における、車両４の位置を示す情報である。ここでの所定座標系は、車両４や道路上の位置を規定可能な任意の座標系であってよく、例えば本実施形態では地球座標系であってよい。この場合、位置センサは、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｖａｔｉｏｎ Ｓａｔｅｌｉｔｅ Ｓｙｓｔｅｍ）用のモジュールであってよい。
【0015】
測定装置４Ｂは、カメラ４Ａを制御して画像を撮像させて、カメラ４Ａが撮像した画像データを記録する装置である。すなわち、測定装置４Ｂは、画像データを記録するデータロガーとして機能する。測定装置４Ｂは、コンピュータであるとも言え、制御部４Ｂ１と、記憶部４Ｂ２と、通信部４Ｂ３とを含む。制御部４Ｂ１は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。記憶部４Ｂ２は、制御部４Ｂ１の演算内容やプログラム、画像データなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶装置のうち、少なくとも１つ含む。なお、記憶部４Ｂ２が保存する制御部４Ｂ１用のプログラムは、測定装置４Ｂが読み取り可能な記録媒体に記憶されていてもよい。通信部４Ｂ３は、外部の装置と通信を行う通信モジュールであり、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等によって実現される。
【0016】
制御部４Ｂ１は、記憶部４Ｂ２に記憶されたプログラムを読み出して、カメラ４Ａの制御を実行する。制御部４Ｂ１は、車両４が道路を走行中に、カメラ４Ａに道路を含む領域を撮像させて、撮像された画像データを取得する。
【0017】
（位置推定装置）
図３は、位置推定装置の模式的なブロック図である。図３に示すように、位置推定装置１０は、例えばコンピュータであり、記憶部１２と、制御部１３と、通信部１４と、表示部１５とを含む。記憶部１２は、制御部１３の演算内容やプログラムを記憶するメモリであり、例えば、ＲＡＭと、ＲＯＭのような主記憶装置と、フラッシュメモリやＨＤＤなどの不揮発性の記憶装置のうち、少なくとも１つを含む。なお、記憶部１２が保存する制御部１３用のプログラムは、位置推定装置１０が読み取り可能な記録媒体に記憶されていてもよい。通信部１４は、外部の装置と通信を行う通信モジュールであり、例えば、ＮＩＣ、無線ＬＡＮカード等によって実現される。表示部１５は、画像を表示するディスプレイである。表示部１５は、後述の出力部２５によって制御されて、出力部２５は、画像データを表示部１５に出力することで、表示部１５に画像データに対応する画像を表示させる。
図３は、位置推定装置の模式的なブロック図である。図３に示すように、位置推定装置１０は、例えばコンピュータであり、記憶部１２と、制御部１３と、通信部１４と、表示部１５とを含む。記憶部１２は、制御部１３の演算内容やプログラムを記憶するメモリであり、例えば、ＲＡＭと、ＲＯＭのような主記憶装置と、フラッシュメモリやＨＤＤなどの不揮発性の記憶装置のうち、少なくとも１つを含む。なお、記憶部１２が保存する制御部１３用のプログラムは、位置推定装置１０が読み取り可能な記録媒体に記憶されていてもよい。通信部１４は、外部の装置と通信を行う通信モジュールであり、例えば、ＮＩＣ、無線ＬＡＮカード等によって実現される。表示部１５は、画像を表示するディスプレイである。表示部１５は、後述の出力部２５によって制御されて、出力部２５は、画像データを表示部１５に出力することで、表示部１５に画像データに対応する画像を表示させる。
【0018】
制御部１３は、演算装置であり、例えばＣＰＵなどの演算回路を含む。制御部１３は、領域検出部２１と、距離検出部２２と、領域距離取得部２３と、判定部２４と、出力部２５とを含む。制御部１３は、記憶部１２からプログラム（ソフトウェア）を読み出して実行することで、領域検出部２１と距離検出部２２と領域距離取得部２３と判定部２４と出力部２５とを実現して、それらの処理を実行する。なお、制御部１３は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、領域検出部２１と距離検出部２２と領域距離取得部２３と判定部２４と出力部２５との少なくとも一部を、ハードウェアで実現してもよい。
【0019】
本実施形態では、位置推定装置１０は、画像データと対象物を含む領域との対応関係を機械学習した第１ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルと、画像データと画像の位置毎の深度との対応関係を機械学習した第２ＡＩモデルとを用いて、画像データに写る対象物までの距離を検出する。以降においては、第１ＡＩモデル及び第２ＡＩモデルの学習方法を説明し、その後に、学習済みのこれらのＡＩモデルを用いた距離の検出方法を説明する。以降においては、位置推定装置１０が、これらのＡＩモデルを機械学習させることを例にするが、それに限られず、位置推定装置１０は、他の装置によって機械学習されたこれらのＡＩモデルを取得してもよい。
【0020】
（第１ＡＩモデルの学習処理）
位置推定装置１０は、画像データと、対象領域を示す情報とを教師データとして、第１ＡＩモデルに機械学習させる。対象領域を示す情報とは、画像における対象領域の位置（座標）を示す情報である。位置推定装置１０は、画像データを入力値とし、対象領域を示す情報を出力値としたデータセットを、教師データとして、第１ＡＩモデルに入力する。位置推定装置１０は、画像データと対象領域を示す情報とからなるデータセットを複数準備して、複数のデータセットのそれぞれを第１ＡＩモデルに入力することが好ましい。これにより、第１ＡＩモデルは、画像データと対象領域との対応関係を機械学習して、画像データが入力されたら、対象領域を示す情報が出力されるモデル（プログラム）となる。なお、本実施形態では、対象領域を複数種類設定する。従って、第１ＡＩモデルは、画像データが入力されたら、複数種類の対象領域のうちで、その画像に含まれている対象領域の種類（対象領域の種類を示すラベル）と、画像におけるその対象領域の位置を示す情報とを、対象領域を示す情報として出力する。第１ＡＩモデルの機械学習に用いる画像データは、任意のものを用いてよいが、例えば、カメラ４Ａに予め撮像させておいた道路を含む領域の画像データを用いてよい。また、対象領域を指定する情報は、例えばユーザにより指定されるなど、適宜設定されてよい。
位置推定装置１０は、画像データと、対象領域を示す情報とを教師データとして、第１ＡＩモデルに機械学習させる。対象領域を示す情報とは、画像における対象領域の位置（座標）を示す情報である。位置推定装置１０は、画像データを入力値とし、対象領域を示す情報を出力値としたデータセットを、教師データとして、第１ＡＩモデルに入力する。位置推定装置１０は、画像データと対象領域を示す情報とからなるデータセットを複数準備して、複数のデータセットのそれぞれを第１ＡＩモデルに入力することが好ましい。これにより、第１ＡＩモデルは、画像データと対象領域との対応関係を機械学習して、画像データが入力されたら、対象領域を示す情報が出力されるモデル（プログラム）となる。なお、本実施形態では、対象領域を複数種類設定する。従って、第１ＡＩモデルは、画像データが入力されたら、複数種類の対象領域のうちで、その画像に含まれている対象領域の種類（対象領域の種類を示すラベル）と、画像におけるその対象領域の位置を示す情報とを、対象領域を示す情報として出力する。第１ＡＩモデルの機械学習に用いる画像データは、任意のものを用いてよいが、例えば、カメラ４Ａに予め撮像させておいた道路を含む領域の画像データを用いてよい。また、対象領域を指定する情報は、例えばユーザにより指定されるなど、適宜設定されてよい。
【0021】
このように、第１ＡＩモデルは、いわゆる教師ありのＡＩモデルであるが、それに限られず教師なしのＡＩモデルであってもよい。
【0022】
第１ＡＩモデルは、入力されたデータに基づき、そのデータのラベルを判定できる任意のＡＩモデルであってよく、例えば、ＣＮＮ（Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）モデルであってよい。また、第１ＡＩモデルは、画像データの画素（ピクセル）を、どの物体クラスに属するかにより分類する手法であるセマンティック・セグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）により実現されてもよいし、画像データの画素を、どの物体クラスに属するか、及びどの事例に属するかにより分類する手法であるインスタント・セグメンテーション（Ｉｎｓｔａｎｔ Ｓｅｇｍｅｎｔａｔｉｏｎ）により実現されてもよいし、セマンティック・セグメンテーションとインスタント・セグメンテーションを組み合わせた手法であり、画像データの全ての画素（ピクセル）にラベルが付与され、かつ数えられる物体に対しては、そのそれぞれを個別で認識するパノプティック・セグメンテーション（Ｐａｎｏｐｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）により実現されてよい。
【0023】
（第２ＡＩモデルの学習処理）
位置推定装置１０は、画像データと深度情報とを教師データとして、第２ＡＩモデルに機械学習させる。深度情報とは、検出元から対象までの距離である。位置推定装置１０は、画像データを入力値とし、画像データにおける画素（画像上の位置）毎の深度情報を出力値としたデータセットを、第２ＡＩモデルに入力する。位置推定装置１０は、画像データと画素毎の深度情報とからなるデータセットを複数準備して、複数のデータセットのそれぞれを第２ＡＩモデルに入力することが好ましい。これにより、第２ＡＩモデルは、画像データと画素毎の深度情報との対応関係を機械学習して、画像データが入力されたら、画素毎の深度情報が出力されるモデル（プログラム）となる。
位置推定装置１０は、画像データと深度情報とを教師データとして、第２ＡＩモデルに機械学習させる。深度情報とは、検出元から対象までの距離である。位置推定装置１０は、画像データを入力値とし、画像データにおける画素（画像上の位置）毎の深度情報を出力値としたデータセットを、第２ＡＩモデルに入力する。位置推定装置１０は、画像データと画素毎の深度情報とからなるデータセットを複数準備して、複数のデータセットのそれぞれを第２ＡＩモデルに入力することが好ましい。これにより、第２ＡＩモデルは、画像データと画素毎の深度情報との対応関係を機械学習して、画像データが入力されたら、画素毎の深度情報が出力されるモデル（プログラム）となる。
【0024】
なお、第２ＡＩモデルの機械学習に用いる画像データは、任意のものを用いてよいが、例えば、車両４に予め撮像させておいた道路を含む領域の画像データを用いてよい。また、深度情報は、予め検出されたものを用いる。この場合例えば、車両４に、深度検出センサを設けておき、カメラ４Ａに画像を撮像させつつ、深度検出センサに、カメラ４Ａに撮像された画像に写る範囲の深度情報を検出させる。深度検出センサが検出した深度情報は、検出元である車両４（深度検出センサ）から、対象までの距離ともいえる。深度検出センサは、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）を用いて実現されてよい。ＬｉＤＡＲは、レーザ光を対象に照射し、レーザ光が対象に当たって反射する反射光が検出されるまでの時間を計測することで、対象までの距離や対象が位置する方向を計測する。また、深度検出センサは、ステレオカメラであってもよい。ステレオカメラは、２つのカメラによって対象の画像を撮像し、三角測量法を用いて対象までの距離を計測する。また、第２ＡＩモデルも、任意のＡＩモデルであってよい。
【0025】
以降において、位置推定装置１０による、対象物までの距離の検出方法について説明する。
【0026】
（対象領域の検出）
図４は、撮像された画像の一例を示す図であり、図５は、領域検出部が対象領域の検出を行った結果の一例を示す図である。領域検出部２１は、撮像された画像データから、対象領域を検出する。具体的には、領域検出部２１は、測定データ取得装置６から、車両４のカメラ４Ａによって撮像された画像データを取得して、取得した画像データから、対象領域を検出する。本実施形態においては、領域検出部２１は、カメラ４Ａによって撮像された画像データを、機械学習済みの第１ＡＩモデルに入力することで、カメラ４Ａによって撮像された画像に含まれる対象領域を検出する。第１ＡＩモデルにおいては、画像データが入力データとして入力されて演算が実行されて、その画像データに含まれる対象領域の情報が、出力データとして出力される。より詳しくは、第１ＡＩモデルからは、入力された画像データに含まれている対象領域の種類と、画像におけるその対象領域の位置とが、対象領域の情報として出力される。領域検出部２１は、第１ＡＩモデルから出力された対象領域の情報を取得することで、対象領域を検出する。
図４は、撮像された画像の一例を示す図であり、図５は、領域検出部が対象領域の検出を行った結果の一例を示す図である。領域検出部２１は、撮像された画像データから、対象領域を検出する。具体的には、領域検出部２１は、測定データ取得装置６から、車両４のカメラ４Ａによって撮像された画像データを取得して、取得した画像データから、対象領域を検出する。本実施形態においては、領域検出部２１は、カメラ４Ａによって撮像された画像データを、機械学習済みの第１ＡＩモデルに入力することで、カメラ４Ａによって撮像された画像に含まれる対象領域を検出する。第１ＡＩモデルにおいては、画像データが入力データとして入力されて演算が実行されて、その画像データに含まれる対象領域の情報が、出力データとして出力される。より詳しくは、第１ＡＩモデルからは、入力された画像データに含まれている対象領域の種類と、画像におけるその対象領域の位置とが、対象領域の情報として出力される。領域検出部２１は、第１ＡＩモデルから出力された対象領域の情報を取得することで、対象領域を検出する。
【0027】
言い換えれば、領域検出部２１は、画像データから、その画像データに含まれる対象領域の境界に沿って対象物を検出することで、画像から対象物（対象領域）を検出する。また、領域検出部２１は、対象物を種類毎に検出することで、検出された対象物の種類を分類する。また、領域検出部２１は、カメラ４Ａで撮像された画像データから、検出された対象領域の画像データを抽出することで、検出された対象領域のみが写る抽出画像を生成してもよい。例えばこの場合、対象領域以外の領域の階調値をゼロとしつつ対象領域の階調値をゼロより大きくする２値化処理を行ったり、対象領域以外の領域の階調値をゼロとしつつ対象領域の種類毎に階調値を異ならせる処理を行ったりすることで、抽出画像を生成してよい。
【0028】
図４に示すように、道路Ａ１及び植生Ａ２を含む画像ＰＡの画像データが取得された場合を例にする。この場合、例えば第１ＡＩモデルは、対象物の種類が道路である第１対象領域の特徴量と、対象物の種類が植生である第２対象領域の特徴量とを機械学習済みであってよい。そしてこの場合には、領域検出部２１は、画像ＰＡの画像データから、道路を含む第１対象領域の情報と植生を含む第２対象領域の情報とを検出して、図４に示すように、道路Ａ１に対応する第１対象領域ＣＬ１ａと、植生Ａ２に対応する第２対象領域ＣＬ２ａとのみが含まれる抽出画像ＰＢ（抽出画像データ）を生成する。なお、図４では、対象領域の種類として、植生と道路とが検出されているが、対象領域の種類はそれに限られず任意であってよい。また、検出（分類）される対象領域の種類の数も２つに限られず任意であってよく、１つであってもよいし３つ以上であってもよい。
【0029】
領域検出部２１は、第１ＡＩモデルを用いて対象領域を検出することに限られず、任意の方法で画像データから対象領域を検出してよい。
【0030】
（深度情報の検出）
図６は、距離検出部が深度情報の検出を行った結果の一例を示す図である。距離検出部２２は、カメラ４Ａによって撮像された画像（領域検出部２１が対象物検出を行った画像）に写る範囲の深度情報を検出する。具体的には、距離検出部２２は、カメラ４Ａによって撮像された画像の位置（画素）毎に、深度情報を検出する。本実施形態においては、距離検出部２２は、カメラ４Ａによって撮像された画像データ（領域検出部２１が対象物検出を行った画像データ）を用いて、深度情報を検出する。さらに言えば、距離検出部２２は、カメラ４Ａによって撮像された画像データを、機械学習済みの第２ＡＩモデルに入力することで、画像データの位置毎の深度情報を検出する。第２ＡＩモデルにおいては、画像データが入力データとして入力されて演算が実行されて、その画像データの位置毎の深度情報が、出力データとして出力される。領域検出部２１は、第２ＡＩモデルから出力された深度情報を取得することで、深度情報を検出する。
図６は、距離検出部が深度情報の検出を行った結果の一例を示す図である。距離検出部２２は、カメラ４Ａによって撮像された画像（領域検出部２１が対象物検出を行った画像）に写る範囲の深度情報を検出する。具体的には、距離検出部２２は、カメラ４Ａによって撮像された画像の位置（画素）毎に、深度情報を検出する。本実施形態においては、距離検出部２２は、カメラ４Ａによって撮像された画像データ（領域検出部２１が対象物検出を行った画像データ）を用いて、深度情報を検出する。さらに言えば、距離検出部２２は、カメラ４Ａによって撮像された画像データを、機械学習済みの第２ＡＩモデルに入力することで、画像データの位置毎の深度情報を検出する。第２ＡＩモデルにおいては、画像データが入力データとして入力されて演算が実行されて、その画像データの位置毎の深度情報が、出力データとして出力される。領域検出部２１は、第２ＡＩモデルから出力された深度情報を取得することで、深度情報を検出する。
【0031】
距離検出部２２は、検出した位置毎の深度情報をマトリクス状にマッピングした距離画像を生成してもよい。この場合例えば、距離検出部２２は、深度の大きさ毎に階調値を異ならせることで、距離画像を生成する。図６の例では、出力された深度情報が、画像データの位置ごとに、深度が遠い方から近い方に順にハッチングが薄くなるように（階調値が高くなるように）設定された距離画像ＰＣが示されている。つまり、図６の中心部分の濃いハッチングの箇所は、車両４からの距離が遠いことを示しており、図６の下端の薄いハッチングの箇所は、車両４からの距離が近いことを示している。このように、距離検出部２２は、画像データの位置ごとに深度情報を推定する。
【0032】
なお、距離検出部２２は、第２ＡＩモデルにより、画像データに基づいて深度情報を検出することに限られず、任意の方法で深度情報を検出してよい。例えば、車両４に深度検出センサを設けておき、カメラ４Ａに画像を撮像させつつ、深度検出センサに、カメラ４Ａに撮像された画像に写る範囲の深度情報を検出させてよい。距離検出部２２は、深度検出センサが検出した深度情報を取得してもよい。
【0033】
（対象物の距離の算出）
図７は、領域距離取得部が対象物までの距離の情報を取得した結果の一例を示す図である。領域距離取得部２３は、深度情報に基づき、対象領域（対象物）までの距離の情報を取得する。対象領域までの距離の情報とは、撮像元（車両４）から対象物までの距離を示す。具体的には、領域距離取得部２３は、距離検出部２２により検出された画像データの位置毎の深度情報のうちから、対象領域の位置における深度情報を抽出することで、対象領域（対象物）までの距離の情報を取得する。すなわち、領域距離取得部２３は、画像データの位置毎の深度情報のうちから、領域検出部２１により検出された対象領域の位置と同じ位置における深度情報を、対象領域の距離の情報として取得する。領域距離取得部２３は、対象領域が複数検出されている場合には、対象領域毎に、対象領域までの距離の情報を取得する。
図７は、領域距離取得部が対象物までの距離の情報を取得した結果の一例を示す図である。領域距離取得部２３は、深度情報に基づき、対象領域（対象物）までの距離の情報を取得する。対象領域までの距離の情報とは、撮像元（車両４）から対象物までの距離を示す。具体的には、領域距離取得部２３は、距離検出部２２により検出された画像データの位置毎の深度情報のうちから、対象領域の位置における深度情報を抽出することで、対象領域（対象物）までの距離の情報を取得する。すなわち、領域距離取得部２３は、画像データの位置毎の深度情報のうちから、領域検出部２１により検出された対象領域の位置と同じ位置における深度情報を、対象領域の距離の情報として取得する。領域距離取得部２３は、対象領域が複数検出されている場合には、対象領域毎に、対象領域までの距離の情報を取得する。
【0034】
領域距離取得部２３は、対象領域以外の領域が表示されず、かつ、対象領域がその対象領域までの距離を示すような表示態様となる、対象画像データを生成してもよい。例えば、領域距離取得部２３は、検出された対象領域の位置における階調値を、距離検出部２２によって設定された距離画像で設定された階調値とし、対象領域以外における階調値を一定（例えばゼロ）とするように、対象画像データを生成してよい。図７の例では、第１対象領域ＣＬ１ａと第２対象領域ＣＬ２ａとが深度毎の階調値を有するような、対象画像Ｐが生成されている。
【0035】
このように、本実施形態に係る位置推定装置１０は、画像データから検出された対象領域と、その画像に写る範囲の深度情報とに基づいて、対象領域までの距離の情報を取得する。そのため、撮像した画像に写った、注目している対象物までの距離を、容易にかつ精度よく検出することが可能となる。さらに言えば、本実施形態では、画像データから深度情報を検出するため、深度を検出するためのセンサを別途用いることなく、画像データのみから、注目している対象物の距離を、容易に算出できる。また、センサを別途用いることがないため、装置の小型化、コストダウンになる。また、単眼カメラによる深度情報から距離を算出できるので、ＬｉＤＡＲやステレオカメラを用いた場合と比較すると、汎用性が向上する。
【0036】
（対象領域同士の位置関係の判定）
また、位置推定装置１０は、判定部２４により、対象領域同士の位置関係の判定を行ってよい。以降においては、第１対象領域と第２対象領域との位置関係の判定を例にして説明する。
また、位置推定装置１０は、判定部２４により、対象領域同士の位置関係の判定を行ってよい。以降においては、第１対象領域と第２対象領域との位置関係の判定を例にして説明する。
【0037】
判定部２４は、第１対象領域上の位置と前記第２対象領域上の位置とが画像の同一垂線上にあり、かつ、第１対象領域上の位置の深度と第２対象領域上の位置の深度との差が、所定の範囲内に含まれるかを判定する。例えば、判定部２４は、第１対象領域の各位置のうちで、第２対象領域上の位置に対して同一垂線上にある位置を抽出する。ここでの同一垂線上にあるとは、位置同士が、画像の座標系において、鉛直方向に沿って並んでいることを指す。ただし、厳密に鉛直方向から見て重なっていることに限られず、位置同士が鉛直方向に並びつつ、位置同士の水平方向のずれ量が所定値内である場合でも、同一垂線上にあると判断してもよい。
【0038】
判定部２４は、抽出した第１対象領域上の位置における深度と、その位置と同一垂線上にある第２対象領域上の位置における深度との差が、所定の範囲内にあるかを判定する。判定部２４は、深度の差が所定の範囲内にある場合には、その位置同士が、実世界上で、鉛直方向に沿って並んでいると判断する。一方、判定部２４は、深度の差が所定の範囲内にない場合には、その位置同士が、実世界上で、鉛直方向に沿って並んでいると判断する。判定部２４は、第１対象領域の位置毎に、同様の処理を行う。図７の例では、第１対象領域ＣＬ１ａ上の位置Ａ、Ｂ、Ｃのそれぞれについて、同一垂線上に第２対象領域上の位置があるか、及び、深度の差が所定の範囲内にあるかを判断している例を示している。
【0039】
なお、以上の説明では、同一垂線上にある第１対象領域上の位置と第２対象領域上の位置とを抽出してから、深度の差が所定の範囲内にあるかを判断したが、処理の順番を逆にしてもよい。すなわち、判定部２４は、深度の差が所定の範囲内にある、第１対象領域上の位置と第２対象領域上の位置とのペアを抽出して、それらの位置同士が、同一垂線上にあるかを判断してよい。この場合、判定部２４は、深度の差が所定の範囲内にある位置同士が同一垂線上にある場合には、その位置同士が、実世界上で、鉛直方向に沿って並んでいると判断する。一方、判定部２４は、深度の差が所定の範囲内にある位置同士が同一垂線上にない場合には、その位置同士が、実世界上で、鉛直方向に沿って並んでいないと判断する。
【0040】
出力部２５は、判定部２４による判定結果を出力する。例えば、出力部２５は、同一垂線上にあるとされた位置をその領域に含む第１対象領域と第２対象領域とを示す位置関係情報を、出力してもよい。位置関係情報は、例えば、同一垂線上にあるとされた位置をその領域に含む第１対象領域と第２対象領域とを示す画像データであってもよいし、同一垂線上にあるとされた位置をその領域に含む第１対象領域と第２対象領域との位置（地球座標）を示すデータであってもよい。このように、第１対象領域と第２対象領域とを示す位置関係情報を出力することで、第１対象領域と第２対象領域との位置関係をユーザに認識させることができる。例えば、第１対象領域と第２対象領域との位置関係により、道路の鉛直方向上方に植生があることが認識できるため、例えば道路の上にあり伐採対象となる植生を適切に検出できる。
【0041】
また、判定部２４は、同一垂線上にあるとされた第１対象領域上の位置から、第２対象領域上の位置までの距離を算出してもよい。この場合例えば、判定部２４は、カメラ４Ａの撮像条件（例えば画角など）から算出された、画像の座標系における画素同士の距離と、実際の距離との対応関係を取得する。そして、判定部２４は、画像の座標系における、第１対象領域上の位置から第２対象領域上の位置までの距離と、この対応関係とに基づいて、第１対象領域上の位置から、第２対象領域上の位置までの距離を算出する。判定部は、この距離の情報も位置関係情報として出力してよい。これにより、例えば道路の上にある樹木と道路までの距離が把握できるため、例えば伐採対象となる樹木をより適切に選定できる。すなわち、道路からの距離が所定値以下となる樹木を伐採対象としている場合には、この距離の情報から、伐採対象をより容易に選定できる。
【0042】
なお、以上の例では、樹木と道路との位置関係の判定を例にしていたが、位置関係の判定対象は、それに限られず任意であってよい。
【0043】
（処理フロー）
次に、以上説明した位置推定装置１０の処理フローを説明する。図８は、位置推定装置の処理フローを説明するフローチャートである。図８に示すように、位置推定装置１０は、カメラ４Ａが撮像した画像データを取得し（ステップＳ１０）、領域検出部２１により、取得した画像データから、対象領域を検出し（ステップＳ１２）、距離検出部２２により、取得した画像データから、深度情報を検出する（ステップＳ１４）。位置推定装置１０は、領域距離取得部２３により、検出された対象領域の情報と深度情報とから、対象領域までの距離の情報を取得し（ステップＳ１６）、対象領域までの距離の情報に基づき、第１対象領域と第２対象領域との位置関係を判定する（ステップＳ１８）。
次に、以上説明した位置推定装置１０の処理フローを説明する。図８は、位置推定装置の処理フローを説明するフローチャートである。図８に示すように、位置推定装置１０は、カメラ４Ａが撮像した画像データを取得し（ステップＳ１０）、領域検出部２１により、取得した画像データから、対象領域を検出し（ステップＳ１２）、距離検出部２２により、取得した画像データから、深度情報を検出する（ステップＳ１４）。位置推定装置１０は、領域距離取得部２３により、検出された対象領域の情報と深度情報とから、対象領域までの距離の情報を取得し（ステップＳ１６）、対象領域までの距離の情報に基づき、第１対象領域と第２対象領域との位置関係を判定する（ステップＳ１８）。
【0044】
以上説明したように、本実施形態に係る位置推定装置１０は、撮像された画像データから、対象物を含む対象領域を検出する領域検出部２１と、撮像された画像に写る範囲の深度情報を検出する距離検出部２２と、深度情報に基づき、前記対象領域までの距離の情報を取得する領域距離取得部２３と、を含む。そのため、本実施形態によると、撮像した画像に写った、注目している対象物までの距離を、容易にかつ精度よく検出することが可能となる。
【0045】
領域検出部２１は、第１対象物を含む第１対象領域と第２対象物を含む第２対象領域とを検出する。また、位置推定装置１０は、第１対象領域と第２対象領域とが画像の同一垂線上にあり、かつ、深度情報において第１対象領域の深度と第２対象領域の深度との差が所定の範囲内に含まれるかを判定する判定部２４を更に含む。本実施形態によると、第１対象領域と第２対象領域との位置関係を、容易にかつ精度よく検出することが可能となる。さらに言えば、第１対象領域と第２対象領域とが鉛直方向に並んでいるかを、容易にかつ精度よく検出することが可能となる。
【0046】
第１対象物は道路であり、第２対象物は植生であってよい。そのため、本実施形態によると、道路の上に樹木などの植生が位置しているかを、容易にかつ精度よく検出することが可能となる。
【0047】
領域検出部２１は、画像データと対象物を含む領域との対応関係を機械学習した第１ＡＩモデルに、画像データを入力することで、対象領域を検出する。距離検出部２２は、画像データと画像の位置毎の深度との対応関係を機械学習した第２ＡＩモデルに、画像データを入力することで、深度情報を検出する。このように、本実施形態によると、ＡＩモデルを用いて、画像データから、対象領域と深度情報を検出する。従って、深度を検出するためのセンサを別途用いることなく、画像データから、注目している対象物の距離を、容易に検出できる。
【0048】
領域距離取得部２３は、対象領域以外の領域が表示されず、かつ、対象領域が、その対象領域までの距離を示すような表示態様となるように、対象画像データを生成する。本実施形態によると、対象画像データを生成することで、対象物までの距離をユーザに適切に認識させることができる。
【0049】
以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0050】
４ 車両
４Ａ カメラ
１０ 位置推定装置
２１ 領域検出部
２２ 距離検出部
２３ 領域距離取得部
２４ 判定部
２５ 出力部
４Ａ カメラ
１０ 位置推定装置
２１ 領域検出部
２２ 距離検出部
２３ 領域距離取得部
２４ 判定部
２５ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】