特開 2024-31835 画像認識装置、画像認識方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031835

(43)【公開日】2024-03-07

(54)【発明の名称】画像認識装置、画像認識方法、およびプログラム

(51)【国際特許分類】

   G01C 21/34 20060101AFI20240229BHJP

   G08G 1/0968 20060101ALI20240229BHJP

【ＦＩ】

G01C21/34

G08G1/0968 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023115503

(22)【出願日】2023-07-13

(31)【優先権主張番号】P 2022132444

(32)【優先日】2022-08-23

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】若山 涼至

【テーマコード（参考）】

2F129

5H181

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB19

2F129BB20

2F129BB21

2F129BB22

2F129BB26

2F129DD13

2F129DD15

2F129DD19

2F129DD21

2F129DD29

2F129DD53

2F129EE21

2F129EE43

2F129EE52

2F129EE62

2F129EE65

2F129EE75

2F129EE78

2F129EE79

2F129EE81

2F129EE95

2F129FF09

2F129FF57

2F129FF62

2F129GG03

2F129GG04

2F129GG05

2F129GG06

2F129GG17

2F129GG18

2F129HH02

2F129HH12

2F129HH18

2F129HH19

2F129HH20

2F129HH33

5H181AA27

5H181BB04

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF17

5H181FF25

5H181FF27

5H181FF33

5H181LL07

5H181LL08

5H181LL09

(57)【要約】

【課題】移動体が走行する道路の種類に応じて学習済みモデルを変更することなく走行可能領域を認識すること。
【解決手段】路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶した記憶部と、移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識する認識部と、を備える、画像認識装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶した記憶部と、
移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識する認識部と、を備える、
画像認識装置。

【請求項2】

前記認識部は、前記移動体の現在地を含む前記エリアを前記走行可能領域として認識する、
請求項１に記載の画像認識装置。

【請求項3】

前記移動体の目的地の設定を受け付ける受付部を更に備え、
前記認識部は、前記移動体の現在地から前記目的地までの経路上に、前記移動体から離間した前記エリアが存在する場合、当該エリア、および当該エリアと前記移動体の間に存在する前記境界を前記走行可能領域として認識する、
請求項１に記載の画像認識装置。

【請求項4】

前記認識部は、前記移動体の現在地を含む前記エリアを前記走行可能領域として認識し、
前記画像認識装置は、前記移動体の目的地の設定を受け付ける受付部を更に備え、
前記認識部は、前記移動体の現在地から前記目的地までの経路上に、前記移動体の現在地を含む第１エリアと異なる第２エリアが存在する場合、前記第１エリア、前記第２エリア、および前記第１エリアと前記第２エリアの間に存在する前記境界を前記走行可能領域として認識し、
前記第１エリアおよび前記第２エリアは、それぞれ前記第１学習済みモデルによって出力されたものである、
請求項１に記載の画像認識装置。

【請求項5】

前記認識部は、前記移動体が前記境界を横断して、前記移動体の現在地を含む前記エリアから異なる前記エリアに移動した場合、異なる前記エリアを前記走行可能領域として認識する、
請求項１に記載の画像認識装置。

【請求項6】

前記第１学習済みモデルは、教師なし学習によって生成された学習済みモデルであり、前記第２学習済みモデルは、教師あり学習によって生成された学習済みモデルである、
請求項１から４のいずれか１項に記載の画像認識装置。

【請求項7】

コンピュータが、
路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶し、
移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識する、
画像認識方法。

【請求項8】

コンピュータに、
路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶させ、
移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、画像認識方法、およびプログラムに関する。

【背景技術】

【0002】

従来、車両の走行可能領域を認識する技術が知られている。例えば、特許文献１には、車両の周辺環境を撮影した複数の画像のうちの少なくとも１つを解析して車両の走行可能領域を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１２７０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術は、訓練されたシステム（機械学習又は深層学習システム）を使用して、画像を解析することによって車両の走行可能領域を認識するものである。従来、このような学習済みモデルを用いた解析では、事前に車道のみを走行することを前提に学習された学習済みモデルや、車道および歩道を走行することを前提に学習された学習済みモデルを適切に選択して使用する必要があった。その結果、移動体がいかなる種類の道路を走行するかに応じて、使用する学習済みモデルを変更する手間がかかる場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、移動体が走行する道路の種類に応じて学習済みモデルを変更することなく走行可能領域を認識することができる、画像認識装置、画像認識方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る画像認識装置、画像認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る画像認識装置は、路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶した記憶部と、移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識する認識部と、を備えるものである。

【0007】

（２）：上記（１）の態様において、前記認識部は、前記移動体の現在地を含む前記エリアを前記走行可能領域として認識するものである。

【0008】

（３）：上記（１）の態様において、前記移動体の目的地の設定を受け付ける受付部を更に備え、前記認識部は、前記移動体の現在地から前記目的地までの経路上に、前記移動体から離間した前記エリアが存在する場合、当該エリア、および当該エリアと前記移動体の間に存在する前記境界を前記走行可能領域として認識するものである。

【0009】

（４）：上記（１）の態様において、前記認識部は、前記移動体の現在地を含む前記エリアを前記走行可能領域として認識し、前記画像認識装置は、前記移動体の目的地の設定を受け付ける受付部を更に備え、前記認識部は、前記移動体の現在地から前記目的地までの経路上に、前記移動体の現在地を含む第１エリアと異なる第２エリアが存在する場合、前記第１エリア、前記第２エリア、および前記第１エリアと前記第２エリアの間に存在する前記境界を前記走行可能領域として認識し、前記第１エリアおよび前記第２エリアは、それぞれ前記第１学習済みモデルによって出力されたものである。

【0010】

（５）：上記（１）の態様において、前記認識部は、前記移動体が前記境界を横断して、前記移動体の現在地を含む前記エリアから異なる前記エリアに移動した場合、異なる前記エリアを前記走行可能領域として認識するものである。

【0011】

（６）：上記（１）から（４）のいずれかの態様において、前記第１学習済みモデルは、教師なし学習によって生成された学習済みモデルであり、前記第２学習済みモデルは、教師あり学習によって生成された学習済みモデルであるものである。

【0012】

（７）：この発明の一態様に係る画像認識方法は、コンピュータが、路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶し、移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識するものである。

【0013】

（８）：この発明の一態様に係るプログラムは、コンピュータに、路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶させ、移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識させるものである。

【発明の効果】

【0014】

（１）～（８）の態様によれば、移動体が走行する道路の種類に応じて学習済みモデルを変更することなく走行可能領域を認識することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る移動体１および制御装置１００の構成の一例を示す図である。

【図2】移動体１を上方から見た透視図である。

【図3】第１学習済みモデル７３と第２学習済みモデル７４の機能を説明するための図である。

【図4】受付部１３０によって受け付けられる移動体１の目的地の一例を示す図である。

【図5】制御部１４０が、設定された目的地に基づいて生成した目標軌道の一例を示す図である。

【図6】認識部１２０によって取得される統合エリアの一例を示す図である。

【図7】実施形態に係る画像処理装置によって実行される処理の流れの一例を示す図である。

【図8】実施形態に係る画像処理装置によって実行される処理の流れの別の例を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照し、本発明の画像認識装置、画像認識方法、およびプログラムの実施形態について説明する。画像認識装置は、移動体に搭載される。移動体は、車道と、車道と異なる所定領域との双方を移動するものである。移動体は、マイクロモビリティと称される場合がある。電動キックボードはマイクロモビリティの一種である。所定領域とは、例えば歩道である。また、所定領域とは、路側帯や自転車レーン、公開空地などのうち一部または全部であってもよいし、歩道、路側帯、自転車レーン、公開空地などを全て含んでもよい。以下の説明では、所定領域は歩道であるものとする。以下の説明において「歩道」と記載されている部分は、適宜、「所定領域」と読み替えることができる。

【0017】

図１は、実施形態に係る移動体１および制御装置１００の構成の一例を示す図である。移動体１には、例えば、外界検知デバイス１０と、移動体センサ１２と、操作子１４と、内部カメラ１６と、測位装置１８と、モード切替スイッチ２２と、ダイヤルスイッチ２４と、移動機構３０と、駆動装置４０と、外部報知装置５０と、記憶装置７０と、制御装置１００とが搭載される。なお、これらの構成のうち本発明の機能を実現するのに必須でない一部の構成が省略されてもよい。移動体は、乗物に限らず、歩くユーザと並走して荷物を運んだり、人を先導したりするような小型モビリティを含んでよく、また、その他の自律移動が可能な移動体（例えば歩行型ロボットなど）を含んでもよい。

【0018】

外界検知デバイス１０は、移動体１の進行方向を検知範囲とする各種デバイスである。外界検知デバイス１０は、外部カメラ、レーダー装置、ＬＩＤＡＲ（Light Detection and Ranging）、センサフュージョン装置などを含む。外界検知デバイス１０は、検知結果を示す情報（画像、物体の位置等）を制御装置１００に出力する。

【0019】

移動体センサ１２は、例えば、速度センサ、加速度センサ、ヨーレート（角速度）センサ、方位センサ、並びに操作子１４に取り付けられた操作量検出センサなどを含む。操作子１４は、例えば、加減速を指示するための操作子（例えばアクセルペダルやブレーキペダル）と、操舵を指示するための操作子（例えばステアリングホイール）とを含む。この場合、移動体センサ１２は、アクセル開度センサやブレーキ踏量センサ、ステアリングトルクセンサ等を含んでよい。移動体１は、操作子１４として、上記以外の態様の操作子（例えば、円環状でない回転操作子、ジョイスティック、ボタン等）を備えてもよい。

【0020】

内部カメラ１６は、移動体１の乗員の少なくとも頭部を正面から撮像する。内部カメラ１６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を利用したデジタルカメラである。内部カメラ１６は、撮像した画像を制御装置１００に出力する。

【0021】

測位装置１８は、移動体１の位置を測位する装置である。測位装置１８は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機であり、ＧＮＳＳ衛星から受信した信号に基づいて、移動体１の位置を特定し、位置情報として出力する。なお、移動体１の位置情報は、後述する通信装置が接続しているＷｉ－Ｆｉ基地局の位置から推定されてもよい。

【0022】

ＨＭＩ２０は、表示装置、スピーカ、タッチパネル、キーなどを含む。移動体１の乗員は、例えば、ＨＭＩ２０を介して、移動体１の目的地を設定し、後述する制御部１４０は、設定された目的地まで移動体１を走行させる。

【0023】

モード切替スイッチ２２は、乗員により操作されるスイッチである。モード切替スイッチ２２は、機械式スイッチであってもよいし、ＨＭＩ２０のタッチパネル上に設定されるＧＵＩ（Graphical User Interface）スイッチであってもよい。モード切替スイッチ２２は、例えば、モードＡ：乗員により操舵操作と加減速制御との一方が行われ、他方は自動的に行われるアシストモードであり、乗員により操舵操作が行われ加減速制御が自動的に行われるモードＡ－１と、乗員により加減速操作が行われ操舵制御が自動的に行われるモードＡ－２とがあってよい、モードＢ：乗員により操舵操作および加減速操作がなされる手動運転モード、モードＣ：操作制御および加減速制御が自動的に行われる自動運転モードのいずれかに運転モードを切り替える操作を受け付ける。

【0024】

移動機構３０は、道路において移動体１を移動させるための機構である。移動機構３０は、例えば、操舵輪と駆動輪とを含む車輪群である。また、移動機構３０は、多足歩行するための脚部であってもよい。

【0025】

駆動装置４０は、移動機構３０に力を出力して移動体１を移動させる。例えば、駆動装置４０は、駆動輪を駆動するモータ、モータに供給する電力を蓄えるバッテリ、操舵輪の操舵角を調整する操舵装置などを含む。駆動装置４０は、駆動力出力手段、或いは発電手段として、内燃機関や燃料電池などを備えてもよい。また、駆動装置４０は、摩擦力や空気抵抗によるブレーキ装置を更に備えてもよい。

【0026】

外部報知装置５０は、例えば移動体１の外板部に設けられ、移動体１の外部に向けて情報を報知するためのランプ、ディスプレイ装置、スピーカなどである。外部報知装置５０は、移動体１が歩道を移動している状態と、車道を移動している状態とで異なる動作を行う。例えば、外部報知装置５０は、移動体１が歩道を移動している場合にランプを発光させ、移動体１が車道を移動している場合にランプを発光させないように制御される。このランプの発光色は、法規で定められた色であると好適である。外部報知装置５０は、移動体１が歩道を移動している場合にランプを緑色で発光させ、移動体１が車道を移動している場合にランプを青色で発光させるというように制御されてもよい。外部報知装置５０がディスプレイ装置である場合、外部報知装置５０は、移動体１が歩道を走行している場合に「歩道走行中である」旨をテキストやグラフィックで表示する。

【0027】

図２は、移動体１を上方から見た透視図である。図中、ＦＷは操舵輪、ＲＷは駆動輪、ＳＤは操舵装置、ＭＴはモータ、ＢＴはバッテリである。操舵装置ＳＤ、モータＭＴ、バッテリＢＴは駆動装置４０に含まれる。また、ＡＰはアクセルペダル、ＢＰはブレーキペダル、ＷＨはステアリングホイール、ＳＰはスピーカ、ＭＣはマイクである。図示する移動体１は一人乗りの移動体であり、乗員Ｐは運転席ＤＳに着座してシートベルトＳＢを装着している。矢印Ｄ１は移動体１の進行方向（速度ベクトル）である。外界検知デバイス１０は移動体１の前端部付近に、内部カメラ１６は乗員Ｐの前方から乗員Ｐの頭部を撮像可能な位置に、モード切替スイッチ２２はステアリングホイールＷＨのボス部にそれぞれ設けられている。また、移動体１の前端部付近に、ディスプレイ装置としての外部報知装置５０が設けられている。

【0028】

図１に戻り、記憶装置７０は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）などの非一過性の記憶装置である。記憶装置７０には、ナビゲーション地図情報７２、第１学習済みモデル７３、第２学習済みモデル７４などが格納される。図では記憶装置７０を制御装置１００の枠外に記載しているが、記憶装置７０は制御装置１００に含まれるものであってよい。また、記憶装置７０は不図示のサーバ上に設けられてもよい。

【0029】

ナビゲーション地図情報７２は、事前に記憶装置７０に記憶され、例えば、車道および歩道を含む道路の中央の情報あるいは道路の境界の情報等を含む地図情報である。ナビゲーション地図情報７２は、さらに、道路の境界に接する施設や建物に関する情報（名称、住所、面積など）を含む。

【0030】

第１学習済みモデル７３は、路面を含む画像を入力として、当該画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された学習済みモデルである。ここで、同一属性とは、例えば、「歩道」や「車線（左車線および右車線）」などの区分を意味する。第２学習済みモデル７４は、路面を含む画像を入力として、当該画像上の複数のエリアの境界を出力するように学習された学習済みモデルである。本発明において、第１学習済みモデル７３は、任意の教師なし学習によって生成された学習済みモデルとし、第２学習済みモデル７４は、任意の教師あり学習によって生成された学習済みモデルとする。本発明で用いる学習済みモデルを全て教師あり学習によって生成することなく、第１学習済みモデル７３を教師無し学習によって生成することにより、教師データの準備コストと、学習を実行するＣＰＵの処理負荷とを低減することができる。

【0031】

図３は、第１学習済みモデル７３と第２学習済みモデル７４の機能を説明するための図である。図３は、路面を含む画像の入力に応じて、第１学習済みモデル７３および第２学習済みモデル７４がそれぞれ出力する内容の一例を表す。図３の場合、第１学習済みモデル７３は、路面を含む画像の入力に応じて、当該画像におけるエリアＡ１（左歩道）、エリアＡ２（左車線）、エリアＡ３（右車線）、エリアＡ４（右歩道）を出力している。一方、第２学習済みモデル７４は、路面を含む画像の入力に応じて、当該画像におけるエリア間の境界Ｌ１、Ｌ２、Ｌ３を出力している。図３に示す通り、本実施形態における「境界」とは、一次元の線ではなく、移動体１が横断可能な二次元の領域を意味する。すなわち、第２学習済みモデル７４を生成するために用いる教師データは、例えば、画像に対して、エリア間の境界を二次元の領域としてアノテーション付けすることによって定義されるデータである。

【0032】

一般的に、エリアの境界は画像において占める面積の割合が小さく、エリアと境界とを合わせて出力する学習済みモデルにおいては、境界の出力精度が低下する場合がある。これに対して、本発明では、エリアを出力する学習済みモデルと、境界を出力する学習済みモデルとを別途設けることにより、境界の出力精度を向上することができる。

【0033】

［制御装置］
制御装置１００は、例えば、認識部１２０と、受付部１３０と、制御部１４０とを備える。認識部１２０と、受付部１３０と、制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置７０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置７０にインストールされてもよい。記憶装置７０と、認識部１２０と、受付部１３０は、「画像処理装置」の一例であり、記憶装置７０と、認識部１２０と、受付部１３０と、制御部１４０は、「移動体制御装置」の一例である。

【0034】

認識部１２０は、外界検知デバイス１０の出力に基づいて、移動体１の周辺に存在する物体を認識する。物体とは、車両や自転車、歩行者などの移動体、道路区画線、段差、ガードレール、路肩、中央分離帯などの走路境界、道路標識や看板などの路上に設置された構造物、走路上に存在する（落ちている）落下物などの障害物のうち一部または全部を含む。

【0035】

認識部１２０は、さらに、外界検知デバイス１０の外部カメラが撮像した画像を、第１学習済みモデル７３および第２学習済みモデル７４に入力することによって、当該画像における一以上のエリアおよび境界を取得する。認識部１２０は、移動体１における外部カメラの設置位置に基づいて、取得されたエリアのうち、移動体１の現在地を含むエリアを走行可能領域として認識する。例えば、図３に示す画像が、外部カメラが移動体１の中央に設けられた状態で撮像されたものである場合、認識部１２０は、画像の中央に位置するエリアＡ２が移動体１の現在地を含むものと判定し、エリアＡ２を走行可能領域として認識する。また、例えば、認識部１２０は、取得されたエリアのうち、撮像画像の横軸中央部かつ縦軸最下部に位置する座標を含むエリアを走行可能領域として認識してもよい。

【0036】

受付部１３０は、ＨＭＩ２０を介して、移動体１の目的地の設定を受け付ける。図４は、受付部１３０によって受け付けられる移動体１の目的地の一例を示す図である。図４に示す通り、移動体１の乗員は、例えば、ＨＭＩ２０上に設けられた入力領域Ｒ１に目的地の名称を入力することによって、当該目的地を設定する。また、例えば、ＨＭＩ２０は、ナビゲーション地図情報７２を表示させ、移動体１の乗員は、ナビゲーション地図情報７２に表示された建物や施設を指定することによって、目的地を設定してもよい。また、例えば、ＨＭＩ２０は、住所情報や電話番号を入力するための入力領域を設け、移動体１の乗員は、住所情報や電話番号を入力することによって目的地を設定してもよい。

【0037】

移動体１の乗員が目的地を設定し、走行開始ボタンＢ１を押下すると、制御部１４０は、ナビゲーション地図情報７２を参照して、設定された目的地までの目標軌道を生成する。図５は、制御部１４０が、設定された目的地に基づいて生成した目標軌道の一例を示す図である。図５は、図４に示すＨＭＩ２０上で設定された目的地に基づいて制御部１４０が生成した目標軌道を表す。図５に示す通り、制御部１４０が生成した目標軌道ＴＴは、移動体１の現在地から飲食店Ａの駐車場まで延伸するものであり、目標軌道ＴＴは、第１学習済みモデル７３によって出力されたエリアＡ１（歩道Ｌ２に対応）およびエリアＡ２（車道Ｌ１に対応）と、エリアＡ１とエリアＡ２との間の境界Ｌ１とを通過するものである。

【0038】

エリアＡ１は、移動体１の現在地を含むエリアＡ２から離間したエリアであるが、移動体１の現在地から目的地までの経路上に存在するため、移動体１によって走行可能であることが想定される。そのため、認識部１２０は、エリアＡ２に加えて、エリアＡ１と境界Ｌ１を走行可能領域として認識する。

【0039】

認識部１２０は、エリアＡ１およびＡ２と、境界Ｌ１とを走行可能領域として認識すると、これら２つのエリアおよび境界を統合することによって統合エリアを取得し、走行可能領域として認識する。図６は、認識部１２０によって取得される統合エリアの一例を示す図である。図６に示す通り、認識部１２０は、エリアＡ１およびＡ２と、境界Ｌ１とを統合した統合領域ＩＡを取得し、走行可能領域として認識する。制御部１４０は、認識部１２０によって認識された走行可能領域を走行するように移動体１を制御し、目的地まで走行する。

【0040】

なお、上記の走行可能領域の認識は、乗員が目的地を設定し、移動体１が自動運転モードで目的地まで走行する場合に実行されるものである。移動体１が手動運転モードで走行する場合には、認識部１２０は、乗員の運転によって移動体１が進入したエリアを走行可能領域として認識してもよい。より具体的には、認識部１２０は、移動体１が、現在地を含むエリアから境界を横断して異なるエリアに移動した場合、当該異なるエリアを走行可能領域として認識してもよい。

【0041】

さらに、上記の方法によって認識された走行可能領域は、測位装置１８によって測位された位置情報と紐づけてナビゲーション地図情報７２に格納されてもよい。その場合、制御部１４０は、次回同一の走路を走行する際に、ナビゲーション地図情報７２を参照して走行可能領域を取得し、上述した第１学習済みモデル７３および第２学習済みモデル７４を用いた処理を行うことなく、移動体１に、当該走行可能領域を走行させてもよい。

【0042】

このように、移動体１の走行可能領域を認識するために、移動体１が走行する道路の種類に応じて学習済みモデルを変更する必要がある従来技術に比べて、本発明によれば、移動体１がいかなる種類の道路を走行するかに依存することなく、同一の学習済みモデルを用いて、移動体１の走行可能領域を認識することができる。これにより、移動体が走行する道路の種類に応じて学習済みモデルを変更することなく走行可能領域を認識することができる。

【0043】

次に、図７を参照して、実施形態に係る画像処理装置によって実行される処理の流れについて説明する。図７は、実施形態に係る画像処理装置によって実行される処理の流れの一例を示す図である。図７に示す処理は、移動体１が走行中、繰り返し実行されるものである。

【0044】

認識部１２０は、まず、外界検知デバイス１０の外部カメラによって撮像された、移動体１の進行方向前方における路面を含む画像を取得する（ステップＳ１００）。次に、認識部１２０は、取得した画像を第１学習済みモデル７３と第２学習済みモデル７４とに入力することによって、一以上のエリアと境界を取得する（ステップＳ１０２）。

【0045】

次に、認識部１２０は、第１学習済みモデル７３から出力されたエリアのうち、移動体１が属する自車エリアを走行可能領域として認識する（ステップＳ１０４）。次に、認識部１２０は、自車エリアと、ＨＭＩ２０を介して設定された目的地との間に他のエリアが存在するか否かを判定する（ステップＳ１０６）。

【0046】

自車エリアと、設定された目的地との間に他のエリアが存在しないと判定された場合、認識部１２０は、自車エリアのみを走行可能領域として認識する（ステップＳ１０８）。一方、自車エリアと、設定された目的地との間に他のエリアが存在すると判定された場合、認識部１２０は、自車エリアと、他のエリアと、境界を統合して走行可能領域として認識する（ステップＳ１１０）。

【0047】

図８は、実施形態に係る画像処理装置によって実行される処理の流れの別の例を示す図である。図８に示す処理は、移動体１が走行中、繰り返し実行されるものである。

【0048】

認識部１２０は、まず、外界検知デバイス１０の外部カメラによって撮像された、移動体１の進行方向前方における路面を含む画像を取得する（ステップＳ２００）。次に、認識部１２０は、取得した画像を第１学習済みモデル７３と第２学習済みモデル７４とに入力することによって、一以上のエリアと境界を取得する（ステップＳ２０２）。次に、認識部１２０は、第１学習済みモデル７３から出力されたエリアのうち、移動体１が属する自車エリアを走行可能領域として認識する（ステップＳ２０４）。

【0049】

認識部１２０は、次に、過去に走行可能領域として認識されたエリアおよび境界と位置情報とを対応付けて保存したナビゲーション地図情報７２を参照して、自車エリア以外について、取得されたエリアおよび境界が走行可能領域として登録されているか否かを判定する（ステップＳ２０６）。取得されたエリアおよび境界が走行可能領域として登録されていないと判定された場合、認識部１２０は、処理を図７のステップＳ１０６に移行させる。一方、取得されたエリアおよび境界が走行可能領域として登録されていると判定された場合、認識部１２０は、取得されたエリアおよび境界を走行可能領域として認識する（ステップＳ２０８）。これにより、本フローチャートの処理が終了する。

【0050】

以上の通り説明した本実施形態によれば、移動体に搭載されたカメラによって撮像された路面を含む画像を、第１学習済みモデルと第２学習済みモデルとに入力することによって得られたエリアと境界とに基づいて、移動体が走行可能な走行可能領域を認識する。これにより、移動体が走行する道路の種類に応じて学習済みモデルを変更することなく走行可能領域を認識することができる。

【0051】

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
路面を含む画像を入力として、前記画像上の同一属性の路面と推定される領域を一つのエリアとして出力するように学習された第１学習済みモデルと、前記路面を含む画像を入力として、前記画像上の複数の前記エリアの境界を出力するように学習された第２学習済みモデルと、を記憶し、
移動体に搭載されたカメラによって撮像された路面を含む画像を、前記第１学習済みモデルと前記第２学習済みモデルとに入力することによって得られた前記エリアと前記境界とに基づいて、前記移動体が走行可能な走行可能領域を認識する、
ように構成されている、画像処理装置。

【0052】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0053】

１０ 外界検知デバイス
１２ 移動体センサ
１４ 操作子
１６ 内部カメラ
１８ 測位装置
２０ ＨＭＩ
２２ モード切替スイッチ
３０ 移動機構
４０ 駆動装置
５０ 外部報知装置
７０ 記憶装置
７２ ナビゲーション地図情報
７３ 第１学習済みモデル
７４ 第２学習済みモデル
１００ 制御装置
１２０ 認識部
１３０ 受付部
１４０ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】