特許 6971187 画像処理装置、撮像装置、および移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971187

(24)【登録日】2021年11月4日

(45)【発行日】2021年11月24日

(54)【発明の名称】画像処理装置、撮像装置、および移動体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20211111BHJP

   B60R 11/02 20060101ALI20211111BHJP

   B60W 40/04 20060101ALI20211111BHJP

   B60W 30/08 20120101ALI20211111BHJP

【ＦＩ】

   G08G1/16 C

   B60R11/02 Z

   B60W40/04

   B60W30/08

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2018-62569(P2018-62569)

(22)【出願日】2018年3月28日

(65)【公開番号】特開2019-175127(P2019-175127A)

(43)【公開日】2019年10月10日

【審査請求日】2020年8月17日

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100188307

【弁理士】

【氏名又は名称】太田 昌宏

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】福島 尚典

(72)【発明者】

【氏名】茂木 亮介

(72)【発明者】

【氏名】貴島 大輔

(72)【発明者】

【氏名】齋藤 伸彦

【審査官】 竹村 秀康

(56)【参考文献】

【文献】 特開２０１７−１７３９０３（ＪＰ，Ａ）

【文献】 特開２０１６−２１６０２８（ＪＰ，Ａ）

【文献】 特開２０１４−００６７００（ＪＰ，Ａ）

【文献】 特開２００７−１８８４１７（ＪＰ，Ａ）

【文献】 特開２０１０−０７２９６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １１／０２

Ｂ６０Ｗ ４０／０４

Ｂ６０Ｗ ３０／０８

(57)【特許請求の範囲】

【請求項1】

記憶部と、
移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、
決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
前記コントローラは前記移動体の挙動の決定に用いた履歴が次に起きると仮定した状態と新たに検出した状態が不一致である場合、前記履歴に対応付けられた実行させる挙動を前記仮定した状態に対してとるべき挙動に更新する
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記コントローラは、一定時間毎に、新たに検出した前記対象物の状態を、前記状態の履歴に含めるように前記記憶部に記憶させる
画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置において、
前記コントローラは、前記対象物の状態に変化があったときに、新たに検出した前記対象物の状態を、前記状態の履歴に含めるように前記記憶部に記憶させる
画像処理装置。

【請求項4】

請求項１から３のいずれか１項に記載の画像処理装置において、
前記コントローラは、前記状態の履歴に関連付けて前記移動体の挙動を前記記憶部に記憶している該移動体の挙動の履歴に含めるように記憶させ、前記記憶部に記憶されていた該挙動の履歴に基づき前記移動体の挙動を決定する
画像処理装置。

【請求項5】

請求項１から４のいずれか１項に記載の画像処理装置において、
前記コントローラは、予め想定した多様な前記対象物の状態の多様な履歴毎に予め定めた前記移動体の取るべき挙動の対応関係を示すテーブルと、前記記憶部に記憶されていた前記状態の履歴を比較することにより、前記移動体の挙動を決定する
画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、
前記コントローラは、前記移動体の挙動を指示する情報の出力後に、新たに検出した該対象物の状態に基づいて、前記テーブルを更新可能である
画像処理装置。

【請求項7】

請求項１から６のいずれか１項に記載の画像処理装置を備える撮像装置。

【請求項8】

請求項７に記載の撮像装置を備える移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、および移動体に関するものである。

【背景技術】

【0002】

近年、車両の全自動運転の研究・開発が進められている。車両の全自動運転に、撮像した撮影画像の画像解析によって推定される周囲状況を用いることが検討されている。例えば、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出することが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−０６６８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の歩行者検出装置を用いても、必ずしも適切な全自動運転が行われるとは限らず、交通の利便性には向上の余地があった。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、交通の利便性を向上させる画像処理装置、撮像装置、および移動体を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
記憶部と、
移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、
決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
前記コントローラは前記移動体の挙動の決定に用いた履歴が次に起きると仮定した状態と新たに検出した状態が不一致である場合、前記履歴に対応付けられた実行させる挙動を前記仮定した状態に対してとるべき挙動に更新する。

【0007】

また、第２の観点による撮像装置は、
記憶部と、移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を有し、前記コントローラは前記移動体の挙動の決定に用いた履歴が次に起きると仮定した状態と新たに検出した状態が不一致である場合、前記履歴に対応付けられた実行させる挙動を前記仮定した状態に対してとるべき挙動に更新する画像処理装置を備える。

【0008】

また、第３の観点による移動体は、
記憶部と、移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を有し、前記コントローラは前記移動体の挙動の決定に用いた履歴が次に起きると仮定した状態と新たに検出した状態が不一致である場合、前記履歴に対応付けられた実行させる挙動を前記仮定した状態に対してとるべき挙動に更新する画像処理装置を含む撮像装置を備える。

【発明の効果】

【0009】

上記のように構成された本開示に係る画像処理装置、撮像装置、および移動体によれば、交通の利便性が向上する。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る画像処理装置を含む移動体の概略構成を示す機能ブロック図である。

【図2】図１の記憶部に記憶される状態の履歴と実行するべき挙動との対応関係を示すテーブルの一例である。

【図3】図１の記憶部に記憶される状態および挙動の履歴と実行するべき挙動との対応関係を示すテーブルの一例である。

【図4】図１のコントローラが実行する挙動決定処理を説明するためのフローチャートである。

【図5】図１のコントローラが実行する挙動更新処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

【0012】

図１に示すように、本開示の第１の実施形態に係る画像処理装置１０を含む撮像装置１１は、移動体１に搭載され、移動体１の周辺および移動体１内部の撮像画像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体１に実行させる挙動を決定するものである。

【0013】

移動体１は、例えば自動運転機能を備える車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

【0014】

対象物は、例えは、人、他の移動体、動物などを含んでよい。また、対象物としての人は、歩行者、自転車に乗っている人などを含んでよい。

【0015】

自動運転は、車両を運転するユーザ操作の一部または全部を自動化することを含んでよい。例えば、自動運転は、ＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）において定義されるレベル１ないし５を含んでよい。以下では、移動体１は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。

【0016】

撮像装置１１は、撮像部１２および画像処理装置１０を含んで構成される。

【0017】

撮像部１２は、例えば、移動体１に搭載された車載カメラである。撮像部１２は、移動体１の周辺および内部の少なくとも一方を撮像した撮像画像を取得し、画像処理装置１０に出力する。単一または複数の撮像部１２が、撮像装置１１には含まれる。例えば、撮像部１２は、移動体１の前方、後方、左側方、および右側方、ならびに移動体１の車内に設けられ、それぞれ移動体１の前方、後方、左側方、および右側方の周辺、ならびに移動体１の車内を撮像する。

【0018】

撮像部１２は、撮像光学系および撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。

【0019】

画像処理装置１０は、記憶部１３、コントローラ１４、および出力部１５を含んで構成される。

【0020】

記憶部１３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部１３は、コントローラ１４を機能させる多様なプログラム、およびコントローラ１４が用いる多様な情報を記憶する。

【0021】

記憶部１３は、例えば、後述する、コントローラ１４が検出する対象物の状態の履歴を対象物毎に記憶する。なお、対象物の状態の履歴とは、例えば、異なる検出時期における同一の対象物の状態を時系列に並べた情報である。

【0022】

コントローラ１４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。コントローラ１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0023】

コントローラ１４は、撮像部１２から撮像画像を取得する。コントローラ１４は、撮像画像から対象物の像を検出する。なお、コントローラ１４は、パターンマッチングなどの従来公知の方法によって対象物の像を検出してよい。コントローラ１４は、撮像画像から対象物の像を検出したとき、当該対象物の状態を検出する。なお、コントローラ１４は、パターンマッチングなどの従来公知の方法によって対象物の状態を検出する。

【0024】

コントローラ１４は、対象物の状態を検出すると、当該状態を記憶部１３に記憶させる。コントローラ１４は、任意の時期に撮像された撮像画像から検出された対象物が、新規に検出された対象物であるとき、当該対象物に対する状態の履歴中の最初の状態として、記憶部１３に記憶させる。コントローラ１４は、以前の撮像画像中に検出された対象物の状態を検出するとき、新たに検出した当該対象物の状態を、当該対象物に対する状態の履歴に含めるように、記憶部１３に記憶させる。

【0025】

状態の履歴内への記憶は、多様な条件に応じて行ってよい。例えば、コントローラ１４は、１秒毎などの一定時間毎に、新たに検出した対象物の状態を、状態の履歴に含めるように記憶部１３に記憶させてよい。また、例えば、コントローラ１４は、対象物の状態に変化があるか否かを判別し、変化があるときに、新たに検出した対象物の状態を、状態の履歴に含めるように記憶部１３に記憶させてよい。

【0026】

コントローラ１４は、状態の履歴への記憶とともに、当該履歴に関連付けて、自身の移動体１（以下の説明において、「自身」と呼ぶ。）の挙動を検出し記憶部１３に移動体１の挙動の履歴として含めるように記憶させてよい。なお、コントローラ１４は、移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。コントローラ１４は、移動体１の挙動として、例えば、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。

【0027】

コントローラ１４は、記憶部１３に記憶されていた状態の履歴に基づいて、移動体１に実行させる挙動を決定する。コントローラ１４は、多様な方法により、状態の履歴に基づいて、挙動を決定してよい。

【0028】

例えば、コントローラ１４は、図２に示すような、テーブルと、状態の履歴を比較することにより、移動体１の挙動を決定する。テーブルは、あらかじめ想定した多様な対象物の状態の多様な履歴毎に移動体１の取るべき挙動を予め対応づけした対応関係を示す。なお、テーブルの「状態の履歴」におけるｔ（０）は、現在の状態を示す。また、ｔ（−１）は、ｔ（０）より過去の状態であり、ｔ（０）に対して特定の時間間隔が定められていなくてよい。また、ｔ（−２）は、ｔ（−１）より過去の状態であり、ｔ（−１）に対して特定の時間間隔が定められていなくてよい。

【0029】

コントローラ１４は、例えば、自身が車両であって、走行中である場合、前方の複数の児童を検出すると、当該児童を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において複数の児童が道路の両側に分かれている場合であっても、児童の状態の履歴に応じて、異なる挙動を決定する。例えば、元々道路の片側にいた複数の児童（符号“ｔ（−２）”参照）の一部が他方に移動（符号“ｔ（−１）”参照）して、道路の両側に分かれた（符号“ｔ（０）”参照）という状態の履歴である場合、コントローラ１４は、他の児童も道路を横断する可能性が高いと仮定として、減速を挙動として決定する。また、例えば、元々児童が道路の両側に分かれてい続ける（符号“ｔ（−２）”、“ｔ（−１）”、“ｔ（０）”参照）場合、コントローラ１４は、元々別々のグループに属していた児童達であると仮定して、走行の維持を挙動として決定する。

【0030】

また、コントローラ１４は、例えば、自身が車両であって、駐車場内で駐車場所を探索中である場合、周囲の車両および人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において周囲の人が乗車状態であっても、周囲の人および車両の状態の履歴に応じて、異なる挙動を決定する。例えば、歩行中の周囲の人が（符号“ｔ（−２）”参照）が、車両に乗込み（符号“ｔ（−１）”参照）、乗車状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、当該人が出庫する可能性が高いと仮定して、待機を挙動として決定する。また、例えば、走行中の周囲の車両（符号“ｔ（−２）”参照）が、駐車場所に停車（符号“ｔ（−１）”参照）し、車内に人が乗車状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、駐車直後であると仮定して、当該場所からの通過を挙動として決定する。

【0031】

また、コントローラ１４は、例えば、自身が車両であって、駐車状態から出庫待機中である場合、周囲の車両を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において周囲の車両が近辺で一時停止状態であっても、周囲の車両の状態の履歴に応じて、異なる挙動を決定する。例えば、出庫中の周囲の車両（符号“ｔ（−２）”参照）が、走行を開始して（符号“ｔ（−１）”参照）、自身の近辺で一時停止状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、当該車両が走行車両であると仮定して、待機を挙動として決定する。また、例えば、走行中の周囲の車両（符号“ｔ（−２）”参照）が、自身の近辺に接近して（符号“ｔ（−１）”参照）、近辺で一時停止状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、当該車両が自身の現在の駐車場所への駐車を望んでいると仮定して、出庫を挙動として決定する。

【0032】

また、コントローラ１４は、例えば、自身がタクシーであって、空車状態で走行中である場合、前方の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において前方の人が自身に接近していても、前方の人の状態の履歴に応じて、異なる挙動を決定する。例えば、最新の状態において前方の人が自身に接近中であっても、前方の人の状態の履歴に応じて、異なる挙動を決定する。例えば、挙手または自身の方を向く前方の人（符号“ｔ（−２）”参照）が、自身に接近し続けいている（符号“ｔ（−１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、乗車希望であると仮定して、当該人の手前までの前進を挙動として決定する。また、例えば、挙手もせず且つ自身の方を向かない前方の人（符号“ｔ（−２）”参照）が、自身に接近し続けいている（符号“ｔ（−１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、自身に関係ない行動をしていると仮定して、通過を挙動として決定する。

【0033】

また、コントローラ１４は、例えば、自身がタクシーであって、空車状態で走行中である場合、前方の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において前方の人が自身に接近していない場合であっても、前方の人の状態の履歴に応じて、異なる挙動を決定する。例えば、挙手または自身の方を向く前方の人（符号“ｔ（−２）”参照）が、自身に接近していない（符号“ｔ（−１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、乗車希望であると仮定して、当該人の手前への前進を挙動として決定する。また、例えば、挙手もせず且つ自身の方を向かない前方の人（符号“ｔ（−２）”参照）が、自身に接近していない（符号“ｔ（−１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、自身に関係ない行動をしていると仮定して、通過を挙動として決定する。

【0034】

また、コントローラ１４は、例えば、自身がバスであって、停留所で停車中である場合、周囲の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において周囲の人が走行中であっても、周囲の人の状態の履歴に応じて、異なる挙動を決定する。例えば、自身の遠くにいる人（符号“ｔ（−２）”参照）が自身を注視（符号“ｔ（−１）”参照）して、走行（符号“ｔ（０）”参照）するという履歴である場合、コントローラ１４は、自身への乗車を要望していると仮定して、ドアの開放を挙動として決定する。また、例えば、自身の遠くにいる人（符号“ｔ（−２）”参照）が自身を注視せず（符号“ｔ（−１）”参照）に、走行（符号“ｔ（０）”参照）するという履歴である場合、コントローラ１４は、自身の周囲をジョギング中であると仮定して、出発を挙動として決定する。

【0035】

また、コントローラ１４は、例えば、自身がバスであって、停留所で停車中である場合、車内の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において車内の人が降車口から少し離れた場所にいるとしても、車内の人の状態の履歴に応じて、異なる挙動を決定する。たとえば、座席を立った車内の人（符号“ｔ（−２）”参照）が降車口に近づき（符号“ｔ（−１）”参照）ながらも、降車口から離れた場所に位置（符号“ｔ（０）”参照）するという履歴である場合、コントローラ１４は、降車の意思があると仮定して、ドアの開放待機を挙動として決定する。また、例えば、車内の人が降車口から少し離れた場所にい続けている（符号“ｔ（−２）”、“ｔ（−１）”、“ｔ（０）”参照）と言う履歴である場合、コントローラ１４は、降車の意思が無いと仮定して、出発を挙動として決定する。

【0036】

コントローラ１４は、記憶部１３に記憶された状態の履歴とともに、移動体１の挙動の履歴にも基づいて、移動体１に実行させる挙動を決定してよい。コントローラ１４は、多様な方法により、状態および挙動の履歴に基づいて、これから実行すべき挙動を決定してよい。例えば、コントローラ１４は、図３に示すような、テーブルと、状態および挙動の履歴を比較することにより、移動体１の挙動を決定する。

【0037】

コントローラ１４は、例えば、自身が車両であって、走行中である場合、前方の横断歩道脇の人を検出すると、当該人を対象物として、履歴の作成のために状態および過去の自身の挙動を蓄積する。コントローラ１４は、最新の状態において横断歩道脇の人が横断停止中であっても、当該人の状態の履歴および自身の挙動の履歴に応じて、異なる挙動を決定する。例えば、横断歩道脇の人が、以前から横断を停止しており（符号“ｔ（−２）”、“ｔ（−１）”、“ｔ（０）”参照）、かつ以前の自身の挙動において、前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行済みである場合、コントローラ１４は、対象物の意図が不明と判別して、自動運転解除を挙動として決定する。なお、呼びかけの挙動として予め定められている挙動とは、例えば、パッシング、クラクション、およびハザードなどである。また、例えば、横断歩道脇の人が、以前から横断を停止しており（符号“ｔ（−２）”、“ｔ（−１）”、“ｔ（０）”参照）、かつ以前の自身の挙動において、前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行していない場合、コントローラ１４は、未実行の呼びかけを挙動として決定する。また、例えば、横断歩道脇の人が、横断停止後、一旦横断後に再び横断停止しており（符号“ｔ（−２）”、“ｔ（−１）”、“ｔ（０）”参照）、かつ前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行済みである場合、コントローラ１４は、対象物に横断の意図が少しあると仮定して、実行済みの呼びかけのいずれかを、挙動として決定する。また、例えば、横断歩道脇の人が、横断停止後、一旦横断後に再び横断停止しており（符号“ｔ（−２）”、“ｔ（−１）”、“ｔ（０）”参照）、かつ以前の自身の挙動において、前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行していない場合、コントローラ１４は、未実行の呼びかけを挙動として決定する。

【0038】

コントローラ１４は、決定した自身の挙動を指示する情報の出力後に、新たに取得した撮像画像において、対象物の新たな状態に基づいて、テーブルを更新してよい。コントローラ１４は、対象物の新たな状態に対して自身が取るべき最適な挙動が、テーブルに記憶されている実行させる挙動と異なる場合に、実行させる挙動を当該最適な挙動に更新してよい。

【0039】

出力部１５は、コントローラ１４が決定した、自身の挙動を指示する情報を、移動体１に出力する。なお、当該情報は、移動体１の各挙動を実行する各制御系に取得され、当該情報が示す挙動が実行される。

【0040】

次に、本実施形態においてコントローラ１４が実行する、状態の履歴に基づく挙動決定処理について、図４のフローチャートを用いて説明する。挙動決定処理は、周期的に開始する。

【0041】

ステップＳ１００において、コントローラ１４は、撮像部１２から取得した最新の撮像画像の中に、現在の自身の状況に対して検出すべき対象物が存在するか否かを判別する。検出すべき対象物が存在しない場合、挙動決定処理は終了する。検出すべき対象物が存在する場合、プロセスはステップＳ１０１に進む。

【0042】

ステップＳ１０１では、コントローラ１４は、ステップＳ１００において存在すると判別された対象物の状態を検出する。状態を検出すると、プロセスはステップＳ１０２に進む。

【0043】

ステップＳ１０２では、コントローラ１４は、ステップＳ１０１において検出した状態を、記憶部１３に記憶させ、状態の履歴に蓄積させる。状態を蓄積すると、プロセスはステップＳ１０３に進む。

【0044】

ステップＳ１０３では、コントローラ１４は、記憶部１３から、状態の履歴、および挙動の履歴を読出す。履歴を読出すと、プロセスはステップＳ１０４に進む。

【0045】

ステップＳ１０４では、コントローラ１４は、ステップＳ１０３で読出した状態の履歴および挙動の履歴と、記憶部１３に記憶されたテーブルを比較する。テーブルの比較を開始すると、プロセスはステップＳ１０５に進む。

【0046】

ステップＳ１０５では、コントローラ１４は、ステップＳ１０３で読出した状態の履歴および挙動の履歴と同じ履歴が、テーブルに存在するか否かを判別する。テーブルに同一の履歴が無い場合、挙動決定処理は終了する。テーブルに同一の履歴がある場合、プロセスはステップＳ１０６に進む。

【0047】

ステップＳ１０６では、コントローラ１４は、ステップＳ１０５において判別した同一の履歴に対して対応づけられた挙動を、実行すべき挙動として決定する。また、コントローラ１４は、決定した挙動を出力部１５を介して、移動体１に出力させる。移動体１への出力後、プロセスはステップＳ１０７に進む。

【0048】

ステップＳ１０７では、コントローラ１４は、ステップＳ１０６で決定した挙動を、記憶部１３に記憶させ、挙動の履歴に蓄積させる。挙動を蓄積させると、挙動決定処理は終了する。

【0049】

次に、本実施形態においてコントローラ１４が実行する、挙動更新処理について、図５のフローチャートを用いて説明する。挙動更新処理は、挙動決定処理において挙動を決定した次の挙動決定処理の実行時に、当該挙動決定処理と並行するように、開始する。

【0050】

ステップＳ２００において、コントローラ１４は、撮像部１２から取得した最新の撮像画像において、最新の挙動決定処理のステップＳ１００において検出した対象物の状態を検出する。状態を検出すると、プロセスはステップＳ２０１に進む。

【0051】

ステップＳ２０１では、コントローラ１４は、最新の挙動決定処理のステップＳ１０６において挙動の決定に用いた履歴が次に起きると仮定した状態と、ステップＳ２００において検出した状態とを比較する。比較を開始すると、プロセスはステップＳ２０２に進む。

【0052】

ステップＳ２０２では、コントローラ１４は、ステップＳ２０１の比較において、仮定した状態と、新たに検出した状態が不一致であるか否かを判別する。不一致でない、すなわち一致する場合、挙動更新処理は終了する。不一致である場合、プロセスはステップＳ２０３に進む。

【0053】

ステップＳ２０３では、コントローラ１４は、テーブル内で履歴に対応づけられた実行させる挙動を、最新の挙動決定処理のステップＳ１０６において挙動の決定に用いた履歴が次に起きると仮定した状態に対して取るべき挙動に書換えさせることにより、挙動を更新する。挙動を更新すると、挙動更新処理は終了する。

【0054】

以上のような構成の本実施形態の画像処理装置１０では、移動体１の挙動の決定を、対象物の履歴に基づかせている。このような構成により、画像処理装置１０は、任意の一時点における対象物の状態では一意に特定できなかった対象物の未来の状態の推定精度を向上し得る。したがって、画像処理装置１０は、より適切な判断材料を用いて移動体１の挙動を決定するので、より適切に全自動運転を行わせしめ、交通の利便性を向上させる。

【0055】

また、本実施形態の画像処理装置１０は、一定時間毎に、新たに検出した対象物の状態を状態の履歴に含める。したがって、画像処理装置１０は、対象物の状態の記憶を、撮像した全撮像画像に行わないので、低容量の記憶部１３の適用を許容する。

【0056】

また、本実施形態の画像処理装置１０は、対象物の状態に変化があったときに、新たに検出した対象物の状態を状態の履歴に含める。したがって、画像処理装置１０は、対象物の状態の記憶を撮像した全撮像画像に行わず、かつ一定時間毎に必ずしも一定時間毎に記憶するわけでもないので、さらに低容量の記憶部１３の適用を許容する。

【0057】

また、本実施形態の画像処理装置１０は、移動体１の挙動の決定に、挙動の履歴にも基づかせている。このような構成により、画像処理装置１０は、対象物の未来の状態の推定精度をさらに向上し得る。したがって、画像処理装置１０は、いっそう適切な判断材料を用いて移動体１の挙動を決定するので、いっそう適切に全自動運転を行わせしめ、交通の利便性を向上させる。

【0058】

また、本実施形態の画像処理装置１０では、移動体１の挙動を指示する情報の出力後に、新たに検出した該対象物の状態に基づいて、前記テーブルを更新可能である。記憶部１３に記憶させているテーブルでは、状態の履歴に基づいて今後の対象物の状態を特定の状態であると仮定し、当該特定の状態に適した挙動が予め対応づけられている。しかし、今後の対象物の状態は、走行地域におけるローカルルールなどにより、仮定された状態とは異なることも生じ得る。このような事象に対して、上述の構成の画像処理装置１０は、テーブルを更新可能なので、履歴に対応づけるべき挙動の最適化を図り得る。

【0059】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【符号の説明】

【0060】

１ 移動体
１０ 画像処理装置
１１ 撮像装置
１２ 撮像部
１３ 記憶部
１４ コントローラ
１５ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】