特開 2024-129060 画像処理装置、撮像装置、移動体、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129060

(43)【公開日】2024-09-26

(54)【発明の名称】画像処理装置、撮像装置、移動体、および画像処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240918BHJP

   G06T 7/00 20170101ALI20240918BHJP

   G06T 7/20 20170101ALI20240918BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650B

G06T7/20 300A

G06T7/20 300B

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024102215

(22)【出願日】2024-06-25

(62)【分割の表示】P 2023126486の分割

【原出願日】2019-06-25

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】茂木 亮介

(57)【要約】

【課題】移動体による交通の利便性を向上させる。
【解決手段】画像処理装置１０は出力部１４とプロセッサ１６とを有する。出力部１４は移動体１２に実行させる挙動を指示する情報を移動体１２に出力する。プロセッサ１６は周辺画像から検出した対象物の状態に基づいて移動体１２の第１の挙動を決定する。プロセッサ１６は第１の挙動を指示する情報を出力部１４に出力させる。プロセッサ１６は移動体１２の第１の挙動後の周辺画像から検出した対象物の状態に基づいて移動体１２の第２の挙動を決定する。プロセッサ１６は対象物の所定の動作の速度に応じたタイミングで第２の挙動を指示する情報を出力部１４に出力させる。対象物の所定の動作は第１の挙動の決定前または移動体１２の第１の挙動後の動作である。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、
前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて決定した前記移動体の第１の挙動に対する該対象物の状態に基づいて決定した前記移動体の第２の挙動を指示する情報を、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の表情の変化に応じたタイミングで前記出力部に出力させるプロセッサと、を備える
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記タイミングは、前記表情の変化が大きくなるほど早められる
画像処理装置。

【請求項3】

請求項１又は２に記載の画像処理装置と、
前記周辺画像を生成する撮像部と、を備える
撮像装置。

【請求項4】

請求項１又は２に記載の画像処理装置を搭載する移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、移動体、および画像処理方法に関するものである
。

【背景技術】

【0002】

従来、カメラの撮影画像から対象物を検出する技術が知られている。

【0003】

例えば、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出することが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－０６６８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、車両の全自動運転の研究・開発が進められている。特許文献１に記載されている技術を全自動運転に適用し、例えば、立ち止りからの動き出しといった歩行者の状態を検出し、全自動運転による車両の制御に用いることも考えられる。しかしながら、上述した技術を適用した場合でも、必ずしも適切な全自動運転が行われるとは限らず、交通の利便性には向上の余地があった。

【0006】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、交通の利便性の向上を図ることができる画像処理装置、撮像装置、移動体、および画像処理方法を提供することにある。

【課題を解決するための手段】

【0007】

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、
前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて決定した前記移動体の第１の挙動に対する該対象物の状態に基づいて決定した前記移動体の第２の挙動を指示する情報を、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで前記出力部に出力させるプロセッサ、を備える。

【0008】

第２の観点による撮像装置は、
移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて決定した前記移動体の第１の挙動に対する該対象物の状態に基づいて決定した前記移動体の第２の挙動を指示する情報を、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで前記出力部に出力させるプロセッサ、を備える。
前記周辺画像を生成する撮像部と、を有する画像処理装置と、
前記周辺画像を生成する撮像部と、を備える。

【0009】

第３の観点による移動体は、
移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて決定した前記移動体の第１の挙動に対する該対象物の状態に基づいて決定した前記移動体の第２の挙動を指示する情報を、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで前記出力部に出力させるプロセッサ、を備える。
前記周辺画像を生成する撮像部と、を有する画像処理装置を搭載する。

【0010】

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

【0011】

例えば、本開示の第４の観点による画像処理方法は、
プロセッサによって実行される画像処理方法であって、
移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて前記移動体の第１の挙動に対する該対象物の状態に基づいて決定した前記移動体の第２の挙動を指示する情報を、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで前記移動体に出力する。

【発明の効果】

【0012】

上記のように構成された本開示によれば、移動体による交通の利便性が向上する。

【図面の簡単な説明】

【0013】

【図1】本開示の一実施形態に係る画像処理装置の構成例を示すブロック図である。

【図2】移動体と対象物との間でこう着状態が発生する第１の例を例示する図である。

【図3】移動体と対象物との間でこう着状態が発生する第２の例を例示する図である。

【図4】図１のコントローラが実行するリアクション処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明を適用した画像処理装置の実施形態について、図面を参照して説明する。

【0015】

本開示の一実施形態に係る画像処理装置１０を含む撮像装置１１は、図１に示すように、例えば、移動体１２に搭載される。

【0016】

移動体１２は、例えば車両等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。

【0017】

撮像装置１１は、撮像部１３および画像処理装置１０を有する。

【0018】

撮像部１３は、例えば、移動体１２に搭載された車載カメラである。撮像部１３は、移動体１２の周辺を撮像した周辺画像を生成し、画像処理装置１０に出力する。撮像部１３は、移動体１２に複数台搭載されてもよい。例えば、移動体１２に４台の車載カメラが搭載される場合、移動体１２の前方の周辺領域を撮像可能な位置、移動体１の後方の周辺領域を撮像可能な位置、移動体１の左側方の周辺領域を撮像可能な位置、および移動体１２の右側方の周辺領域を撮像可能な位置にそれぞれ、撮像部１３が配置される。このような配置により、移動体１２の四方の周辺領域が撮像され得る。

【0019】

撮像部１３は、少なくとも撮像光学系と、撮像素子とを備える。撮像光学系は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して周辺画像を生成する。

【0020】

撮像部１３は、撮像素子において生成した周辺画像を、有線または無線を介して、画像処理装置１０に出力する。撮像部１３は、移動体１２に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ディスプレイ、およびナビゲーション装置などの外部装置に周辺画像を出力してもよい。

【0021】

画像処理装置１０は、移動体１２の周辺の周辺画像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体１２に実行させる挙動を決定するものである。対象物としては、例えは、人、他の移動体、動物などがある。また、対象物としての人には、歩行者、自転車に乗っている人などが含まれる。移動体１２としては、例えば、自動運転機能を備える車両がある。本実施形態において、「自動運転」とは、車両を運転するユーザ操作の一部または全部を自動化することを含む。例えば、自動運転は、ＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）において定義されるレベル１ないし５を含んでもよい。以下では、移動体１２は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。また、以下では、全自動運転機能を備える車両を、全自動運転車両と称することがある。

【0022】

画像処理装置１０は、出力部１４、記憶部１５、およびプロセッサ１６を備える。

【0023】

出力部１４は、例えば、通信インターフェースであって、有線または無線を介して、移動体１２の各種ＥＣＵと通信を行う。出力部１４は、移動体１２に実行させる挙動を指示する情報を、当該移動体１２に出力する。例えば、出力部１４は、移動体１２の走行を制御するＥＣＵ、および移動体１２のランプおよびウィンカの点滅、ならびにクラクションの鳴動などを制御するＥＣＵと通信を行うことにより、当該挙動を指示する情報を出力する。

【0024】

通信インターフェースである出力部１４は、移動体１２の各種ＥＣＵとの通信により、各種ＥＣＵから、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力、および所定の像の投影などの移動体１２が実行した挙動、移動体１２の進行予定路、および周囲の交通状況などの情報を取得してもよい。

【0025】

記憶部１５は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば、半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１５に含まれる各メモリは、例えば、主記憶装置、補助記憶装置、またはキャッシュメモリとして機能してもよい。記憶部１５は、画像処理装置１０の動作に用いられる任意の情報を記憶してよい。記憶部３８は、例えば、システムプログラム、アプリケーションプログラムなどを記憶してもよい。

【0026】

プロセッサ１６は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサ１６は、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。プロセッサ１６は、画像処理装置１０の各構成要素の動作を制御する。

【0027】

プロセッサ１６は、例えば、撮像部１３から取得した周辺画像において、対象物の存否を判別する。対象物は、例えば、特定の状況下の誘導員、特定の状況下の路上者、および他の移動体などである。特定の状況下の誘導員１７とは、例えば、図２に示すように、移動体１２の進行予定路が工事中で片側一車線の規制下において、交通整理を行う者である。特定の状況下の路上者１８とは、例えば、図３に示すように、移動体１２の進行予定路上の横断歩道１９の一端近辺の人である。

【0028】

プロセッサ１６は、周辺画像において対象物の存在を検出すると、当該対象物の状態を検出する。プロセッサ１６は、例えば、対象物が特定の状況下の誘導員１７または路上者１８である場合、誘導員１７または路上者１８の動きの方向、顔または視線の方向、表情、および手足の少なくとも１つに基づいて、状態を検出する。

【0029】

検出される状態は、例えば、図２に示すように、対象物が特定の状況下の誘導員１７である場合、進行許可のジェスチャ、進行禁止のジェスチャ、進行方向を指示するジェスチャ、および不明なジェスチャのいずれかの実行中の状態である。また、検出される状態は、例えば、図３に示すように、対象物が特定の状況下の路上者１８である場合、横断歩道１９の手前で立止まっている状態、横断を開始する状態、ならびに横断歩道１９を渡らないことを示すジェスチャおよび移動体１２の先行を促すジェスチャのいずれかを実行中の状態などである。

【0030】

プロセッサ１６は、対象物が誘導員１７および路上者１８などの人の場合、フレームの連続する複数の周辺画像に基づいて、表情の変化を検出してよい。表情の変化は、例えば、怒りなどの特定の感情の度合いを通常の表情を基準として点数化し、その点数の変化として検出されてよい。

【0031】

プロセッサ１６は、対象物の状態を検出すると、当該対象物の状態に基づいて移動体１２に実行させる第１の挙動を、移動体１２が実行可能な多様な挙動の中から決定する。移動体１２が実行可能な多様な挙動は、例えば、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力、および所定の像の投影などである。

【0032】

プロセッサ１６は、例えば、特定の状況下の誘導員１７が不明なジェスチャを行っている場合、または特定の状況下の路上者１８が立止まっている場合などのような対象物に対して定められている特定の状態である場合、第１の挙動として停止を決定する。プロセッサ１６は、第１の挙動を決定すると、第１の挙動を指示する情報を出力部１４に各種ＥＣＵに向けて出力させる。

【0033】

プロセッサ１６は、第１の挙動の出力後、または第１の挙動の実行を検知したＥＣＵからの通知による認識後、撮像部１３から取得した周辺画像において、第１の挙動の決定の対象となった対象物の状態を検出する。

【0034】

プロセッサ１６は、第１の挙動を決定した対象物の状態に対して定められた所定の動作の、第１の挙動の決定前または移動体１２の第１の挙動後における速度を算出する。所定の動作は、例えば、対象物が特定の状況下の誘導員１７である場合、上述の不明なジェスチャである。また、所定の動作は、例えば、対象物が特定の状況下の路上者１８である場合、当該路上者１８の走行または歩行である。プロセッサ１６は、フレームの連続する複数の周辺画像に基づいて、所定の動作の速度を算出する。

【0035】

プロセッサ１６は、検出した当該対象物の状態に基づいて移動体１２に実行させる第２の挙動を、前述の移動体１２が実行可能な多様な挙動の中から決定する。プロセッサ１６は、検出した対象物の状態に基づいて、第１の挙動に対する有意な反応が得られない場合、対象物への注意を喚起する挙動を第２の挙動として決定してよい。

【0036】

有意な反応とは、対象物の意図を認識可能な反応である。有意な反応とは、例えば、対象物が特定の状況下の誘導員１７である場合、進行許可のジェスチャ、進行禁止のジェスチャ、および進行方向を指示するジェスチャである。有意な反応とは、例えば、対象物が特定の状況下の路上者１８である場合、横断を開始する状態、ならびに横断歩道１９を渡らないことを示すジェスチャおよび移動体１２の先行を促すジェスチャである。

【0037】

対象物への注意を喚起する挙動は、例えば、移動体１２のライトを瞬間的に上向き（ハイビーム）で点灯させるパッシング、数十ｃｍ程度で移動体１２を前進させる少し前進、クラクション鳴動、音声出力、および所定の像の投影などである。第２の挙動は、これらの対象物への注意を喚起する挙動単独でも、適宜組み合わせてもよい。

【0038】

プロセッサ１６は、第２の挙動の決定には、第１の挙動後であって、算出した所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いて決定してよい。当該時間間隔は、例えば、所定の動作の速度が速くなるほど短くなるように定められてよい。

【0039】

プロセッサ１６は、算出した所定の動作の速度に応じたタイミングで、決定した第２の挙動を指示する情報を出力部１４に各種ＥＣＵに向けて出力させる。当該タイミングは、第１の挙動を指示する情報を出力した時点を基準としたタイミングであってよい。当該タイミングは、所定の動作の速度が速くなるほど早められてよい。

【0040】

プロセッサ１６は、当該タイミングを、所定の動作とともに、移動体１２の周囲の交通状況に応じて変動させてもよい。当該タイミングは、移動体１２の周囲の交通状況が混雑するほど早められてよい。プロセッサ１６は、対象物が人である場合、当該タイミングを、所定の動作とともに、またさらには周囲の交通状況とともに、検出された対象物の表情の変化に応じて変動させてもよい。当該タイミングは、対象物の表情の変化が大きくなるほど早められてよい。

【0041】

プロセッサ１６は、第２の挙動の出力後、または第２の挙動の実行を検知したＥＣＵからの通知による認識後、撮像部１３から取得した周辺画像において、第２の挙動の決定の対象となった対象物の状態を検出する。

【0042】

以後、プロセッサ１６は、対象物の状態が特定の状態となるまで、または所定の回数だけ、第１の挙動の実行後から第２の挙動を指示する情報を出力するまでと同様に、周辺画像における対象物の状態の検出、移動体１２に実行させる挙動の決定、および決定した挙動の出力を繰返す。特定の状態とは、例えば、対象物の有意な反応を行っている状態である。所定の回数は、例えば３回である。

【0043】

プロセッサ１６は、第１の挙動以後に複数回の挙動を移動体１２に実行させる場合、それぞれに対して異なる挙動を決定してよい。プロセッサ１６は、第１の挙動以後の複数回の挙動それぞれを異なる挙動に決定する場合、対象物の状態毎の所定の優先順位に応じて決定してよい。

【0044】

プロセッサ１６は、移動体１２の周辺環境に応じて所定の優先順位を変更してよい。例えば、プロセッサ１６は、夜間においてクラクション鳴動のように騒音となり得る挙動の優先順位を低くし、照明点灯、パッシング、およびウィンカ点滅などの、騒音を生じさせない動作の優先順位を高く設定してもよい。

【0045】

プロセッサ１６は、対象物の状態が特定の状態となる前に、所定の回数の挙動を移動体１２に実行させた場合、移動体１２の全自動運転を解除してもよい。

【0046】

次に、本実施形態においてプロセッサ１６が実行する、リアクション処理について、図４のフローチャートを用いて説明する。リアクション処理は、移動体１２の全自動運転の開始時に、開始する。

【0047】

ステップＳ１００において、プロセッサ１６は、撮像部１３から取得する周辺画像において対象物を検出したか否かを判別する。対象物を検出しない場合、プロセスはステップＳ１００に戻る。対象物を検出した場合、プロセスはステップＳ１０１に進む。

【0048】

ステップＳ１０１では、プロセッサ１６は、ステップＳ１００において検出した対象物の状態が特定の状態であるか否かを判別する。対象物の状態が特定の状態でない場合、プロセスはステップＳ１００に戻る。対象物の状態が特定の状態である場合、プロセスはステップＳ１０２に進む。

【0049】

ステップＳ１０２にでは、プロセッサ１６は、移動体１２に実行させる第１の挙動を決定する。決定後、プロセスはステップＳ１０３に進む。

【0050】

ステップＳ１０３では、プロセッサ１６は、ステップＳ１０２において第１の挙動を決定した対象物の状態に対して定められた所定の動作の速度を算出する。速度の算出後、プロセスはステップＳ１０４に進む。

【0051】

ステップＳ１０４では、プロセッサ１６は、ステップＳ１０３において算出した速度に基づいて、第２の挙動を指示する情報を出力するタイミング、第２の挙動の決定に用いる周辺画像の時間間隔を決定する。また、プロセッサ１６は、ステップＳ１０２において第１の挙動を決定した対象物の状態に応じて、対象物に対して実行する挙動の回数を決定する。決定後、プロセスはステップＳ１０５に進む。

【0052】

ステップＳ１０５では、プロセッサ１６は、決定した第１の挙動を指示する情報を各種ＥＣＵに向かって出力部１４を介して、出力する。出力後、プロセスはステップＳ１０６に進む。

【0053】

ステップＳ１０６では、プロセッサ１６は、移動体１２による第１の挙動の実行後の周辺画像において検出される対象物の状態に基づいて、対象物に有意な反応があるか否かを判別する。有意な反応がある場合、当該有意な反応に応じた全自動運転を行い、プロセスはステップＳ１００に戻る。有意な反応が無い場合、プロセスはステップＳ１０７に進む。

【0054】

ステップＳ１０７では、プロセッサ１６は、第１の挙動の実行後に決定した挙動がステップＳ１０４において決定した回数を超えているか否かを判別する。超えていない場合、プロセスはステップＳ１０８に進む。超えている場合、プロセスはステップＳ１１０に進む。

【0055】

ステップＳ１０８では、プロセッサ１６は、ステップＳ１０４において決定した時間間隔が第１の挙動後から経過するまでの周辺画像を用いて対象者の状態を検出する。プロセッサ１６は、検出した対象者の状態に基づいて、移動体１２が実行すべき挙動を決定する。挙動の決定後、プロセスはステップＳ１０９に進む。

【0056】

ステップＳ１０９では、プロセッサ１６は、ステップＳ１０４において決定したタイミングで、ステップＳ１０８において決定した挙動を指示する情報を各種ＥＣＵに向かって出力部１４を介して、出力する。出力後、プロセスはステップＳ１０６に戻る。

【0057】

ステップＳ１１０では、プロセッサ１６は、全自動運転の解除を指示する情報を各種ＥＣＵに向かって、出力部１４を介して出力する。出力後、リアクション処理は終了する。

【0058】

以上のような構成の本実施形態の画像処理装置１０では、周辺画像から検出した対象物の状態に基づいて移動体１２の第１の挙動を決定し、移動体１２の第１の挙動後の周辺画像から検出した対象物の状態に基づいて移動体１２の第２の挙動を決定している。このような構成を有する画像処理装置１０の奏する効果について以下に説明する。

【0059】

従来考えられていた全自動運転車両においては、対象物に対して、こう着状態が発生することがある。

【0060】

こう着状態は、例えば、図２に示すように、従来考えられていた全自動車両である移動体の進行予定路上に誘導員１７が立っている状況において生じ得る。誘導員１７は、通常、当該移動体の進行許可のジェスチャまたは進行禁止のジェスチャのいずれかを行うことが一般的である。しかし、誘導員１７のジェスチャそのものが通常行われるジェスチャと異なっているなどの理由により、当該移動体がジェスチャを判別できないことがあり得る。このような状況において、当該移動体は安全を優先して、停止することが一般的と考えられる。停止に対して、誘導員１７のジェスチャを判別できない状況が続くと、当該移動体は停止したままとなる。このように、当該移動体と誘導員１７との間にこう着状態が発生し、円滑な交通が妨げられる可能性がある。

【0061】

また、こう着状態は、例えば、図３に示すように、従来考えられていた全自動車両である移動体の進行予定路上の横断歩道１９の一端近辺に路上者１８が立っている状況において生じ得る。このような状況において、当該移動体は、路上者１８が横断歩道１９を渡ることができるように、横断歩道１９の手前で停止する。しかしながら、路上者１８は、必ずしも、横断歩道１９を渡るとは限らず、その場で立ち止っていることがあり得る。このような状況において、当該移動体は、路上者１８が横断歩道１９を渡る意図が無いにも関わらず、路上者１８が横断歩道１９の一端近辺に立ち止ったままであるので、横断歩道１９の手前で停止したままとなる。このように、当該移動体と路上者１８との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。

【0062】

一方、上述の構成を有する画像処理装置１０は、上述のような膠着状態が発生し得る状況において、対象物から有意な反応が得られない場合、対象物に対して更なる挙動を実行することにより、対象物の新たな反応を促し、対象物の意図を検出し得る。したがって、画像処理装置１０は、こう着状態が発生する蓋然性を低減することにより、交通の円滑化を図り、結果として、移動体１２による交通の利便性を向上し得る。

【0063】

また、本実施形態の画像処理装置１０は、対象物の所定の動作の速度に応じたタイミングで第２の挙動を指示する情報を出力する。一般的に、第１の挙動に対する行動に対して第２の挙動を求めるタイミングは、個々の対象物によって相違し得る。例えば、対象物が人である場合、せっかちな人および急いでいる人などは、自身の動作または状態に対する移動体１２の反応としての挙動を早急に求める傾向がある。また、せっかちな人および急いでいる人は、ジェスチャなどの動作、および歩行または走行などの動作が速いことが一般的である。このような事象に対して、上述の構成を有する画像処理装置１０は、対象物が望む傾向の大きなタイミングで、対象物の反応に対して第２の挙動を移動体１２に出力するので、対象物の反応をより円滑に促し得る。したがって、画像処理装置１０は、移動体１２による交通の利便性をより向上し得る。

【0064】

また、本実施形態の画像処理装置１０は、第２の挙動の決定に、移動体１２の第１挙動後であって、所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いる。一般的に、移動体１２の第１の挙動に対して、反応を示すまでの時間間隔も、個々の対象物によって相違し得る。例えば、対象物が人である場合、せっかちな人および急いでいる人などは第１の挙動に即座に反応し、落ち着いた人および急いでいない人などは第１の挙動に対してゆっくりと反応する傾向がある。このような事象に対して、上述の構成を有する画像処理装置１０は、移動体１２の第１の挙動に対して、対象物が反応するまで待機してから第２の挙動を決定し得る。したがって、画像処理装置１０は、把握する対象物の意図の正確性を向上し得るので、移動体１２の交通の利便性をより向上し得る。

【0065】

また、本実施形態の画像処理装置１０は、第２の挙動を指示する情報を出力するタイミングを、移動体１２の周囲の交通状況にも応じて変動させる。一般的に、交通状況に応じて、移動体１２の挙動の速さに対する要求は変動する。このような事象に対して、上述の構成を有する画像処理装置１０は、対象物の動作の速度だけでなく、交通状況も反映させるので、移動体１２の交通の利便性をいっそう向上し得る。

【0066】

また、本実施形態の画像処理装置１０は、第１の挙動以後の複数の挙動を、所定の優先順位に応じて決定する。移動体１２が実行し得る多様な挙動は、対象物に注意喚起する能力および周囲にかける迷惑の度合いが異なっている。このような事象に対して、上述の構成を有する画像処理装置１０は、状況に適した順番に挙動を決定し、周囲にかける迷惑を低減しながら、対象物の注意喚起の確実性を向上させ得る。

【0067】

また、本実施形態の画像処理装置１０は、所定の優先順位を周辺環境に応じて変更する。対象物に注意喚起する能力および周囲にかける迷惑の度合いは、移動体１２のいる空間、および時間帯などにより変動し得る。それゆえ、上述の構成を有する画像処理装置１０は、周囲にかける迷惑を低減しながら、対象物の注意喚起の確実性をより向上させ得る。

【0068】

本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本発明の範囲に含まれることに留意されたい。

【0069】

例えば、本実施形態において、画像処理装置１０は移動体１２に搭載されているが、移動体１２に搭載されていなくてもよい。例えば、画像処理装置１０は、ネットワーク上のサーバなどであってもよく、ネットワークを介してサーバと通信することにより、画像処理装置１０は移動体１２から周辺画像を取得し、第１の挙動および第１の挙動以後の挙動を指示する情報を移動体１２に付与してよい。

【符号の説明】

【0070】

１０ 画像処理装置
１１ 撮像装置
１２ 移動体
１３ 撮像部
１４ 出力部
１５ 記憶部
１６ プロセッサ
１７ 誘導員
１８ 路上者
１９ 横断歩道

【図1】

【図2】

【図3】

【図4】