特開 2024-109674 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109674

(43)【公開日】2024-08-14

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240806BHJP

   G06T 7/00 20170101ALI20240806BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650B

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024078171

(22)【出願日】2024-05-13

(62)【分割の表示】P 2023060389の分割

【原出願日】2019-01-07

(31)【優先権主張番号】P 2018012872

(32)【優先日】2018-01-29

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2018012877

(32)【優先日】2018-01-29

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2018012902

(32)【優先日】2018-01-29

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】茂木 亮介

(72)【発明者】

【氏名】大和田 祥武

(72)【発明者】

【氏名】井田 陽介

(72)【発明者】

【氏名】三次 朋広

(72)【発明者】

【氏名】青山 貴宏

(72)【発明者】

【氏名】岩野 翔太

(72)【発明者】

【氏名】齋藤 伸彦

(72)【発明者】

【氏名】貴島 大輔

(57)【要約】      （修正有）

【課題】対象物の意図を判断し、交通の利便性の向上を図る。
【解決手段】画像処理装置１０ａは、プロセッサ１３ａを備える。プロセッサ１３ａは、対象物が人である場合、人の動きの方向、人の顔または視線の方向、および、人の手または足の動きのうち、少なくとも１つに基づき、人の状態を検出する。プロセッサ１３ａは、撮像部１１が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の第１の挙動を決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体の周辺を撮像した周辺映像から対象物の顔又は視線の方向を検出し、前記検出した対象物の顔又は視線の方向に基づき、前記移動体の挙動である第１の挙動を決定するプロセッサを備える画像処理装置。

【請求項2】

前記プロセッサは、前記移動体による前記第１の挙動に対する反応に基づいて認識した、前記対象物の意図に基づき、前記移動体の第２の挙動を決定する、請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、前記移動体による前記第１の挙動に対する、前記対象物の意図を認識可能な反応に基づき、前記移動体の第２の挙動を決定する、請求項１に記載の画像処理装置。

【請求項4】

前記プロセッサは、前記移動体による前記第１の挙動に対する反応に基づいて前記対象物の意図を認識できない場合に、前記対象物の意図を検出するための第２の挙動を決定する、請求項１に記載の画像処理装置。

【請求項5】

前記第１の挙動には、音声出力を含む、請求項１に記載の画像処理装置。

【請求項6】

前記第１の挙動に対して、前記対象物が前記移動体に接近するか否かによって、前記対象物の意図を判断する、請求項１に記載の画像処理装置。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、いずれも２０１８年１月２９日に出願された、日本国特許出願２０１８－０１２８７２号、日本国特許出願２０１８－０１２８７７号および日本国特許出願２０１８－０１２９０２号の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

【技術分野】

【0002】

本開示は、画像処理装置に関する。

【背景技術】

【0003】

従来、カメラの撮影画像から対象物を検出する技術が知られている。

【0004】

例えば、特許文献１には、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出する技術が記載されている。また、特許文献２には、車両が交差点を右折する際に、車載カメラ、レーダなどにより対向車の状態を検出し、その検出結果に基づき、対向車との衝突の可能性を判定し、運転者に通知を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－０６６８１０号公報

【特許文献2】特開２００８－２４３０６５号公報

【発明の概要】

【0006】

本開示の実施形態に係る画像処理装置は、プロセッサを備える。前記プロセッサは、移動体の周辺を撮像した周辺映像から対象物の顔又は視線の方向を検出し、前記検出した対象物の顔又は視線の方向に基づき、前記移動体の挙動である第１の挙動を決定する。

【図面の簡単な説明】

【0007】

【図1】本開示の第１の実施形態に係る画像処理装置の構成例を示す図である。

【図2】移動体と歩行者との間のこう着状態の発生例を示す図である。

【図3】図１に示す画像処理装置の動作の一例を示すフローチャートである。

【図4】本開示の第２の実施形態に係る画像処理装置の構成例を示す図である。

【図5】移動体と他の移動体との間のこう着状態の発生例を示す図である。

【図6】図４に示す画像処理装置の動作の一例を示すフローチャートである。

【図7】本開示の第３の実施形態に係る画像処理装置の構成例を示す図である。

【図8】図７に示す画像処理装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

近年、車両の全自動運転の研究・開発が進められている。上述した特許文献１および特許文献２に記載されている技術を全自動運転に適用し、例えば、立ち止りからの動き出しといった歩行者の状態、あるいは、人が運転する他の車両の状態を検出し、全自動運転による車両の制御に用いることも考えられる。しかしながら、上述した技術を適用した場合でも、必ずしも適切な全自動運転が行われるとは限らず、交通の利便性には向上の余地があった。

【0009】

以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は、同一または同等の構成要素を示している。

【0010】

（第１の実施形態）
図１は、本開示の第１の実施形態に係る画像処理装置１０ａの要部構成例を示す図である。本実施形態に係る画像処理装置１０ａは、図１に示すように、移動体１に搭載され、移動体１の周辺の周辺映像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体１に実行させる挙動を決定するものである。対象物としては、例えは、人、他の移動体、動物などがある。また、対象物としての人には、歩行者、自転車に乗っている人などが含まれる。移動体１としては、例えば、自動運転機能を備える車両がある。以下では、「自動運転」とは、車両を運転するユーザ操作の一部または全部を自動化することを含む。例えば、自動運転は、ＳＡＥ（Society of Automotive Engineers）において定義されるレベル１ないし５を含んでもよい。以下では、移動体１は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。また、以下では、全自動運転機能を備える車両を、全自動運転車両と称することがある。

【0011】

図１に示す画像処理装置１０ａは、出力部としての通信インタフェース１２と、プロセッサ１３ａと、記憶部１４とを備える。移動体１には、移動体１の周辺を撮像した周辺映像を取得する、入力部としての撮像部１１が搭載されている。画像処理装置１０ａと、撮像部１１とは、移動体１に搭載された撮像装置１Ａを構成する。まず、撮像部１１について説明する。

【0012】

撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した周辺映像を取得し、プロセッサ１３ａに出力する。撮像部１１は、移動体１に複数台搭載されてもよい。例えば、移動体１に４台の車載カメラが搭載される場合、例えば、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部とを撮影とを撮影可能な位置と、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部とを撮影可能な位置と、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部とを撮影可能な位置と、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部１１を配置する。このような配置とすることにより、移動体１の四方の周辺領域を撮影することができる。

【0013】

撮像部１１は、少なくとも撮像光学系と、撮像素子とを備える。

【0014】

撮像光学系は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子の受光面上には、複数の画素が配列されている。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、撮像素子により生成された撮像画像を、有線または無線を介して、プロセッサ１３ａに出力する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に撮像画像を出力してもよい。また、撮像部１１は、撮像画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。

【0015】

次に、画像処理装置１０ａが備える各構成について説明する。

【0016】

通信インタフェース１２は、有線または無線を介して、移動体１の各種制御系と通信を行うインタフェースである。通信インタフェース１２は、例えば、移動体１の走行を制御する制御系、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系などと通信を行う。

【0017】

プロセッサ１３ａは、例えば、ＤＳＰ（Digital Signal Processor）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３ａは、画像処理装置１０ａ全体の動作を制御する。例えば、プロセッサ１３ａは、撮像部１１が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の挙動を決定する。プロセッサ１３ａは、対象物が人である場合、人の動きの方向、人の顔または視線の方向、および、人の手または足の動きのうち、少なくとも１つに基づき、人の状態を検出する。

【0018】

また、プロセッサ１３ａは、通信インタフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。プロセッサ１３ａは、移動体１の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ１３ａは、例えば、移動体１の走行を制御する制御系にアクセスし、前進、後退、停止、減速および進路変更などの挙動を検出する。また、プロセッサ１３ａは、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。

【0019】

プロセッサ１３ａは、撮像部１１が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３ａは、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１の制御系に出力する。プロセッサ１３ａは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した対象物の状態に基づき、第１の挙動に対する対象物の有意な反応が得られない場合、移動体１の第２の挙動を決定する。ここで、有意な反応とは、対象物の意図を認識可能な反応であり、例えば、移動体１における自動運転において、対象物の意図を認識可能な反応である。有意な反応の具体例については、後述する。

【0020】

記憶部１４は、例えば、一次記憶装置または二次記憶装置などを含む。記憶部１４は、画像処理装置１０ａの動作に必要な種々の情報およびプログラムを記憶する。

【0021】

次に、画像処理装置１０ａの動作について説明する。

【0022】

全自動運転車両と対象物との間でこう着状態が発生することがある。こう着状態が生じ得る状況としては、対象物が人であるとすると、例えば、図２に示すように、移動体１が車道を走行中に、横断歩道２の付近の歩道に歩行者３が立っている状況がある。図２に示す状況では、移動体１は、撮像部１１が取得した周辺映像から、横断歩道２の付近に立つ歩行者３を検出すると、例えば、歩行者３が横断歩道２を渡ることができるように、横断歩道２の手前で停止する。しかしながら、歩行者３は、必ずしも、横断歩道２を渡るとは限らず、その場で立ち止っている場合がある。この場合、移動体１は、歩行者３が横断歩道２を渡る意図が無いにも関わらず、歩行者３が横断歩道２の付近に立ち止ったままであるので、横断歩道２の手前で停止したままとなる。このようにして、移動体１と歩行者３との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。

【0023】

一方、本実施形態においては、画像処理装置１０ａは、上述したようなこう着状態が発生し得る状況において、対象物から有意な反応が得られない場合、対象物に対して更なるアクションを起こすことで、対象物のリアクションを取得して、対象物の意図を検出する。すなわち、本実施形態においては、移動体１と対象物とがあたかも会話を行うようにして、対象物の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。

【0024】

図３は、画像処理装置１０ａの動作の一例を示すフローチャートであり、画像処理装置１０ａが実行する画像処理方法を説明するための図である。図３においては、図２に示したように、横断歩道２の付近に対象物としての歩行者３が立っている状態を例として説明する。

【0025】

ステップＳ１１：プロセッサ１３ａは、撮像部１１が取得した周辺映像から、図２に示すように、横断歩道２の付近に立ち止っている歩行者３が存在するか否かを判定する。横断歩道２の付近に歩行者３が立ち止っている状況は、移動体１と歩行者３との間でこう着状態が生じ得る状況の一例である。プロセッサ１３ａは、こう着状態が生じ得る各種の状況において、歩行者３が存在するか否かを判定する。プロセッサ１３ａは、種々の画像認識技術を用いて、周辺映像からの歩行者３の状態、および、例えば、横断歩道２の付近である、といった周辺環境を検出することができる。

【0026】

ステップＳ１２：歩行者３が存在しないと判定した場合（ステップＳ１１：Ｎｏ）、プロセッサ１３ａは、移動体１の全自動運転を継続し、移動体１に横断歩道２を通過させる。

【0027】

ステップＳ１３：歩行者３が存在すると判定した場合（ステップＳ１１：Ｙｅｓ）、プロセッサ１３ａは、移動体１の挙動として、「停車」を決定する。プロセッサ１３ａは、停車を指示する情報を通信インタフェース１２を介して移動体１に出力し、移動体１を停車させる。すなわち、プロセッサ１３ａは、横断歩道２の付近という環境において、周囲映像から検出した、立ち止っているという歩行者３の状態に基づき、移動体１の挙動（第１の挙動）として「停車」を決定し、「停車」を指示する情報を、通信インタフェース１２を介して移動体１に出力する。

【0028】

ステップＳ１４：プロセッサ１３ａは、移動体１の挙動（停車）に対する歩行者３の有意な反応を取得したか否かを判定する。例えば、プロセッサ１３ａは、撮像部１１が取得した周辺映像から、歩行者３の有意な反応を取得したか否かを判定する。

【0029】

移動体１の挙動（停車）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ１４：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体１の全自動運転を継続させる。有意な反応としては、例えば、図２に示す横断歩道２の例では、歩行者３が横断歩道２の横断を開始する、横断歩道２を渡らないことを示すジェスチャーを行う、移動体１に道を譲るようなジェスチャーをするなどの反応がある。これらの反応によれば、歩行者３が横断歩道２を渡る意図がある、歩行者３が横断歩道２を渡る意図がない、歩行者３が移動体１に道を譲る意図があるといった、歩行者３の意図を検出することができる。これらの歩行者３の意図を検出することで、移動体１は、全自動運転を継続することができる。

【0030】

ステップＳ１５：移動体１の停車後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体１の挙動（停車）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ１４：Ｎｏ）、プロセッサ１３ａは、移動体１の挙動（第２の挙動）を決定する。移動体１の挙動（停車）に対する歩行者３の有意な反応を取得することができない場合、歩行者３が移動体１の挙動（停車）に気がついていない、あるいは、横断歩道２を渡る意図がないなどと推定することができる。この場合、プロセッサ１３ａは、歩行者３に移動体１を気付かせる、あるいは、歩行者３の意図を検出するために、移動体１の第２の挙動を決定する。例えば、プロセッサ１３ａは、移動体１の挙動（第２の挙動）として、移動体１のライトを瞬間的に上向き（ハイビーム）で点灯させる「パッシング」を決定する。プロセッサ１３ａは、「パッシング」を指示する情報を、通信インタフェース１２を介して移動体１に出力し、パッシングを実行させる。

【0031】

このように、プロセッサ１３ａは、移動体１による第１の挙動（停車）後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、第１の挙動に対する歩行者３の有意な反応が得られない場合、移動体１の第２の挙動（パッシング）を決定する。こうすることで、移動体１から歩行者３に反応を促し、歩行者３の意図を画像処理装置１０ａでより正確に検出できるようになる。その結果、移動体１と歩行者３との間でこう着状態が発生する蓋然性を低減し、交通の円滑化を図ることができるので、移動体１による交通の利便性の向上を図ることができる。

【0032】

ステップＳ１６：プロセッサ１３ａは、移動体１の挙動（パッシング）に対する歩行者３の有意な反応を取得したか否かを判定する。

【0033】

移動体１の挙動（パッシング）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ１６：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体１の全自動運転を継続させる。

【0034】

ステップＳ１７：パッシング後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体1の挙動（パッシング）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ１６：Ｎｏ）、プロセッサ１３ａは、移動体１の挙動として、横断歩道２に到達しない程度（例えば、数十ｃｍ程度）、移動体１を前進させる「少し前進」を決定する。そして、プロセッサ１３ａは、「少し前進」を指示する情報を、通信インタフェース１２を介して移動体１に出力し、移動体１を少し前進させる。すなわち、ステップＳ１７においては、プロセッサ１３ａは、「パッシング」を第１の挙動とし、移動体１のパッシング後の周辺映像から検出した歩行者３の状態に基づき、第１の挙動に対する歩行者３の有意な反応が得られない場合、移動体１の第２の挙動として、「少し前進」を決定する。

【0035】

ステップＳ１８：プロセッサ１３ａは、移動体１の挙動（少し前進）に対する歩行者３の有意な反応を取得したか否かを判定する。

【0036】

移動体１の挙動（少し前進）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ１８：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体１の全自動運転を継続させる。

【0037】

ステップＳ１９：移動体１の少し前進後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体1の挙動（少し前進）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ１８：Ｎｏ）、プロセッサ１３ａは、移動体１の挙動として、「クラクション鳴動」を決定する。プロセッサ１３ａは、「クラクション鳴動」を指示する情報を、通信インタフェース１２を介して移動体1に出力し、クラクションを鳴動させる。すなわち、ステップＳ１９においては、プロセッサ１３ａは、「少し前進」を第１の挙動とし、移動体１の少し前進後の周辺映像から検出した歩行者３の状態に基づき、第１の挙動に対する歩行者３の有意な反応が得られない場合、移動体１の第２の挙動として、「クラクション鳴動」を決定する。

【0038】

ステップＳ２０：プロセッサ１３ａは、移動体１の挙動（クラクション鳴動）に対する歩行者３の有意な反応を取得したか否かを判定する。

【0039】

移動体１の挙動（クラクション鳴動）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ２０：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体1の全自動運転を継続させる。

【0040】

ステップＳ２１：移動体１によるクラクション鳴動後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体1の挙動（クラクション鳴動）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ２０：Ｎｏ）、プロセッサ１３ａは、移動体１の全自動運転を解除する。すなわち、プロセッサ１３ａは、所定回数だけ移動体１の挙動を繰り返しても歩行者３から有意な反応を取得することができない場合、移動体１の全自動運転を解除する。全自動運転の解除により、移動体１の運転者自身が、歩行者３の様子、仕草などから歩行者３の意図を認識し、その認識結果に応じて、移動体１を走行させることができる。

【0041】

図３においては、移動体１の挙動として、「停車」、「パッシング」、「少し前進」および「クラクション鳴動」を例として説明したが、これらに限られるものではない。移動体１の挙動としては、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、選択することができる。また、移動体１の挙動は、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、組み合わせた挙動であってもよい。また、移動体１が音声出力機能を備える場合には、移動体１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。

【0042】

また、図３においては、プロセッサ１３ａは、「停車」、「パッシング」、「少し前進」、「クラクション鳴動」の順に、移動体１の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ａは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体１の挙動を決定してもよい。プロセッサ１３ａは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ａは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ１３ａは、各動作に歩行者３が気付く可能性などに応じたポイントを付与してもよい。この場合、プロセッサ１３ａは、例えば、１または複数回、単一の動作による挙動を歩行者３に提示しても有意な反応が得られなければ、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体１の挙動として決定してもよい。

【0043】

また、図３においては、所定回数だけ移動体１の挙動を繰り返しても歩行者３から有意な反応を取得することができない場合、移動体１の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ１３ａは、例えば、全自動運転を解除する代わりに、歩行者３と距離をとって徐行しながら、移動体１を走行させてもよい。

【0044】

また、図１においては、移動体１に搭載された画像処理装置１０ａにより、周辺映像からの対象物の状態の検出および対象物の状態に応じた移動体１の挙動の決定などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ１３ａが備える、周辺映像からの対象物の状態の検出および対象物の状態に応じた移動体１の挙動の決定など機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体１はネットワークを介してサーバと通信可能であり、移動体１からは周辺映像をサーバに送信する。サーバは、移動体１から取得した周辺映像から対象物の検出および対象物の状態に応じた移動体１の挙動の決定を行い、決定した挙動を指示する情報を移動体１に送信する。

【0045】

このように本実施形態においては、画像処理装置１０ａは、通信インタフェース１２と、プロセッサ１３ａとを備える。プロセッサ１３ａは、移動体１の周辺を撮像した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の挙動を決定する。通信インタフェース１２は、プロセッサ１３ａにより決定された移動体１の挙動を指示する情報を移動体１に出力する。プロセッサ１３ａは、周辺映像から検出した対象物の状態に基づき、移動体１の第１の挙動を決定し、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。プロセッサ１３ａは、移動体１による第１の挙動後の周辺映像から検出した対象物の状態に基づき、移動体１の第２の挙動を決定する。

【0046】

移動体１の第１の挙動後に、第２の挙動を移動体１に行わせることで、対象物の反応を促し、対象物の意図をより正確に検出することができるようになる。その結果、移動体１と対象物との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。

【0047】

（第２の実施形態）
図４は、本開示の第２の実施形態に係る画像処理装置１０ｂの要部構成例を示す図である。本実施形態に係る画像処理装置１０ｂは、図４に示すように、移動体１に搭載され、移動体１の周辺の周辺映像から他の移動体の状態を検出し、検出した他の移動体の状態に応じて、移動体１に実行させる挙動を決定するものである。移動体１としては、例えば、自動運転機能を備える車両がある。また、他の移動体としては、例えば、人が運転する車両がある。

【0048】

図１に示す画像処理装置１０ｂは、出力部としての通信インタフェース１２と、プロセッサ１３ｂと、記憶部１４とを備える。すなわち、本実施形態に係る画像処理装置１０ｂは、第１の実施形態に係る画像処理装置１０ａと比較して、プロセッサ１３ａをプロセッサ１３ｂに変更した点が異なる。移動体１には、移動体１の周辺を撮像した周辺映像を取得する、入力部としての撮像部１１が搭載されている。画像処理装置１０ｂと、撮像部１１とは、移動体１に搭載された撮像装置１Ａを構成する。

【0049】

プロセッサ１３ｂは、例えば、ＤＳＰなどの専用のプロセッサ、または、ＣＰＵなどの汎用プロセッサを含む。プロセッサ１３ｂは、画像処理装置１０ｂ全体の動作を制御する。例えば、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から他の移動体の像を検出し、検出した他の移動体の状態に基づき、移動体１の挙動を決定する挙動決定処理を行う。プロセッサ１３ｂは、他の移動体の状態として、他の移動体の前進、後退、停止、減速、操舵方向、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持の少なくとも１つを検出する。

【0050】

また、プロセッサ１３ｂは、通信インタフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。プロセッサ１３ｂは、移動体１の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ１３ｂは、例えば、移動体１の走行を制御する制御系にアクセスし、前進、後退、停止、減速、進路変更などの挙動を検出する。また、プロセッサ１３ｂは、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。

【0051】

プロセッサ１３ｂは、挙動決定処理として、以下の動作を行う。すなわち、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から他の移動体の像を検出し、検出した他の移動体の第１の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３ｂは、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１の制御系に出力する。プロセッサ１３ｂは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した他の移動体の第２の状態に基づき、第１の挙動に対する他の移動体の有意な反応が得られない場合、移動体１の第２の挙動を決定する。ここで、有意な反応とは、他の移動体の運転者の意図を認識可能な反応であり、例えば、移動体１における自動運転において、他の移動体の運転者の意図を認識可能な反応である。有意な反応の具体例については、後述する。

【0052】

次に、画像処理装置１０ｂの動作について説明する。

【0053】

全自動運転車両と人が運転する車両との間でこう着状態が発生することがある。こう着状態が生じ得る状況としては、例えば、図５に示すように、移動体１が交差点を右折する際に、対向車線を走行する他の移動体４が交差点の手前で停止した状況がある。図５に示す状況では、移動体１は、撮像部１１が取得した周辺映像から、対向車線上の他の移動体４を検出すると、例えば、他の移動体４が直進あるいは左折できるように、走行車線から交差点に少し進入した地点で停止する。しかしながら、他の移動体４は、必ずしも交差点に進入して、直進あるいは左折するとは限らず、移動体１に道を譲るため、あるいは、荷物などの積み下ろしなどのために停止することがある。この場合、他の移動体４の運転者が交差点に進入する意図が無いにも関わらず、他の移動体４が交差点の手前に存在し続けるために、移動体１は、停止したままとなる可能性がある。このようにして、移動体１と他の移動体４との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。

【0054】

一方、本実施形態においては、画像処理装置１０ｂは、上述したようなこう着状態が発生し得る状況において、他の移動体４から有意な反応が得られない場合、他の移動体４に対して更なるアクションを起こす。こうすることで、画像処理装置１０ｂは、他の移動体４のリアクションを取得して、他の移動体４の運転者の意図をより正確に検出する。すなわち、本実施形態においては、移動体１と他の移動体４とがあたかも会話を行うようにして、他の移動体４の運転者の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。

【0055】

図６は、画像処理装置１０ｂの動作の一例を示すフローチャートであり、画像処理装置１０ｂが実行する画像処理方法について説明するための図である。図６においては、図５に示したように、移動体１が交差点を右折する状態を例として説明する。

【0056】

ステップＳ３１：プロセッサ１３ｂは、撮像部１１が取得した周辺映像から、対向車線に他の移動体４である対向車が存在するか否かを判定する。

【0057】

ステップＳ３２：対向車が存在しないと判定した場合（ステップＳ３１：Ｎｏ）プロセッサ１３ｂは、移動体１の全自動運転を継続し、移動体１に交差点を右折させる。

【0058】

ステップＳ３３：対向車が存在すると判定した場合（ステップＳ３１：Ｙｅｓ）、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から、対向車が前進してくるか否かを判定する。

【0059】

ステップＳ３４：対向車が前進してくると判定した場合（ステップＳ３３：Ｙｅｓ）、プロセッサ１３ｂは、交差点の中央付近であって対向車が直進可能なようにして右折待ちをする右折位置で、移動体１を停止させる。

【0060】

ステップＳ３５：次に、プロセッサ１３ｂは、対向車が交差点を直進あるいは左折して、交差点を通過したか否かを判定する。

【0061】

対向車が交差点を通過していないと判定した場合（ステップＳ３５：Ｎｏ）、プロセッサ１３ｂは、ステップＳ３４の処理に戻り、移動体１を引き続き停止させる。

【0062】

対向車が交差点を通過したと判定した場合（ステップＳ３５：Ｙｅｓ）、プロセッサ１３ｂは、移動体１の全自動運転を継続し、移動体１に交差点を右折させる。

【0063】

ステップＳ３６：対向車が前進していないと判定した場合（ステップＳ３３：Ｎｏ）、プロセッサ１３ｂは、移動体１の挙動として、対向車の直進を妨げることなく、右折位置から移動体１を少し（例えば、数十ｃｍ程度）前進させる「少し前進」を決定する。すなわち、プロセッサ１３ｂは、交差点の右折時という環境において、停止という対向車の状態（第１の状態）に基づき、移動体１の挙動（第１の挙動）として「少し前進」を決定し、「少し前進」を指示する情報を、通信インタフェース１２を介して移動体１に出力する。

【0064】

上述したように、移動体１による交差点の右折時に、他の移動体４である対向車が停止しているという状況は、移動体１と他の移動体４との間でこう着状態が生じ得る状況の一例である。プロセッサ１３ｂは、こう着状態が生じ得る各種の状況において、他の移動体４が存在するか否かを判定する。プロセッサ１３ｂは、種々の画像認識技術を用いて、周辺映像から他の移動体４の状態、および、交差点の右折時である、といった周辺環境を検出することができる。

【0065】

ステップＳ３７：プロセッサ１３ｂは、移動体１の挙動（少し前進）に対する対向車の有意な反応を取得したか否かを判定する。例えば、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から、対向車の有意な反応を取得したか否かを判定する。

【0066】

移動体１の挙動（少し前進）に対する対向車の有意な反応を取得することができたと判定した場合（ステップＳ３７：Ｙｅｓ）、プロセッサ１３ｂは、ステップＳ３２の処理に進み、移動体１の全自動運転を継続させる。有意な反応としては、例えば、図５に示す交差点の右折時の例では、対向車が前進を開始する、対向車が移動体１に道を譲るような動作、例えば、パッシングをする、などの反応がある。これらの反応によれば、交差点に進入する意図がある、移動体１に道を譲る意図があるといった、対向車の運転者の意図を検出することができる。対向車の運転者の意図を検出することで、移動体１は、その意図に応じて、全自動運転を継続することができる。

【0067】

ステップＳ３８：移動体１による第１の挙動（少し前進）後に、撮像部１１が取得した周辺映像から検出した対向車の状態に基づき、移動体１の挙動に対する対向車の有意な反応を取得することができないと判定した場合（ステップＳ３７：Ｎｏ）、プロセッサ１３ｂは、移動体１の挙動（第２の挙動）を決定する。移動体１の挙動（少し前進）に対する対向車の有意な反応を取得することができない場合、対向車の運転手が移動体１の挙動に気がついていない、あるいは、交差点に進入する意図がないなどと推定することができる。この場合、プロセッサ１３ｂは、対向車の運転者に移動体１を気付かせる、あるいは、対向車の運転者の意図をより正確に検出するために、対向車の反応を促すような移動体１の第２の挙動を決定する。例えば、プロセッサ１３ｂは、移動体１の第２の挙動として、移動体１のライトを瞬間的に上向き（ハイビーム）で点灯させる「パッシング」を決定する。プロセッサ１３ｂは、「パッシング」を指示する情報を、通信インタフェース１２を介して移動体１に出力し、パッシングを実行させる。

【0068】

このように、プロセッサ１３ｂは、移動体１による第１の挙動（少し前進）後に、撮像部１１が取得した周辺映像から検出した他の移動体４の状態に基づき、第１の挙動に対する他の移動体４の有意な反応が得られない場合、移動体１の第２の挙動（パッシング）を決定する。こうすることで、移動体１から他の移動体４に反応を促し、他の移動体４の運転者の意図を画像処理装置１０ｂでより正確に検出できるようになる。その結果、移動体１と他の移動体４との間でこう着状態が発生する蓋然性を低減し、交通の円滑化を図ることができるので、交通の利便性の向上を図ることができる。

【0069】

ステップＳ３９：プロセッサ１３ｂは、移動体１の挙動（パッシング）に対する対向車の有意な反応を取得したか否かを判定する。

【0070】

移動体１の挙動（パッシング）に対する対向車の有意な反応を取得することができたと判定した場合（ステップＳ３９：Ｙｅｓ）、プロセッサ１３ｂは、ステップＳ３２の処理に進み、移動体１の全自動運転を継続させる。

【0071】

ステップＳ４０：移動体１の挙動（パッシング）に対する対向車の有意な反応を取得することができないと判定した場合（ステップＳ３９：Ｎｏ）、プロセッサ１３ｂは、移動体１の全自動運転を解除する。全自動運転の解除により、移動体１の運転者自身が、対向車の様子などから対向車の運転者の意図を認識し、その認識結果に応じて、移動体１を走行させることができる。

【0072】

図６においては、第２の挙動として、パッシングを行った後、対向車の有意な反応が得られない場合、移動体１の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｂは、パッシングに続いて、クラクション鳴動、ウィンカ点滅などの動作を順次行い、動作毎に、対向車の有意な反応が得られるか否かを判定してもよい。また、プロセッサ１３ｂは、所定回数だけ移動体１の挙動を繰り返しても他の移動体４から有意な反応を取得することができない場合、移動体１の全自動運転を解除するようにしてもよい。

【0073】

また、図６においては、移動体１の挙動として、「少し前進」、「パッシング」を例として説明したが、これらに限られるものではない。移動体１の挙動としては、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、選択することができる。また、移動体１の挙動は、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、組み合わせた挙動であってもよい。また、移動体１が音声出力機能を備える場合には、移動体１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。

【0074】

また、図６においては、プロセッサ１３ｂは、「少し前進」、「パッシング」の順に、移動体１の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｂは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」、「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体１の挙動を決定してもよい。プロセッサ１３ｂは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ｂは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ１３ｂは、所定の基準、例えば、他の移動体４の運転者が気付く可能性の高さなどに応じたポイントを、動作毎に付与してもよい。この場合、プロセッサ１３ｂは、例えば、１または複数回、単一の動作による挙動を提示しても他の移動体４の有意な反応を取得することができない場合、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体１の挙動として決定してもよい。

【0075】

また、図６においては、所定回数だけ移動体１の挙動を繰り返しても他の移動体４から有意な反応を取得することができない場合、移動体１の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｂは、例えば、全自動運転を解除する代わりに、他の移動体４と距離をとって移動体１を徐行しながら走行させてもよい。

【0076】

また、図４においては、移動体１に搭載された画像処理装置１０ｂにより、周辺映像からの他の移動体４の状態の検出および他の移動体４の状態に応じた移動体１の挙動の決定などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ１３ｂが備える、周辺映像からの他の移動体４の状態の検出および他の移動体４の状態に応じた移動体１の挙動の決定など機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体１はネットワークを介してサーバと通信可能であり、移動体１からは周辺映像をサーバに送信する。サーバは、移動体１から取得した周辺映像から他の移動体４の検出および他の移動体４の状態に応じた移動体１の挙動の決定を行い、決定した挙動を指示する情報を移動体１に送信する。

【0077】

次に、プロセッサ１３ｂの動作例についてより具体的に説明する。

【0078】

プロセッサ１３ｂは、移動体１の進路を予測する。プロセッサ１３ｂは、例えば、撮像部１１の撮影映像、および、通信インタフェース１２を介した移動体１の走行を制御する制御系の監視結果に基づき、移動体１の進路を予測する。また、プロセッサ１３ｂは、他の移動体４の状態（第１の状態）に基づき、他の移動体４の進路を予測する。そして、プロセッサ１３ｂは、移動体１と他の移動体４との衝突が予測される場合、例えば、他の移動体４の状態（第２の状態）が、前進または現状維持であれば、衝突の予測が解消されるまで、移動体１の挙動（第２の挙動）として、停止または減速を決定する。また、プロセッサ１３ｂは、移動体１と他の移動体４との衝突が予測される場合、例えば、他の移動体４の状態（第２の状態）が、停止、減速および進路変更のいずれかであれば、移動体１の挙動（第２の挙動）として、前進またはパッシングを決定する。こうすることで、移動体１と他の移動体４との衝突を回避することができる。以下では、移動体１の走行時の種々のケースにおけるプロセッサ１３ｂの動作例について、説明する。

【0079】

まず、移動体１が交差点を右折する際のプロセッサ１３ｂの動作例について、表１を参照して説明する。

【0080】

【表1】

【0081】

プロセッサ１３ｂは、移動体１の右折時には、他の移動体４として、移動体１の走行車線の対向車線を走行する対向車の状態を検出する。プロセッサ１３ｂは、対向車が前進している場合には、移動体１の挙動として、「停止」を決定する。そして、プロセッサ１３ｂは、対向車の状態を再度、検出する。対向車が前進している場合には、プロセッサ１３は、移動体１を待機させる。すなわち、プロセッサ１３ｂは、移動体１を停止させたままとする。また、対向車が停止した場合には、プロセッサ１３ｂは、移動体１の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。

【0082】

また、プロセッサ１３ｂは、対向車が停止している場合には、移動体１の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。そして、プロセッサ１３ｂは、対向車の状態を再度、検出し、対向車から有意な反応が得られたか否かを判定する。プロセッサ１３ｂは、対向車から有意な反応が得られたと判定した場合には、移動体１の挙動として、対向車の反応に応じた挙動を決定する。例えば、プロセッサ１３ｂは、対向車の運転者が交差点に進入する意図があると判定した場合には、対向車が通過するまで、移動体１を停止させる。また、例えば、プロセッサ１３ｂは、対向車の運転者が移動体１に道を譲る意図があると判定した場合には、移動体１に交差点を右折させる。

【0083】

対向車から有意な反応が得られないと判定した場合には、プロセッサ１３ｂは、対向車の運転者の意図を検出可能な対向車の反応を促すために、移動体１の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。そして、プロセッサ１３ｂは、対向車の状態を再度、検出する。このように、プロセッサ１３ｂは、移動体１による交差点の右折時に、対向車線を走行する他の移動体４の状態を検出する。そして、プロセッサ１３ｂは、対向車の状態として、対向車の停止を検出した場合、挙動決定処理を行う。

【0084】

移動体１の右折時に、対向車が停車している場合、対向車の運転者の意図が必ずしも明確ではなく、移動体１と対向車との間でこう着状態が生じ得る。したがって、挙動決定処理により、移動体１の挙動として、対向車の反応を促す挙動を決定し、対向車の運転者の意図をより正確に検出することで、こう着状態が生じる蓋然性を低減することができる。

【0085】

次に、移動体１が走行車線から高速道路などの本線に合流する際の、すなわち、移動体１による第１の車線から第２の車線への合流時の動作例について、表２を参照して説明する。

【0086】

【表2】

【0087】

プロセッサ１３ｂは、高速道路などの本線への合流時には、他の移動体４として、移動体１よりも後方であって、本線を走行する車両の状態を検出する。以下では、移動体１よりも後方であって、本線を走行する車両を、本線走行車両と称する。プロセッサ１３ｂは、本線走行車両が無い場合には、移動体１の挙動として、「ウィンカ点灯」、「車線変更開始」を決定する。すなわち、プロセッサ１３ｂは、本線走行車両がない場合には、移動体１に本線への合流を開始させる。

【0088】

本線走行車両が減速している場合、本線走行車両の運転者は、移動体１の本線への合流を促す意図があると推定することができる。そこで、プロセッサ１３ｂは、移動体１の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「加速」を決定する。そして、プロセッサ１３ｂは、本線走行車両の状態を検出し、そのまま本線への合流が可能であれば、移動体１に本線への合流を開始させる。

【0089】

本線走行車両が加速している場合、本線走行車両の運転者は、移動体１の本線への合流を促してはおらず、そのまま走行を続ける意図があると推定することができる。そこで、プロセッサ１３ｂは、移動体１の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「減速」を決定する。そして、プロセッサ１３ｂは、本線走行車両の状態を検出し、例えば、本線走行車両がそのまま走行を続けていれば、本線への合流は行わず、その本線走行車両の通過後に再び、本線への合流を試みる。

【0090】

本線走行車両が等速度で走行している場合、すなわち、本線走行車両の車速が所定値以上変化しない等速走行をしている場合、本線走行車両の運転者が、移動体１の本線への合流を促す意図があるのか、移動体１の本線への合流を促してはおらず、そのまま走行を続ける意図があるのか不明である。そこで、プロセッサ１３ｂは、本線走行車両の運転者の意図を検出可能な本線走行車両の反応を促すために、移動体１の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「加速」、「減速」などを決定する。そして、プロセッサ１３ｂは、本線走行車両の状態を再度、検出し、本線走行車両から有意な反応が得られたか否かを判定する。本線走行車両から有意な反応が得られたと判定した場合には、プロセッサ１３ｂは、移動体１の挙動として、本線走行車両の反応に応じた挙動を決定する。例えば、プロセッサ１３ｂは、本線走行車両の運転者が移動体１の本線への合流を促す意図があると判定した場合には、移動体１に変遷への合流を開始させる。また、例えば、プロセッサ１３ｂは、本線走行車両の運転者が移動体１の本線への合流を促してはおらず、そのまま走行を続ける意図があると判定した場合には、その本線走行車両の通過後に再び、本線への合流を試みる。

【0091】

本線走行車両から有意な反応が得られないと判定した場合には、プロセッサ１３ｂは、移動体１の挙動として、プロセッサ１３ｂは、本線走行車両の運転者の意図を検出可能な対向車の反応を促すための移動体１の挙動を決定する。このように、プロセッサ１３ｂは、移動体１による第１の車線から第２の車線への合流時に、移動体１の後方であって、第２の車線を走行する他の移動体４の状態を検出する。そして、プロセッサ１３ｂは、他の移動体４の状態として、他の移動体４による等速走行を検出した場合、挙動決定処理を行う。

【0092】

移動体１の走行車線から本線への合流時に、本線走行車両が等速走行している場合、本線走行車の意図が必ずしも明確ではなく、移動体１と本線走行車両との間でこう着状態が生じ得る。したがって、挙動決定処理により、移動体１の挙動として、対向車の反応を促す挙動を決定し、対向車の運転者の意図をより正確に検出することで、こう着状態が生じる蓋然性を低減することができる。

【0093】

次に、移動体１が交差点あるいはＴ字路を右折または左折する際の、すなわち、移動体１により、移動体１の走行路から、走行路と交差する交差路への進入時の動作例について、表３を参照して説明する。

【0094】

【表3】

【0095】

プロセッサ１３ｂは、移動体１による交差点あるいはＴ字路の右折または左折時には、他の移動体４の状態として、交差路を走行する車両のうち、移動体１がその車両よりも前方に進入しようとする車両の状態を検出する。以下では、交差路を走行し、移動体１が、その車両よりも前方に進入しようとする車両を、交差路走行車両と称する。

【0096】

プロセッサ１３ｂは、交差路走行車両が停止した場合、移動体１の挙動として、「少し前進」を決定する。そして、プロセッサ１３ｂは、交差路走行車両の状態を再度、検出する。プロセッサ１３ｂは、交差路走行車両の状態が所定時間以上、変化しない場合、すなわち、交差路走行車両が停止したままである場合、移動体１にその交差路走行車両の前方へ進入させる。プロセッサ１３ｂは、交差路走行車両が前進した場合、移動体１の挙動として、その交差路走行車両の前方への進入を取りやめ、交差路走行車両に前進を促す挙動を決定する。

【0097】

また、プロセッサ１３ｂは、交差路走行車両が走行しているが、交差路走行車両の前方に移動体１が進入可能な所定以上のスペースがある場合、移動体１の挙動として、「少し前進」を決定する。そして、プロセッサ１３ｂは、交差路走行車両の状態を再度、検出する。プロセッサ１３ｂは、交差路走行車両が停止した場合、および、交差路走行車両が減速し、パッシングを行った場合、交差路走行車両の運転者が移動体１に道を譲る意図があると判定し、移動体１に交差路へ進入させる。また、プロセッサ１３ｂは、交差路走行車両が減速したが、パッシングを行わない場合、移動体１の挙動として、その交差路走行車両の前方への進入を取りやめ、交差路走行車両に前進を促す挙動を決定する。

【0098】

また、プロセッサ１３ｂは、例えば、移動体１の走行時に、移動体１の走行路上において、移動体１の進行方向に存在する他の移動体４の状態を検出してもよい。この場合、プロセッサ１３ｂは、他の移動体４の停止を検出した場合、挙動決定処理を行ってもよい。こうすることで、例えば、道幅の狭い道路において、移動体１と他の移動体４とがすれ違うような場合に、プロセッサ１３ｂは、他の移動体４の反応から、前進するか、その場で停止するかなど、移動体１の挙動を決定してもよい。

【0099】

また、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から道路反射鏡を検出し、道路反射鏡に映った像に基づき、他の移動体４の状態を検出してもよい。こうすることで、見通しの悪い道路、交差点などにおいても、他の移動体４の状態を検出することができる。

【0100】

このように本実施形態においては、画像処理装置１０ｂは、通信インタフェース１２と、プロセッサ１３ｂとを備える。プロセッサ１３ｂは、移動体１の周辺を撮像した周辺映像から他の移動体４の像を検出し、検出した他の移動体４の状態に基づき、移動体１の挙動を決定する挙動決定処理を行う。通信インタフェース１２は、プロセッサ１３ｂにより決定された移動体１の挙動を指示する情報を移動体１に出力する。プロセッサ１３ｂは、挙動決定処理として、周辺映像から検出した他の移動体４の第１の状態に基づき、移動体１の第１の挙動を決定し、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。プロセッサ１３ｂは、移動体１による第１の挙動後の周辺映像から検出した他の移動体４の第２の状態に基づき、第１の挙動に対する他の移動体４の有意な反応が得られない場合、移動体１の第２の挙動を決定する。

【0101】

移動体１の第１の挙動に対する他の移動体４の有意な反応が得られない場合に、第２の挙動を移動体１に行わせることで、他の移動体４の反応を促し、他の移動体４の運転者の意図をより正確に検出することができるようになる。その結果、移動体１と他の移動体４との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。

【0102】

（第３の実施形態）
図７は、本開示の第３の実施形態に係る画像処理装置１０ｃの要部構成例を示す図である。本実施形態に係る画像処理装置１０ｃは、図７に示すように、バス、タクシーなどの旅客を運搬する移動体１に搭載される。ここで、移動体１は、自動運転機能を備える。画像処理装置１０ｃは、移動体１の周辺の周辺映像から移動体１への搭乗候補者の状態を検出し、検出した搭乗候補者の状態に応じて、移動体１に実行させる挙動を決定するものである。

【0103】

図１に示す画像処理装置１０ｃは、出力部としての通信インタフェース１２と、プロセッサ１３ｃと、記憶部１４とを備える。すなわち、本実施形態に係る画像処理装置１０ｃは、第１の実施形態に係る画像処理装置１０ａと比較して、プロセッサ１３ａをプロセッサ１３ｃに変更した点が異なる。移動体１には、移動体１の周辺を撮像した周辺映像を取得する、入力部としての撮像部１１が搭載されている。画像処理装置１０ｃと、撮像部１１とは、移動体１に搭載された撮像装置１Ａを構成する。

【0104】

プロセッサ１３ｃは、例えば、ＤＳＰなどの専用のプロセッサ、または、ＣＰＵなどの汎用プロセッサを含む。プロセッサ１３ｃは、画像処理装置１０ｃ全体の動作を制御する。例えば、プロセッサ１３ｃは、撮像部１１が取得した周辺映像から移動体１への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体１の挙動を決定する。プロセッサ１３ｃは、搭乗候補者の動きの方向、搭乗候補者の顔または視線の方向、および、搭乗候補者の手または足の動きのうち、少なくとも１つに基づき、搭乗候補者の状態を検出する。

【0105】

また、プロセッサ１３ｃは、通信インタフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。プロセッサ１３ｃは、移動体１の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ１３ｃは、例えば、移動体１の走行を制御する制御系にアクセスし、前進、後退、停止、減速および進路変更などの挙動を検出する。また、プロセッサ１３ｃは、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。

【0106】

プロセッサ１３ｃは、撮像部１１が取得した周辺映像から移動体１への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３ｃは、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１の制御系に出力する。プロセッサ１３ｃは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した搭乗候補者の状態に基づき、移動体１の第２の挙動を決定する。

【0107】

次に、画像処理装置１０ｃの動作について説明する。

【0108】

旅客を運搬する移動体１に全自動運転機能が搭載された場合、移動体１は、停留所に立つ人、移動体１の走行路の道端に立つ人などを搭乗候補者として認識し、搭乗候補者が乗車できるように停止することが考えられる。しかしながら、このような搭乗候補者が必ずしも移動体１に搭乗するとは限らない。この場合、移動体１は、停留所に立つ人、移動体１の走行路の道端に立つ人などを搭乗候補者として認識し続け、停止したままとなる可能性がある。このようにして、移動体１と、搭乗候補者との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。

【0109】

一方、本実施形態においては、画像処理装置１０ｃは、上述したようなこう着状態が発生し得る状況において、移動体１による第１の挙動後に、搭乗候補者に対してさらなるアクションを行うことで、搭乗候補者のリアクションを取得して、搭乗候補者の意図をより正確に検出する。すなわち、本実施形態においては、移動体１と搭乗候補者とがあたかも会話を行うにようにして、搭乗候補者の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。

【0110】

図８は、画像処理装置１０ｃの動作の一例を示すフローチャートであ、画像処理装置１０ｃが実行する画像処理方法について説明するための図である。図８においては、移動体１がタクシーである場合を例として説明する。

【0111】

ステップＳ５１：プロセッサ１３ｃは、移動体１の走行中、撮像部１１が取得した周辺映像から、搭乗候補者の有無を判定する。ここで、プロセッサ１３ｃは、例えば、移動体１の走行路の道端に立つ人を搭乗候補者として検出する。

【0112】

ステップＳ５２：搭乗候補者がいないと判定した場合には（ステップＳ５１：Ｎｏ）、プロセッサ１３ｃは、移動体１をそのまま前進させる。すなわち、プロセッサ１３ｃは、移動体１の走行を継続させる。

【0113】

ステップＳ５３：搭乗候補者がいると判定した場合には（ステップＳ５１：Ｙｅｓ）、プロセッサ１３ｃは、撮像部１１が取得した周辺映像から搭乗候補者のジェスチャ認識を行う。

【0114】

ステップＳ５４：プロセッサ１３ｃは、搭乗候補者のジェスチャ認識の結果から、搭乗候補者が、タクシーに乗車するための乗車行動を行ったか否かを判定する。タクシーに乗車するための乗車行動としては、例えば、搭乗候補者が、手を上げるといった行動、移動体１に視線を向けているといった行動などがある。ただし、搭乗候補者が、これらの行動を行ったとしても、必ずしも移動体１に乗車する意図があるとは限らない。

【0115】

ステップＳ５５：搭乗候補者が乗車行動を行ったと判定した場合には（ステップＳ５４：Ｙｅｓ）、プロセッサ１３ｃは、移動体１の第１の挙動として、例えば、「減速」、「パッシング」、「クラクション鳴動」または「ウィンカ点滅」などを決定する。そして、プロセッサ１３ｃは、決定した挙動を指示する情報を、通信インタフェース１２を介して移動体１に出力する。

【0116】

ステップＳ５６：プロセッサ１３ｃは、ステップＳ５５で決定した、移動体１による第１の挙動後に撮像部１１が取得した周辺映像から、搭乗候補者が自車両、すなわち、移動体１に近づいてきたか否かを判定する。乗車行動を行った搭乗者候補が移動体１に近づいてくる場合には、搭乗者候補が移動体１に乗車する意図がある可能性が高い。したがって、第１の挙動後に、搭乗候補者が移動体１に近づいてきたか否かを判定することにより、乗車行動の有無だけにより判定する場合と比べて、より高精度に、搭乗候補者の移動体１への乗車の意図の有無を検出することができる。

【0117】

搭乗候補者が移動体１に近づいてきていないと判定した場合には（ステップＳ５６：Ｎｏ）、プロセッサ１３ｃは、搭乗候補者が移動体１に乗車する意図は無いと判定し、ステップＳ５２の処理に進んで、移動体１をそのまま前進させる。プロセッサ１３ｃは、搭乗候補者が移動体１に近づいてきていないと判定した場合、ステップＳ５５の処理に戻り、別の挙動を移動体１に行わせて、再び、搭乗候補者が移動体１に近づいてきたか否かを判定するようにしてもよい。この場合、プロセッサ１３ｃは、移動体１の挙動と、搭乗候補者が移動体１に近づいてきたか否かの判定とを複数回繰り返しても依然として、搭乗候補者が移動体１に近づいてきていないと判定した場合、ステップＳ５２の処理に進んでもよい。

【0118】

移動体１の挙動と、搭乗候補者が移動体１に近づいてきたか否かの判定とを複数回繰り返す場合、プロセッサ１３ｃは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体１の挙動を決定してもよい。また、移動体１が音声出力機能を備える場合には、移動体１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。

【0119】

また、プロセッサ１３ｃは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ｃは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ１３ｃは、搭乗候補者が気付く可能性などに応じたポイントを各動作に付与してもよい。この場合、プロセッサ１３ｃは、例えば、１または複数回、単一の動作による挙動を搭乗候補者に提示しても有意な反応が得られなければ、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体１の挙動として決定してもよい。

【0120】

搭乗候補者が移動体１に近づいてきたと判定した場合には（ステップＳ５６：Ｙｅｓ）、プロセッサ１３ｃは、搭乗候補者が移動体１に乗車する意図があると判定する。

【0121】

ステップＳ５７：プロセッサ１３ｃは、搭乗候補者が移動体１に乗車する意図があると判定すると、搭乗候補者を乗車させるために、移動体１の挙動として、「停止」を決定する。そして、プロセッサ１３ｃは、「停止」を指示する情報を、通信インタフェース１２を介して移動体１に出力する。

【0122】

このように、プロセッサ１３ｃは、周辺映像から検出した搭乗候補者の状態、例えば、乗車行動を行っている状態に基づき、移動体１の第１の挙動として、「減速」、「パッシング」、「クラクション鳴動」および「ウィンカ点滅」などの挙動を決定する。プロセッサ１３ｃは、決定した第１の挙動を指示する情報を、通信インタフェース１２を介して移動体１に出力する。そして、プロセッサ１３ｃは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した搭乗候補者の状態、すなわち、搭乗候補者が移動体１に近づいてきたか否かにより、停止あるいは走行継続という、移動体１の第２の挙動を決定する。

【0123】

ステップＳ５８：プロセッサ１３ｃは、移動体１の停止後、搭乗候補者が移動体１に乗車できるように、移動体１のドアを開放させる。

【0124】

ステップＳ５９：プロセッサ１３ｃは、ドアの開放後、搭乗候補者の移動体１への乗車が完了したか否かを判定する。

【0125】

搭乗候補者の移動体１への乗車が完了していないと判定した場合には（ステップＳ５９：Ｎｏ）、プロセッサ１３ｃは、ステップＳ５９の処理を繰り返す。

【0126】

ステップＳ６０：搭乗候補者の移動体１への乗車が完了したと判定した場合には（ステップＳ５９：Ｙｅｓ）、プロセッサ１３ｃは、移動体１のドアを閉止させる。

【0127】

ステップＳ６１：プロセッサ１３ｃは、移動体１のドアの閉止後、移動体１の発車を周囲に示すために、移動体１のウィンカを点滅させる。その後、プロセッサ１３ｃは、ステップＳ５２の処理に進み、移動体１を前進させる。

【0128】

ステップＳ６２：搭乗候補者が乗車行動を行っていないと判定した場合には（ステップＳ５４：Ｎｏ）、プロセッサ１３ｃは、周辺映像に基づき、搭乗候補者までの距離が所定距離以上であるか否かを判定する。ここで、所定距離とは、移動体１が安全に停止することができる距離である。

【0129】

搭乗候補者までの距離が所定距離以上であると判定した場合には（ステップＳ６２：Ｙｅｓ）、プロセッサ１３ｃは、ステップＳ５３の処理に戻る。ステップＳ５４において、搭乗候補者がタクシーに乗車するための乗車行動を行っていないと判定された後に、搭乗候補者が、乗車行動を行うこともある。そこで、移動体１と搭乗候補者との距離が所定距離以上である場合は、ステップＳ５３およびステップＳ５４の処理を繰り返すことで、搭乗候補者の乗車の意図を繰り返し確認することができる。

【0130】

搭乗候補者までの距離が所定距離以上でないと判定した場合には（ステップＳ６２：Ｎｏ）、プロセッサ１３ｃは、ステップＳ５２の処理に進む。

【0131】

表４は、上述した動作をまとめたものである。

【0132】

【表4】

【0133】

表４に示すように、プロセッサ１３ｃは、移動体１の走行路の道端などにいる搭乗候補者の状態として、手を挙げている、視線が移動体１を向いているなどの状態を検出すると、移動体１の挙動として、「減速」、「パッシング」、「クラクション鳴動」あるいは「ウィンカ点滅」を決定する。そして、プロセッサ１３ｃは、移動体１による決定した挙動後に、搭乗候補者の状態として、移動体１に近づいてきたことを検出すると、移動体１の挙動として、搭乗候補者を乗車させるために、「停止」、「ドア開放」を決定する。また、プロセッサ１３ｃは、搭乗候補者の状態として、移動体１に近づいてこないことを検出すると、移動体１の挙動として、「前進」を決定する。また、プロセッサ１３ｃは、第１の挙動後に、移動体１を停車させ、その後、搭乗候補者が自車両、すなわち、移動体１に近づいてきたか否かを判定するようにしてもよい。

【0134】

図８においては、搭乗候補者が乗車行動を行ったと判定した場合、ステップＳ５５において、移動体１の第１の挙動として、「減速」、「パッシング」、「クラクション鳴動」および「ウィンカ点滅」などを決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｃは、例えば、ステップＳ５５において、移動体１の第１の挙動として、移動体１を停止させる「停止」を決定してもよい。この場合、プロセッサ１３ｃは、ステップＳ５６において、搭乗候補者が移動体１に近づいてきたと判定した場合、ステップＳ５８以降の処理に進む。また、プロセッサ１３ｃは、ステップＳ５６において、搭乗候補者が自車両に近づいてきていないと判定した場合には、ドアの閉止、ウィンカ点滅の後、移動体１を前進させる。

【0135】

次に、移動体１がバスである場合の、プロセッサ１３ｃの動作の一例について、表５を参照して説明する。

【0136】

【表5】

【0137】

プロセッサ１３ｃは、停留所の付近に存在する人を搭乗候補者として検出する。プロセッサ１３ｃは、搭乗候補者の状態として、停留所付近に立ち止っている、停留所に向かって走っているなどの状態を検出すると、移動体１の挙動として、例えば、「ウィンカ点滅」を決定する。そして、プロセッサ１３ｃは、移動体１によるウィンカ点滅後に撮像部１１が取得した周辺映像から、搭乗候補者の状態として、移動体１に近づいてきた、視線を移動体１に向けている、移動体１に向かって手を挙げているなどの状態を検出すると、搭乗候補者が移動体１に乗車する意図があると判定する。そして、プロセッサ１３ｃは、移動体１の挙動として、搭乗候補者を乗車させるために、「停止」、「ドア開放」を決定する。また、プロセッサ１３ｃは、移動体１によるウィンカ点滅後に撮像部１１が取得した周辺映像から、搭乗候補者の状態として、移動体１に近づいてこないことを検出すると、移動体１の挙動として、「前進」を決定する。

【0138】

搭乗候補者の状態が、停留所付近に立ち止っている、あるいは、停留所に向かって走っている状態であっても、その搭乗候補者が移動体１に乗車するとは限らない。そこで、プロセッサ１３ｃは、第１の挙動として、移動体１のウィンカを点滅させ、その第１の挙動に対して、搭乗候補者が、移動体１に近づいてきた、視線を移動体１に向けた、移動体１に対して手を挙げたなどの反応を示した場合、搭乗候補者が移動体１に乗車する意図があると判定する。

【0139】

これまでは、プロセッサ１３ｃが搭乗候補者の状態を検出し、検出した搭乗候補者の状態に基づき、移動体１の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｃは、撮像部１１が取得した周辺画像から、移動体１から降車した乗客の状態を検出し、検出した状態に基づき、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ｃは、移動体１から乗客の降車が完了し、移動体１から十分に離れたことなどを検出した後に、移動体１を発車させるなどしてもよい。こうすることで、乗降の際の安全性の確保を図ることができる。

【0140】

このように本実施形態においては、画像処理装置１０ｃは、通信インタフェース１２と、プロセッサ１３ｃとを備える。プロセッサ１３ｃは、旅客の運搬を行う移動体１の周辺を撮像した周辺映像から移動体１への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体１の挙動を決定する。通信インタフェース１２は、プロセッサ１３ｃにより決定された移動体１の挙動を指示する情報を移動体１に出力する。プロセッサ１３ｃは、周辺映像から検出した搭乗候補者の状態に基づき、移動体１の第１の挙動を決定し、決定した移動体１の第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。プロセッサ１３ｃは、移動体１による第１の挙動後の周辺映像から検出した搭乗候補者の状態に基づき、移動体１の第２の挙動を決定する。

【0141】

移動体１による第１の挙動後の搭乗候補者の状態に基づき、移動体１の第２の挙動を決定することで、搭乗候補者の移動体１への乗車の意図の有無をより正確に検出することができるようになる。その結果、移動体１と搭乗候補者との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。

【0142】

本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。

【符号の説明】

【0143】

１ 移動体
１Ａ 撮像装置
２ 横断歩道
３ 歩行者
４ 他の移動体
１０ａ，１０ｂ，１０ｃ 画像処理装置
１１ 撮像部（入力部）
１２ 通信インタフェース（出力部）
１３ａ，１３ｂ，１３ｃ プロセッサ
１４ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】