(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G08G 1/04 20060101AFI20230912BHJP
G08G 1/16 20060101ALI20230912BHJP
【FI】
G08G1/04
G08G1/16 C
(21)【出願番号】P 2021042202
(22)【出願日】2021-03-16
【審査請求日】2022-08-09
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100187311
【氏名又は名称】小飛山 悟史
(74)【代理人】
【識別番号】100161425
【氏名又は名称】大森 鉄平
(72)【発明者】
【氏名】堀場 一輝
【審査官】山田 由希子
(56)【参考文献】
【文献】特開2020-013586(JP,A)
【文献】特開2010-068069(JP,A)
【文献】特開2007-172035(JP,A)
【文献】特開2012-038229(JP,A)
【文献】特開2009-048620(JP,A)
【文献】米国特許出願公開第2007/0140527(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G01C 21/00-21/36
G01C 23/00-25/00
B06R 21/00-21/38
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
センサの検出結果に基づいて車両周辺の物体の種別を認識する認識部と、
前記認識部により認識された前記物体の種別に基づいて、単位時間あたりに画像処理される画像数を決定する決定部
であって、前記物体の種別が歩行者である場合には前記物体の種別が車両である場合と比べて単位時間あたりに画像処理される画像数を減少させる、前記決定部と、
前記物体を被写体として所定のフレームレートで連写し、複数の画像を出力する画像センサと、
前
記画像センサから
前記複数の画像を取得する取得部と、
前記決定部によって決定された単位時間あたりに画像処理される画像数に基づいて前記取得部によって取得された前記複数の画像から対象画像を選択し、前記対象画像に基づいて前記物体に関する情報を算出する算出部と、
を備える画像処理装置。
【請求項2】
前記認識部は、前記画像センサの検出結果に基づいて車両周辺の物体の種別を認識する、請求項1に記載の画像処理装置。
【請求項3】
前記決定部は、車両と物体との相対速度が閾値以上である場合には、前記決定された単位時間あたりに処理される画像数を増加させる、請求項1に記載の画像処理装置。
【請求項4】
前記決定部は、車両と物体との相対速度が閾値よりも小さい場合には、前記決定された単位時間あたりに処理される画像数を減少させる、請求項1~3の何れか一項に記載の画像処理装置。
【請求項5】
前記認識部は、前記物体の状態をさらに認識し、
前記決定部は、前記認識部により認識された前記物体の種別及び状態に基づいて、単位時間あたりに画像処理される画像数を決定する、請求項1~4の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置に関する。
【背景技術】
【0002】
特許文献1は、車両の走行状況に応じてカメラのフレームレートを設定する装置を開示する。この装置は、センサからの検出信号が車両に危険が及ぶ可能性を示唆するものである場合にのみ画像センサのフレームレートを上昇させ、普段は画像センサの基準のフレームレートを維持することによって撮像画像のための処理量および記憶量を抑制する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1記載の装置は、被写体に対して適切な画像処理ができない場合がある。例えば、被写体が歩行者である場合には計算コストの高い画像処理が要求される。センサからの検出信号が車両に危険が及ぶ可能性を示唆するものである場合、フレームレートが上昇し、入力される単位時間あたりのフレーム数が増加する。このため、1フレームあたりに許容される画像処理時間が短くなるので、高い計算コストが要求される歩行者に関する画像処理が行えない場合がある。また、被写体が車両などの歩行者よりも速度の速い移動体である場合には、被写体の移動速度に伴ってフレーム間で被写体が大きく位置を変化させてしまい、差分検出に影響を与えるおそれがある。本開示は、被写体に応じて適切に画像処理を行える技術を提供する。
【課題を解決するための手段】
【0005】
本開示の一側面に係る画像処理装置は、センサの検出結果に基づいて車両周辺の物体の種別を認識する認識部と、認識部により認識された物体の種別に基づいて、単位時間あたりに画像処理される画像数を決定する決定部と、物体を被写体として連写された複数の画像を画像センサから取得する取得部と、決定部によって決定された単位時間あたりに画像処理される画像数に基づいて取得部によって取得された複数の画像から対象画像を選択し、対象画像に基づいて物体に関する情報を算出する算出部とを備える。
【0006】
この画像処理装置においては、単位時間あたりに画像処理される画像数(以下、処理レートという)が、物体の種別に基づいて決定される。そして、対象画像が、処理レートに基づいて複数の画像から選択される。そして、物体に関する情報が対象画像に基づいて算出される。このように、画像処理装置は、被写体ごとに被写体に適した処理レートを決定できる。よって、画像処理装置は、被写体に応じて適切に画像処理を行える。
【0007】
一実施形態においては、認識部は、画像センサの検出結果に基づいて車両周辺の物体の種別を認識してもよい。この場合、物体の認識と、物体に関する情報の算出とを単一の画像センサで実行できる。
【0008】
一実施形態においては、決定部は、車両と物体との相対速度が閾値以上である場合には、決定された単位時間あたりに処理される画像数を増加させてもよい。車両と物体との相対速度が大きいほどフレーム間の物体の位置変化が大きくなる。このため、車両と物体との相対速度が閾値以上である場合、画像処理装置は、処理レートを上げることにより、フレーム間の物体の位置変化を抑えて適切な画像処理が行える。
【0009】
一実施形態においては、決定部は、車両と物体との相対速度が閾値よりも小さい場合には、決定された単位時間あたりに処理される画像数を減少させてもよい。車両と物体との相対速度が小さいほどフレーム間の物体の位置変化が小さくなる。このため、車両と物体との相対速度が閾値より小さい場合には処理レートを下げることにより、画像処理装置は、1フレームあたりに許容される画像処理時間の減少を抑えることができる。
【0010】
一実施形態においては、認識部は、物体の状態をさらに認識し、決定部は、認識部により認識された物体の種別及び状態に基づいて、単位時間あたりに画像処理される画像数を決定してもよい。この場合、画像処理装置は、物体の種別だけでなく物体の状態に応じた画像処理を行える。
【発明の効果】
【0011】
本開示によれば、被写体に応じて適切に画像処理を行える。
【図面の簡単な説明】
【0012】
【
図1】実施形態に係る画像処理装置を含む車両の一例の機能ブロック図である。
【
図2】(A)は画像センサの検出結果、(B)は画像センサにおけるフレームレートの概要図、(C)は画像処理装置における高処理レートの概要図、(D)は画像処理装置における低処理レートの概要図である。
【
図3】実施形態に係る画像処理装置の動作の一例を示すフローチャートである。
【
図4】変形例に係る画像処理装置の動作の一例を示すフローチャートである。
【
図5】変形例に係る画像処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照して、例示的な実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。
【0014】
(車両及び画像処理装置の構成)
図1は、実施形態に係る画像処理装置を含む車両の一例の機能ブロック図である。
図1に示されるように、画像処理装置1は、バス、タクシー、又は一般的な乗用車などの車両2に搭載される。車両2は、一例として、外部センサ3、内部センサ4、ECU(Electronic Control Unit)5、HMI(Human MachineInterface)6、及び、アクチュエータ7を備える。
【0015】
外部センサ3は、車両2の外部環境の情報を検出する検出器である。外部環境とは、車両2の周辺の物体の位置、物体の状況などである。外部センサ3の検出結果には、車両2が走行する車道の前方の物体の位置、形状、色などが含まれる。物体には、車両、歩行者、信号機、路面ペイントなどが含まれる。外部センサ3は、一例としてカメラである。
【0016】
カメラは、車両2の外部状況を撮像する撮像機器である。カメラは、一例として車両2のフロントガラスの裏側に設けられる。カメラは、車両2の外部状況に関する撮像情報を取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの撮像情報には、奥行き方向の情報も含まれる。カメラは、所定のフレームレートで撮像し、所定の物体を被写体として連写された画像を出力する。所定のフレームレートとは、単位時間あたりに生成(出力)される画像数である。例えば、フレームレートが3fpsである場合には、1秒間で生成(出力)されるフレーム数が3であることを示す。カメラは、連写された画像として動画を出力してもよい。
【0017】
外部センサ3は、カメラに限定されず、レーダセンサなどであってもよい。レーダセンサは、電波(例えばミリ波)又は光を利用して車両2の周辺の物体を検出する検出器である。レーダセンサには、例えば、ミリ波レーダ又はライダー(LIDAR:Laser Imaging Detection and Ranging)が含まれる。レーダセンサは、電波又は光を車両2の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。
【0018】
内部センサ4は、車両2の走行状態を検出する検出器である。内部センサ4は、車速センサ、加速度センサ及びヨーレートセンサを含んでもよい。
【0019】
ECU5は、車両2の走行を制御する。ECU5は、CPU(CentralProcessing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、CAN(Controller AreaNetwork)通信回路などを有する電子制御ユニットである。ECU5は、例えばCAN通信回路を用いて通信するネットワークに接続され、上述した車両2の構成要素と通信可能に接続される。ECU5は、例えば、CPUが出力する信号に基づいて、CAN通信回路を動作させてデータを入出力し、データをRAMに記憶し、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムを実行することで、後述する機能を実現する。ECU5は、複数の電子制御ユニットから構成されてもよい。
【0020】
HMI6は、車両2の乗員(運転者含む)と、ECU5によって実現されるシステムとのインターフェイスである。HMI6は、一例として、情報を表示可能であり、かつ、乗員の操作入力を受け付け可能なタッチディスプレイなどを含む。アクチュエータ7は、車両2の走行制御を実行する装置である。アクチュエータ7は、エンジンアクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。
【0021】
(ECUの各機能)
画像処理装置1は、機能的な構成として、認識部10、決定部11、取得部12及び算出部13を備える。
【0022】
認識部10は、外部センサ3の検出結果に基づいて車両周辺の物体の種別を認識する。認識部10に用いられる外部センサ3は、画像センサであってもよいし、レーダセンサであっても構わない。なお、認識部10は、画像センサの検出結果に基づいて車両周辺の物体の種別を認識することで、後段の処理とセンサを共通化できる。車両周辺とは、車両を基準として所定距離内のことである。物体の種別とは、認識対象として予め分類されたカテゴリのことであり、静止物、車両、歩行者など任意に分類される。
図2の(A)は、画像センサの検出結果である。
図2の(A)は、車両2の前方を撮像した画像であり、ここでは、車両8及び歩行者9が撮像されている。認識部10は、パターンマッチング技術などに基づいて物体認識を行い、車両8及び歩行者9の種別を認識する。例えば、車両8は、種別「車両」であり、歩行者9は、種別「歩行者」と認識される。
【0023】
決定部11は、認識部10により認識された物体の種別に基づいて、単位時間あたりに画像処理される画像数を決定する。単位時間あたりに画像処理される画像数とは、後段において動作する算出部13の処理レートである。例えば、処理レートが3fpsである場合には、算出部13は1秒間で3枚のフレームを画像処理する。決定部11は、物体の種別と処理レートとの予め定められた関係に基づいて処理レートを決定する。物体の種別と処理レートとの予め定められた関係は、例えば、テーブル形式で定義されてもよい。一例として、種別「車両」と処理レートRA(例えば36fps)とが関連付けられ、種別「歩行者」と処理レートRB(例えば9fps)とが関連付けられる。
【0024】
種別「車両」の処理レートが種別「歩行者」に比べて高い理由は、車両は移動速度が歩行者よりも速い傾向にあり、単位時間あたりの位置変化が歩行者よりも大きく、処理レートを上げないと正確に位置を認識できないおそれがあるためである。一方、種別「歩行者」の処理レートが種別「車両」に比べて低い理由は、歩行者は移動速度が車両よりも遅い傾向にあるため、単位時間あたりの位置変化が車両よりも小さいことから、処理レートを上げる必要がないためである。さらに、歩行者は、交通参加者の中でも最優先に対処すべき対象であるため、画像処理装置は、認識を強化する必要がある。仮に処理レートを上げてしまうと、画像一枚あたりにかけられる処理時間が少なくなり、結果として認識結果が低下するおそれがある。このように、種別「車両」の処理レートは種別「歩行者」に比べて高く設定される。なお、種別は車両及び歩行者のみに限定されず、静止物や移動体など適宜分類されていてもよい。
【0025】
取得部12は、物体を被写体として連写された複数の画像を外部センサ3から取得する。取得部12の取得元となる外部センサ3は、画像センサである。取得部12は、認識部10によって認識された物体(車両、歩行者など)を被写体として連写された複数の画像を取得する。取得部12によって取得される複数の画像は、画像センサのフレームレートで出力された画像である。
図2の(B)は画像センサにおけるフレームレートの概要図である。
図2の(B)では、画像Gn(nは整数)が撮像タイミングに関する時系列で示されている。
図2の(B)に示されるように、取得部12は、所定の間隔で撮像された画像Gnを取得する。間隔は一定であってもよいし、一定でなくてもよい。取得部12は、画像センサから一枚ずつ取得してもよいし、画像センサからバッファなどに記録された複数の画像を、何回かに分けてあるいは一度に取得してもよい。
【0026】
算出部13は、決定部11によって決定された処理レートに基づいて、取得部12によって取得された複数の画像から対象画像を選択する。算出部13は、決定部11によって決定された処理レートに従って、取得部12によって取得された複数の画像を間引き、残余の画像を対象画像として選択する。例えば、種別「車両」の処理レートRAが、種別「歩行者」の処理レートRBよりも速いとする。つまり、種別「車両」の処理レートRAが高処理レートであり、種別「歩行者」の処理レートRBが低処理レートである。
図2の(C)は画像処理装置における高処理レートの概要図、
図2の(D)は画像処理装置における低処理レートの概要図である。
図2の(C)に示される高処理レートにおいては、算出部13によって、画像G2、G3、G5、G6が間引かれ、画像G1、G4、G7が対象画像として選択される。
図2の(D)に示される低処理レートにおいては、算出部13によって、画像G2、G3、G4、G6、G7が間引かれ、画像G1、G5が対象画像として選択される。
図2の(C)及び
図2の(D)に示されるように、高処理レートでは、1秒あたりの画像処理数が低処理レートよりも多くなる。このように、画像処理装置1は、画像センサのフレームレートを変更することなく、処理レートを変更する。
【0027】
算出部13は、対象画像に基づいて物体に関する情報を算出する。物体に関する情報とは、複数の画像から取得できる物体の情報であり、例えば、物体の速度あるいは加速度、又は種別よりも細かい分類結果などである。種別よりも細かい分類結果とは、上述した種別をさらに細かく分類したカテゴリであり、車両であればバス、トラック、タクシーなどであり、歩行者であれば大人、子供、性別、髪型などである。
図2の(C)に示されるように、物体(被写体)が車両であって高処理レートによる対象画像の選択をした場合、算出部13は、画像G1、G4、G7に基づいて車両8に関する情報を取得する。また、
図2の(D)に示されるように、物体(被写体)が歩行者であって低処理レートによる対象画像の選択をした場合、算出部13は、画像G1、G5に基づいて歩行者9に関する情報を取得する。
【0028】
ECU5は、車両制御部14をさらに備えてもよい。車両制御部14は、例えば、画像処理装置1によって得られた物体に関する情報に基づいてアクチュエータ7を動作させて車両2を制御する。あるいは、車両制御部14は、例えば、画像処理装置1によって得られた物体に関する情報に基づいてHMI6に情報を表示させる。
【0029】
(画像処理装置の動作)
図3は、実施形態に係る画像処理装置の動作の一例を示すフローチャートである。
図3に示されるフローチャートは、例えば車両2に備わる画像処理機能の開始ボタンがONされたタイミングで、画像処理装置1によって実行される。なお、以下では、認識された物体は、歩行者及び車両の何れかであるとして説明する。
【0030】
図3に示されるように、画像処理装置1の認識部10は、ステップS10として、センサの検出結果を取得する。認識部10は、外部センサ3の検出結果を取得する。
【0031】
続いて、認識部10は、ステップS12として、ステップS10によって取得されたセンサの検出結果に基づいて物体の種別を認識する。認識部10によって認識された物体の種別が歩行者である場合、画像処理装置1の決定部11は、ステップS14として、処理レートを低処理レートに設定する(
図2の(C))。認識部10によって認識された物体の種別が車両である場合、決定部11は、ステップS16として、処理レートを高処理レートに設定する(
図2の(D))。
【0032】
ステップS14又はステップS16が終了すると、画像処理装置1の取得部12は、ステップS28として、画像センサから複数の画像を取得する。
【0033】
続いて、画像処理装置1の算出部13は、ステップS30として、画像処理を実行する。算出部13は、ステップS14で決定された処理レートに基づいて、ステップS28で取得された複数の画像から対象画像を選択する。算出部13は、選択された対象画像に基づいて物体に関する情報を算出する。
【0034】
続いて、ECU5は、ステップS32として、後処理を実行する。例えば、ECU5の車両制御部14は、後処理として車両2を動作させる。なお、画像処理装置1が、後処理として、物体に関する情報をECU5の記憶部に記憶してもよいし、物体に関する情報をHMI6に表示させてもよい。ステップS32が終了すると、
図3に示されるフローチャートは終了する。
図3に示されるフローチャートが終了すると、終了条件が満たされるまで、再度、ステップS10から処理が実行される。終了条件は、例えば画像処理機能の終了ボタンがONされた場合などである。
図3に示されるフローチャートが実行されることにより、被写体の種別に応じて処理レートが変更される。
【0035】
(実施形態のまとめ)
画像処理装置1においては、一秒(単位時間の一例)あたりに画像処理される画像数である処理レートが、物体の種別に基づいて決定される。そして、対象画像が、処理レートに基づいて複数の画像から選択される。そして、物体に関する情報が対象画像に基づいて算出される。このように、画像処理装置1は、被写体ごとに被写体に適した処理レートを決定できる。よって、画像処理装置1は、被写体に応じて適切に画像処理を行える。
【0036】
画像処理装置1の認識部10においては、画像センサの検出結果に基づいて車両周辺の物体の種別を認識する。これにより、認識部10と取得部12との間で共通のセンサを利用できる。
【0037】
(変形例)
以上、種々の例示的実施形態について説明してきたが、上述した例示的実施形態に限定されることなく、様々な省略、置換、及び変更がなされてもよい。
【0038】
例えば、画像処理装置1の認識部10は、物体の状態をさらに認識してもよい。物体の状態とは、外観変化の状態である。例えば、物体が歩行者であれば、手を振っている状態、手を振っていない状態であったり、帽子を被った状態、帽子を脱いだ状態などである。例えば物体が車両であれば、ブレーキランプ(レールランプ)の点灯状態、方向指示器の点灯状態などである。以下では、物体の状態が車両のブレーキランプの点灯状態である場合を一例として説明する。
【0039】
画像処理装置1の決定部11は、認識部10により認識された物体の種別及び状態に基づいて、処理レートを決定する。決定部11は、種別に応じて決定された処理レートを、物体の状態に応じて調整する。決定部11は、例えば、種別「車両」の場合には、処理レートを高処理レートのみに設定するのではなく、高処理レート又は中処理レートに設定する。中処理レートは、種別「歩行者」に関連付けられた低処理レートよりも高い処理レートであって、種別「車両」に関連付けられた高処理レートよりも低い処理レートである。一例として、決定部11は、認識部10により認識された車両8のブレーキランプが点灯している場合には高処理レートとし、認識部10により認識された車両8のブレーキランプが点灯していない場合には中処理レートとする。車両8のブレーキランプが点灯する場合には、車両8のブレーキランプが点灯していない場合よりも車両8と車両2との速度差が大きくなるおそれがある運転シーンである。このため、決定部11は、車両8のブレーキランプが点灯している場合には高処理レート、車両8のブレーキランプが点灯していない場合には中処理レートと設定することで、よりきめ細やかに適切な処理レートの決定を行える。なお、中処理レートは予め定められていてもよいし、低処理レートにならない範囲で高処理レートから所定の処理レートを減算して求めてもよい。
【0040】
図4は、変形例に係る画像処理装置の動作の一例を示すフローチャートである。
図4に示されるフローチャートは、
図3に示されるフローチャートと比較して、ステップS15及びステップS17が追加されている点が相違し、その他は同一である。
【0041】
ステップS12において物体の種別が車両と認識された場合、決定部11は、ステップS15としてブレーキランプが点灯しているか否かを判定する。決定部11は、画像センサの検出結果に基づいてブレーキランプの点灯の有無を認識する。決定部11は、ブレーキランプが点灯していると判定した場合(ステップS15:YES)、ステップS16として処理レートを高処理レートに設定する。決定部11は、ブレーキランプが点灯していないと判定した場合(ステップS15:NO)、ステップS16として処理レートを中処理レートに設定する。その他の処理は
図3と同一である。
図4に示されるフローチャートが実行されることで、画像処理装置1は、物体の種別だけでなく物体の状態に応じた画像処理を行える。
【0042】
さらなる変形例として、決定部11は、車両2と物体との相対速度が閾値以上である場合には処理レートを増加させることもできる。決定部11は、外部センサ3の検出結果に基づいて車両2と物体との相対速度を算出し、算出された相対速度と閾値とを比較する。閾値は、処理レートの増減を判定するために、予め定められた値である。決定部11は、算出された相対速度が閾値以上である場合、フレーム間において物体の位置変化が大きいと判断し、処理レートを増加させる。例えば、決定部11は、車両2と車両8との相対速度が閾値以上である場合には、種別「車両」の処理レートRAに予め決められた増加レート(例えば2fps)を加算する。なお、増加レートは、相対速度に比例して増加させてもよい。
【0043】
決定部11は、車両2と物体との相対速度が閾値以上でない場合には処理レートを減少させることもできる。決定部11は、算出された相対速度が閾値以上でない場合、フレーム間において物体の位置変化が大きくないと判断し、処理レートを低下させる。例えば、決定部11は、車両2と車両8との相対速度が閾値以上でない場合には、種別「車両」の処理レートRAに予め決められた減少レート(例えば2fps)を減算する。なお、減算レートは、相対速度に比例して絶対値を増加させてもよい。これにより、決定部11は、きめ細やかに適切な処理レートの決定を行える。
【0044】
図5は、変形例に係る画像処理装置の動作の一例を示すフローチャートである。
図4に示されるフローチャートは、
図3に示されるフローチャートと比較して、ステップS22、ステップS24及びステップS26が追加されている点が相違し、その他は同一である。
【0045】
決定部11は、ステップS22として車両2と物体との相対速度が閾値以上であるか否かを判定する。決定部11は、相対速度が閾値以上である場合(ステップS22:YES)、ステップS24として処理レートを増加させる。決定部11は、相対速度が閾値以上でない場合(ステップS22:NO)、ステップS26として処理レートを減少させる。
図5に示されるフローチャートが実行されることで、画像処理装置1は、相対速度に応じて処理レートを調整できる。
【0046】
また、
図3において、画像処理装置1の決定部11は、ステップS12として物体の種別を判定する処理を実行しているが、物体の種別は車両及び歩行者に限定されない。
図3において、物体の種別が車両及び歩行者の何れでもない場合には、予め設定された基準処理レートに設定してもよい。基準処理レートは、例えば低処理レートよりも高く、高処理レートよりも低く設定され得る。
【符号の説明】
【0047】
1…画像処理装置、2…車両、10…認識部、11…決定部、12…取得部、13…算出部、14…車両制御部。