特許 7528649 オブジェクト認識制御装置およびオブジェクト認識制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】オブジェクト認識制御装置およびオブジェクト認識制御方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240730BHJP

   G06T 7/00 20170101ALI20240730BHJP

【ＦＩ】

G08G1/16 F

G06T7/00 650Z

【請求項の数】 4

(21)【出願番号】P 2020147571

(22)【出願日】2020-09-02

(65)【公開番号】P2022042239

(43)【公開日】2022-03-14

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】酒井 康利

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】谷山 紘史

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０１８－０４５３８５（ＪＰ，Ａ）

【文献】特開２０１９－０４５９０１（ＪＰ，Ａ）

【文献】特開２０１５－１５３０４８（ＪＰ，Ａ）

【文献】特開２０１９－１０９６７７（ＪＰ，Ａ）

【文献】国際公開第２０２０／０５４４５８（ＷＯ，Ａ１）

【文献】特開２００６－３１８０４９（ＪＰ，Ａ）

【文献】特開２００８－１４６５４９（ＪＰ，Ａ）

【文献】特開２００８－３０５０９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｒ ２１／００ － ２１／０１７

Ｇ０７Ｃ １／００ － １５／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、
前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得部と、
前記映像データ取得部が取得した前記映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、
前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、
を備え、
前記認識処理部は、前記運転者情報取得部が取得した前記運転者情報が、前記運転者の集中度が低くなっていることを示す場合、前記閾値を低くして、前記特定オブジェクトを認識する、
オブジェクト認識制御装置。

【請求項2】

前記運転者情報取得部は、前記運転者を撮影した映像データに対する運転者認識結果、前記運転者の生体情報、および、前記運転者による連続運転時間の少なくともいずれかに基づいて、前記運転者情報を取得する、
請求項１に記載のオブジェクト認識制御装置。

【請求項3】

前記映像データ取得部は、前記車両の進行方向を撮影した映像データを取得し、
前記認識処理部は、前記車両の進行方向における特定オブジェクトとして人物または人物が乗車している自転車を認識する、
請求項１または２に記載のオブジェクト認識制御装置。

【請求項4】

車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、
前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得ステップと、
前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、
前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、
を含み、
前記認識処理ステップにおいては、前記運転者情報取得ステップで取得した前記運転者情報が、前記運転者の集中度が低くなっていることを示す場合、前記閾値を低くして、前記特定オブジェクトを認識する、
オブジェクト認識制御装置が実行するオブジェクト認識制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクト認識制御装置およびオブジェクト認識制御方法に関する。

【背景技術】

【0002】

撮影画像における人物認識は、人物認識辞書を用いた認識処理において、人物らしさを示すスコアが所定の閾値以上である場合、人物であると判断する。撮影画像に対して認識辞書を用いて歩行者らしさを示すスコアが高いことで対象物が歩行者であることを判断する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０１５０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

通常は、車両の運転者の目視によって人物及び人物が乗車している自転車など注意を要する対象となる特定オブジェクトを確認しながら運転する。運転者の集中力が低下した場合、人物及び人物が乗車している自転車などの特定オブジェクトの存在に気が付くのが遅れたり、見落としたりするおそれがある。このような状態で、人物及び人物が乗車している自転車などの特定オブジェクトの認識処理において認識漏れが生じた場合、安全を損なう可能性がある。

【0005】

本発明は、上記に鑑みてなされたものであって、オブジェクトの認識を適切に行うことを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係るオブジェクト認識制御装置は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得部と、前記映像データ取得部が取得した前記映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、を備え、前記認識処理部は、前記運転者情報取得部が取得した前記運転者情報に基づいて、前記閾値を変化させる。

【0007】

本発明に係るオブジェクト認識制御装置が実行するオブジェクト認識制御方法は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、前記車両の運転者の集中度を示す運転者情報を取得する運転者情報取得ステップと、前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、を含み、前記認識処理ステップにおいては、前記運転者情報取得ステップで取得した前記運転者情報に基づいて、前記閾値を変化させる。

【発明の効果】

【0008】

本発明によれば、オブジェクトの認識を適切に行うことができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第一実施形態に係るオブジェクト認識制御装置を有するオブジェクト認識装置の構成例を示すブロック図である。

【図2】図２は、第一実施形態に係るオブジェクト認識制御装置における処理の流れを示すフローチャートである。

【図3】図３は、第二実施形態に係るオブジェクト認識制御装置を有するオブジェクト認識装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本発明に係るオブジェクト認識制御装置およびオブジェクト認識制御方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
＜オブジェクト認識装置＞
図１は、第一実施形態に係るオブジェクト認識制御装置である制御部２０を有するオブジェクト認識装置１０の構成例を示すブロック図である。オブジェクト認識装置１０は、映像データに対してオブジェクト認識辞書を用いた認識処理を行って、特定オブジェクトを認識する。オブジェクト認識装置１０は、認識した特定オブジェクトに関する情報を運転者に通知する。

【0012】

オブジェクト認識装置１０は、カメラ（撮影部）１１と、車内カメラ１２と、認識辞書記憶部１３と、表示部１４と、制御部（オブジェクト認識制御装置）２０とを有する。オブジェクト認識装置１０は、例えば、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダー等の機能として実装されていてもよい。

【0013】

カメラ１１は、車両の周辺を撮影するカメラである。カメラ１１は、車両に搭載され、車両の進行方向を撮影する。カメラ１１は、遠赤外線カメラ、可視光カメラ、または遠赤外線カメラおよび可視光カメラの組み合わせで構成される。カメラ１１は、例えば、車両の進行方向である前方を撮影可能な位置に配置されている。カメラ１１は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。カメラ１１は、撮影した映像データを制御部２０の映像データ取得部２１へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。本実施形態では、カメラ１１は、車両の前方に配置されている。

【0014】

車内カメラ１２は、車両の車室内を撮影するカメラである。車内カメラ１２は、運転席に着座している運転者の顔部を撮影可能な位置に配置されている。車内カメラ１２は、例えば、可視光カメラまたは遠赤外線カメラ、または近赤外線カメラで構成される。車内カメラ１２は、例えば、可視光カメラと遠赤外線カメラまたは近赤外線カメラとの組み合わせで構成されてもよい。車内カメラ１２は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。車内カメラ１２は、撮影した車内映像データを制御部２０の映像データ取得部２１へ出力する。車内映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0015】

認識辞書記憶部１３は、映像データから各種のオブジェクトを認識するための辞書データ記憶している。認識辞書記憶部１３は、例えば、特定オブジェクトが撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが特定オブジェクトであることを照合可能なオブジェクト認識辞書を記憶している。認識辞書記憶部１３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、ネットワークを介した外部記憶装置などの記憶装置である。

【0016】

表示部１４は、各種の情報を表示する装置であり、一例としては、オブジェクト認識装置１０に固有の表示装置、または、ドライブレコーダー及びナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部１４は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１４は、制御部２０の提示処理部２４から出力された映像信号に基づいて、映像を表示する。本実施形態では、表示部１４は、車両の運転者が運転中に目視可能な位置に配置されている。

【0017】

＜オブジェクト認識制御装置＞
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記憶などに用いられる。このため、制御部２０は、オブジェクト認識装置１０によるオブジェクト認識方法を実行させる。また、制御部２０は、本発明にかかるプログラムを動作させるコンピュータである。制御部２０は、バス２０Ｘに接続された、映像データ取得部２１と、運転者情報取得部２２と、認識処理部２３と、提示処理部２４とを有する。

【0018】

映像データ取得部２１は、カメラ１１が撮影した映像データを取得する。より詳しくは、映像データ取得部２１は、カメラ１１が出力した、車両の進行方向である前方を撮影した映像データを取得する。

【0019】

映像データ取得部２１は、車内カメラ１２が撮影した映像データを取得する。より詳しくは、映像データ取得部２１は、車内カメラ１２が出力した車内映像データであり、車両の運転者の顔が撮影された映像データを取得する。

【0020】

運転者情報取得部２２は、車両の運転者の集中度を示す運転者情報を取得する。本実施形態では、運転者情報取得部２２は、車内カメラ１２が撮影した車内映像データに画像処理を行って、運転者の顔部を認識した運転者認識結果から運転者情報を取得する。より詳しくは、運転者情報取得部２２は、例えば、車内映像データから運転者の眼を認識して、眼の開度を示す情報を取得する。運転者情報取得部２２は、例えば、車内映像データから運転者の眼を認識して、視線の動きを示す情報を取得する。

【0021】

運転者情報とは、運転者の集中度が高いか、低いかを判定可能な情報である。集中度が高いとは、例えば、運転者が眠気を感じていない通常の状態である。集中度が低いとは、例えば、運転者が眠気を感じていて、運転者による車両の周辺の確認が疎かになるおそれがある状態である。

【0022】

認識処理部２３は、映像データ取得部２１が取得した映像データから、車両の周辺の特定オブジェクトを認識する。認識処理部２３は、映像データに対して、認識辞書記憶部１３が記憶しているオブジェクト認識辞書を用いたパターンマッチングを行って、特定オブジェクトを認識するオブジェクト認識処理を行う。オブジェクト認識処理においては、公知の方法を使用可能である。認識処理部２３は、オブジェクト認識装置１０が起動している間は、常時処理を行ってもよい。

【0023】

特定オブジェクトとは、人物、人物が乗車している自転車を含む二輪車、および、他車両を含む。

【0024】

認識処理部２３は、映像データ取得部２１が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定の閾値以上である場合、特定オブジェクトとして認識する。通常時のスコアの閾値をＡ（規定値）とする。スコアの閾値は、運転者情報取得部２２によって取得された運転者情報に応じて変更される。変更されたスコアの閾値をＢ（Ｂ＜Ａ）とする。

【0025】

認識処理部２３は、運転者情報取得部２２が取得した運転者情報に基づいて、スコアの閾値を変化させて特定オブジェクトを認識する。認識処理部２３は、運転者を撮影した映像データに対する運転者認識結果、運転者の生体情報、および、運転者による連続運転時間の少なくともいずれかに基づいて、運転者情報を取得する。本実施形態では、認識処理部２３は、運転者を撮影した映像データに対する運転者認識結果から運転者情報を取得する。認識処理部２３は、運転者情報が、運転者の集中度が低くなっていることを示す場合、通常時のスコアの閾値Ａよりも低い閾値Ｂを用いて特定オブジェクトとして認識する。これにより、運転者の集中度が低くなっていることを示す場合、特定オブジェクトとして認識されやすくする。認識処理部２３は、運転者情報が、運転者の集中度が高いことを示す場合、通常時のスコアの閾値Ａを用いて特定オブジェクトとして認識する。

【0026】

認識処理部２３は、例えば、運転者情報が、運転者の眼の開度が小さくなった状態が所定期間継続していることを示す場合、集中度が低くなっていると判定する。認識処理部２３は、例えば、運転者情報が、運転者の視線の動きが小さくなった状態が所定期間継続していることを示す場合、集中度が低くなっていると判定する。

【0027】

例えば、特定オブジェクトらしさを示すスコアは最大１．０である。一例として、閾値Ａを０．９、閾値Ｂを０．７とする。例えば、認識処理部２３は、通常時は、スコアが０．９以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。例えば、認識処理部２３は、運転者の集中度が低くなっているときは、スコアが０．７以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。例えば、認識処理部２３は、スコアが０．７以上であることを条件としてオブジェクト認識を行っているときは、運転者の集中度が高くなったときに、通常のスコアの閾値を用いる認識処理に戻る。

【0028】

スコアの閾値は、特定オブジェクトごとに、言い換えると、オブジェクト認識辞書ごとに設定されていてもよい。

【0029】

スコアの閾値は、段階的に変化させてもよいし、運転者の集中度に比例してリニアに変化させてもよい。

【0030】

提示処理部２４は、認識処理部２３が認識した特定オブジェクトの情報を車両の運転者に提示する。提示処理部２４が認識した特定オブジェクトの情報を提示することによって、車両の運転者に対して、特定オブジェクトへの注意を促す。提示処理部２４は、表示部１４による表示または図示しない音声出力部から出力される音声を用いて、認識した特定オブジェクトの情報を運転者に提示する。このため、提示処理部２４は、表示部１４による表示で特定オブジェクトの情報を運転者に提示する場合は、表示制御部として機能する。より詳しくは、提示処理部２４は、車両の運転者に情報を提示する映像を生成する。提示処理部２４は、例えば、映像データに対して、認識された特定オブジェクトの範囲に枠線を重ねて表示させる提示用映像データを生成する。提示処理部２４は、例えば、特定オブジェクトへの注意を促す文字またはアイコンを表示させる提示用映像データを生成してもよい。提示処理部２４は、映像とともに出力する警告音などの音声を生成してもよい。提示処理部２４は、生成した映像を表示させる映像信号を表示部１４に出力して、映像を表示させる。提示処理部２４は、映像ともに生成した音声を出力させる音声信号を図示しないスピーカに出力してもよい。

【0031】

＜制御部における処理＞
次に、図２を用いて、制御部２０における処理の流れについて説明する。図２は、第一実施形態に係るオブジェクト認識制御装置である制御部２０における処理の流れを示すフローチャートである。オブジェクト認識装置１０が起動されると、図２に示すフローチャートの処理が開示される。図２の処理の開始は、任意の条件で開始される。例えば、オブジェクト認識装置１０を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によってオブジェクト認識装置１０の動作が開始されたときなどである。また、ステップＳ１０１の処理は、車両が走行していることを条件として実行されてもよい。

【0032】

図２の処理の開始に伴い、制御部２０は、撮影及びオブジェクト認識処理を開始する（ステップＳ１０１）。より詳しくは、制御部２０は、カメラ１１によって撮影を開始させる。制御部２０は、映像データ取得部２１によって、カメラ１１が出力した映像データを取得する。制御部２０は、認識処理部２３によって、映像データ取得部２１が取得した映像データから、車両の周辺の特定オブジェクトを認識する。ステップＳ１０１におけるオブジェクト認識処理のスコアの閾値は、通常時のスコアの閾値Ａである。例えば、制御部２０は、認識処理部２３によって、スコアが０．９以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。また、制御部２０は、車内カメラ１２によって撮影を開始させる。制御部２０は、映像データ取得部２１によって、車内カメラ１２が出力した車内映像データを取得する。制御部２０は、ステップＳ１０２に進む。

【0033】

ステップＳ１０１による処理が開始されるとともに、制御部２０は、集中度が低下しているか否かを判定する（ステップＳ１０２）。より詳しくは、制御部２０は、運転者情報取得部２２によって、映像データ取得部２１が取得した映像データから、運転者の状態を認識して運転者情報を取得する。制御部２０は、取得した運転者情報が、運転者の集中度が低くなっていることを示す場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０４へ進む。制御部２０は、取得した運転者情報が、運転者の集中度が低くなっていないことを示す場合（ステップＳ１０２でＮｏ）、ステップＳ１０３へ進む。

【0034】

運転者の集中度が低下していないことを示す場合（ステップＳ１０２でＮｏ）、制御部２０は、認識処理部２３によって、通常時のスコアの閾値Ａを用いて特定オブジェクト認識処理を実行する（ステップＳ１０４）。より詳しくは、認識処理部２３は、映像データに対してパターンマッチングを行い、特定オブジェクトらしさを示すスコアが０．９以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。制御部２０は、ステップＳ１０５へ進む。

【0035】

運転者の集中度が低下していることを示す場合（ステップＳ１０２でＹｅｓ）、制御部２０は、認識処理部２３によって、通常時のスコアの閾値Ａよりも低い閾値Ｂを用いて特定オブジェクト認識処理を実行する（ステップＳ１０４）。より詳しくは、認識処理部２３は、映像データに対してパターンマッチングを行い、特定オブジェクトらしさを示すスコアが０．７以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。これにより、集中度が低下している場合、通常時に比べて、検出したオブジェクトが特定オブジェクトと認識されやすくなる。制御部２０は、ステップＳ１０５へ進む。

【0036】

制御部２０は、認識処理部２３のオブジェクト認識結果に基づいて、特定オブジェクトを認識したか否かを判定する（ステップＳ１０５）。制御部２０は、特定オブジェクトを認識したと判定する場合（ステップＳ１０５でＹｅｓ）、ステップＳ１０６へ進む。制御部２０は、特定オブジェクトを認識したと判定しない場合（ステップＳ１０５でＮｏ）、ステップＳ１０７へ進む。

【0037】

制御部２０は、提示処理部２４によって、認識された特定オブジェクトの範囲に枠線を表示する（ステップＳ１０６）。より詳しくは、制御部２０は、提示処理部２４によって、映像データに、車両の周辺の特定オブジェクトを囲う枠線を重ねて表示部１４に表示させる。制御部２０は、ステップＳ１０７へ進む。

【0038】

制御部２０は、撮影及びオブジェクト認識処理を終了するか否かを判定する（ステップＳ１０７）。制御部２０は、例えば、オブジェクト認識処理を終了する操作を検出した場合、または、車両が停止してエンジンがＯＦＦされた場合などは、撮影及びオブジェクト認識処理を終了すると判定する。制御部２０は、撮影及びオブジェクト認識処理を終了すると判定する場合（ステップＳ１０７でＹｅｓ）、処理を終了する。制御部２０は、撮影及びオブジェクト認識処理を終了すると判定しない場合（ステップＳ１０７でＮｏ）、ステップＳ１０２の処理を再度実行する。

【0039】

＜効果＞
上述したように、本実施形態では、車両の運転者の集中度に応じて、オブジェクト認識処理におけるスコアの閾値を変化させる。本実施形態によれば、運転者の集中度に応じて、特定オブジェクトの認識を適切に行うことができる。

【0040】

本実施形態では、運転者の集中度が低下していることを示す場合、オブジェクト認識処理におけるスコアの閾値を低くする。本実施形態によれば、運転者の集中度が低下し、運転者の人物などに対する注意が疎かになる可能性がある場合、特定オブジェクトを認識しやすくすることができる。本実施形態によれば、より安全な運転を支援することができる。

【0041】

本実施形態では、運転者を撮影した映像データに対する運転者認識結果に基づいて、運転者情報を取得する。本実施形態によれば、運転者が撮影された車内映像データから、運転者の集中度が低下している状態を検出することができる。

【0042】

本実施形態は、認識した特定オブジェクトに関する情報を運転者に提示する。本実施形態は、運転者の特定オブジェクトに対する注意が疎かになる可能性がある場合、オブジェクト認識処理において特定オブジェクトを認識しやすくする。これらにより、本実施形態によれば、運転者の特定オブジェクトに対する注意が疎かになる可能性がある場合、車両の運転者に対して、特定オブジェクトへの注意を促す機会を増やすことができる。

【0043】

また、本実施形態では、運転者の集中度が低下していることを示す場合、オブジェクト認識処理におけるスコアの閾値を低くするため、物体の陰に一部が隠れた人物などの特定オブジェクトように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。

【0044】

さらに、本実施形態では、運転者の集中度が低下していることを示す場合、オブジェクト認識処理におけるスコアの閾値を低くするため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。

【0045】

［第二実施形態］
図３を参照しながら、本実施形態に係るオブジェクト認識装置１０Ａについて説明する。図３は、第二実施形態に係るオブジェクト認識制御装置である制御部２０Ａを有するオブジェクト認識装置１０Ａの構成例を示すブロック図である。オブジェクト認識装置１０Ａは、基本的な構成は第一実施形態のオブジェクト認識装置１０と同様である。以下の説明においては、オブジェクト認識装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。オブジェクト認識装置１０Ａは、生体センサ１５Ａを有する点と、制御部２０Ａの運転者情報取得部２２Ａと認識処理部２３Ａとにおける処理とが第一実施形態と異なる。

【0046】

生体センサ１５Ａは、運転者の生体情報を検出するセンサである。生体センサ１５Ａは、例えば、運転者の心拍を示す心拍情報、運転者の脳波を示す脳波情報、または、呼吸数を示す呼吸数情報を取得可能なデータを検出する。生体センサ１５Ａは、例えば、ステアリングに配置されている。生体センサ１５Ａは、例えば、運転者が手首に装着している携帯用電子機器に実装されている機能であってもよい。生体センサ１５Ａは、オブジェクト認識装置１０Ａと無線または有線でデータを通信可能に接続されている。

【0047】

運転者情報取得部２２Ａは、生体センサ１５Ａが取得した生体情報に基づいて、運転者情報を取得する。より詳しくは、運転者情報取得部２２Ａは、例えば、生体センサ１５Ａの検出結果から、運転者の心拍を示す心拍情報、運転者の血中酸素濃度を示す情報、または、呼吸数を示す呼吸数情報などを取得する。

【0048】

認識処理部２３Ａは、運転者の生体情報から運転者情報を取得する。認識処理部２３Ａは、運転者情報が、運転者の心拍の揺らぎ分析によって、運転者が眠気を感じていることを示す場合、集中度が低くなっていると判定してもよい。認識処理部２３Ａは、運転者情報が、運転者の血中酸素濃度を示す情報が低下傾向にある場合、運転者が眠気を感じていることを示す場合、集中度が低くなっていると判定してもよい。認識処理部２３Ａは、運転者情報が、運転者の呼吸数が少なくっていることを示す場合、集中度が低くなっていると判定してもよい。

【0049】

上述したように、本実施形態では、生体情報が、運転者の集中度が低下していることを示す場合、オブジェクト認識処理のスコアの閾値を低くする。本実施形態では、運転者の生体情報に基づいて、運転者の集中度が低下している状態を検出することができる。本実施形態によれば、特定オブジェクトの認識を適切に行うことができる。

【0050】

［第三実施形態］
本実施形態に係るオブジェクト認識装置１０について説明する。オブジェクト認識装置１０は、制御部２０の運転者情報取得部２２と認識処理部２３とにおける処理とが第一実施形態と異なる。

【0051】

運転者情報取得部２２は、運転者による連続運転時間を運転者情報として取得する。より詳しくは、運転者情報取得部２２は、車内映像データから運転者の顔を認識する。運転者情報取得部２２は、認識した顔について、顔の輪郭、顔を構成する各部の配置、形状および大きさなどを含む特徴点から、運転者の同一性を認識する。運転者情報取得部２２は、同一の運転者が継続して検出されている間、連続運転時間を加算する。車両の一時停止、または、数分間程度の短時間のエンジン停止が検出された場合、連続運転時間を継続して加算する。運転者情報取得部２２は、運転者が変わったことが検出されると、連続運転時間をリセットする。

【0052】

認識処理部２３は、運転者による連続運転時間を運転者情報として取得する。認識処理部２３は、例えば、連続運転時間が２時間以上である場合、集中度が低くなっていると判定してもよい。連続運転時間が２時間以上であるとは、同一運転者が、２時間以上休憩せずに運転を継続した場合である。

【0053】

上述したように、本実施形態では、運転者による連続運転時間が長くなると、オブジェクト認識処理のスコアの閾値を低くする。本実施形態では、運転者による連続運転時間に基づいて、運転者の集中度が低下している状態を検出することができる。本実施形態によれば、特定オブジェクトの認識を適切に行うことができる。

【0054】

これまで本発明に係るオブジェクト認識装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0055】

図示したオブジェクト認識装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0056】

オブジェクト認識装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0057】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0058】

＜変形例＞
上記で説明した運転者情報に加えて、車両の運転者の集中度を示す運転者情報の取得は、他に様々な手法が適用可能である。例えば、車両の運転者の表情や言動などから検出される車両の運転者の感情を、車両の運転者の集中度を示す運転者情報としてもよい。例えば、車両の運転者の感情が、怒りや焦りなどを示している場合は、集中度が低くなっておると判断する。

【0059】

上記では、車両の運転者を支援するための装置として説明したが、自動運転車両におけるオブジェクト認識処理に使用してもよい。オブジェクト認識装置１０は、認識処理部２３によって特定オブジェクトが認識された場合、車両を減速したり停止させたりするように制御する制御信号を出力する自動運転制御部を備える。オブジェクト認識装置１０は、表示部１４および提示処理部２４を備えていなくてもよい。

【符号の説明】

【0060】

１０ オブジェクト認識装置
１１ カメラ（撮影部）
１２ 車内カメラ
１３ 認識辞書記憶部
１４ 表示部
２０ 制御部（オブジェクト認識制御装置）
２１ 映像データ取得部
２２ 運転者情報取得部
２３ 認識処理部
２４ 提示処理部

【図1】

【図2】

【図3】