IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 市光工業株式会社の特許一覧

<>
  • 特開-車載用の表示装置及びその動作方法 図1
  • 特開-車載用の表示装置及びその動作方法 図2
  • 特開-車載用の表示装置及びその動作方法 図3
  • 特開-車載用の表示装置及びその動作方法 図4
  • 特開-車載用の表示装置及びその動作方法 図5
  • 特開-車載用の表示装置及びその動作方法 図6
  • 特開-車載用の表示装置及びその動作方法 図7
  • 特開-車載用の表示装置及びその動作方法 図8
  • 特開-車載用の表示装置及びその動作方法 図9
  • 特開-車載用の表示装置及びその動作方法 図10
  • 特開-車載用の表示装置及びその動作方法 図11
  • 特開-車載用の表示装置及びその動作方法 図12
  • 特開-車載用の表示装置及びその動作方法 図13
  • 特開-車載用の表示装置及びその動作方法 図14
  • 特開-車載用の表示装置及びその動作方法 図15
  • 特開-車載用の表示装置及びその動作方法 図16
  • 特開-車載用の表示装置及びその動作方法 図17
  • 特開-車載用の表示装置及びその動作方法 図18
  • 特開-車載用の表示装置及びその動作方法 図19
  • 特開-車載用の表示装置及びその動作方法 図20
  • 特開-車載用の表示装置及びその動作方法 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106887
(43)【公開日】2024-08-08
(54)【発明の名称】車載用の表示装置及びその動作方法
(51)【国際特許分類】
   B60Q 1/50 20060101AFI20240801BHJP
   G08G 1/16 20060101ALI20240801BHJP
【FI】
B60Q1/50 Z
G08G1/16 D
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023011360
(22)【出願日】2023-01-27
(71)【出願人】
【識別番号】000000136
【氏名又は名称】市光工業株式会社
(74)【代理人】
【識別番号】110000523
【氏名又は名称】アクシス国際弁理士法人
(72)【発明者】
【氏名】アハマド ワフィク
(72)【発明者】
【氏名】久米田 誠之
【テーマコード(参考)】
3K339
5H181
【Fターム(参考)】
3K339AA24
3K339AA25
3K339AA31
3K339AA39
3K339BA02
3K339BA28
3K339BA30
3K339CA12
3K339CA30
3K339DA01
3K339EA01
3K339EA02
3K339FA20
3K339JA21
3K339KA06
3K339KA07
3K339KA27
3K339MA01
3K339MA03
3K339MA10
3K339MB05
3K339MC01
3K339MC11
3K339MC14
3K339MC15
3K339MC22
3K339MC28
3K339MC36
3K339MC41
3K339MC48
3K339MC49
3K339MC50
3K339MC52
3K339MC53
5H181AA01
5H181BB20
5H181CC02
5H181CC04
5H181FF04
5H181FF27
5H181FF33
5H181LL01
5H181LL02
5H181LL08
5H181LL09
5H181LL15
5H181LL17
(57)【要約】
【課題】自車両周囲のヒトへのメッセージの伝達の促進と同時に表示の多様性を確保すること。
【解決手段】車両に搭載される表示装置8は、少なくとも言語メッセージを表示可能に構成された表示部2と、車両の進行予定領域を含む第1エリア及び車両の車幅方向に平行な横方向において第1エリアに隣接する少なくとも1つの第2エリアのいずれかにヒトが居るかを車載センサーの出力に基づいて判定し、第1エリアにヒトが居ると判定する時には少なくとも第1メッセージを表示部に表示させる第1指令を生成し、第2エリアにヒトが居ると判定する時には少なくとも第2メッセージを表示部2に表示させる第2指令を生成する制御部3を含む。
【選択図】図7
【特許請求の範囲】
【請求項1】
車両に搭載される表示装置であって、
少なくとも言語メッセージを表示可能に構成された表示部と、
前記車両の進行予定領域を含む第1エリア及び前記車両の車幅方向に平行な横方向において前記第1エリアに隣接する少なくとも1つの第2エリアのいずれかにヒトが居るかを車載センサーの出力に基づいて判定し、前記第1エリアに前記ヒトが居ると判定する時には少なくとも第1メッセージを前記表示部に表示させる第1指令を生成し、前記第2エリアに前記ヒトが居ると判定する時には少なくとも第2メッセージを前記表示部に表示させる第2指令を生成する制御部を備える、表示装置。
【請求項2】
前記車載センサーがイメージセンサーを含む請求項1に記載の表示装置であって、
前記制御部は、前記イメージセンサーの取得画像に基づいて少なくとも前記第1エリアを設定するように構成される、表示装置。
【請求項3】
前記制御部は、前記イメージセンサーの取得画像に写された横断歩道、前記イメージセンサーの取得画像に写された道路の幅、及び前記イメージセンサーの取得画像に写された走行車線の幅の1つ以上に基づいて少なくとも前記第1エリアを設定するように構成される、請求項2に記載の表示装置。
【請求項4】
前記制御部は、前記横断歩道のサイズ、前記道路の形状、又は前記走行車線の形状に前記第1エリアを適合させるように構成される、請求項3に記載の表示装置。
【請求項5】
前記制御部は、少なくとも前記イメージセンサーの取得画像に基づいて前記ヒトの位置を検出するように構成される、請求項2に記載の表示装置。
【請求項6】
前記制御部は、少なくとも前記イメージセンサーの取得画像に基づいて設定された少なくとも2次元の座標系において前記ヒトの位置が前記第1エリア及び第2エリアのいずれに属するかを判定するように構成される、請求項2乃至5のいずれか一項に記載の表示装置。
【請求項7】
前記制御部は、前記イメージセンサーの取得画像においてトリガーオブジェクトを検出し、この検出に応じて前記判定を実行するように構成される、請求項2乃至5のいずれか一項に記載の表示装置。
【請求項8】
前記車両の速度が閾値以下である時に限り、前記制御部が前記判定を行うように構成される、請求項2乃至5のいずれか一項に記載の表示装置。
【請求項9】
前記車両の速度が閾値以下である時に限り、前記制御部が前記判定を行うように構成される、請求項7に記載の表示装置。
【請求項10】
前記表示装置は、
異なる時点での前記イメージセンサーの取得画像から特定される異なる停車場所シンボルに応じて、前記表示部により表示される前記第1メッセージ及び/又は前記第2メッセージのメッセージ内容を変更するように構成される;又は
異なる時点での前記車両の位置から特定される異なる停車場所シンボルに応じて、前記表示部で表示される前記第1メッセージ及び/又は前記第2メッセージのメッセージ内容を変更するように構成される;又は、
異なる時点での前記車両の位置に応じて、前記表示部で表示される前記第1メッセージ及び/又は前記第2メッセージのメッセージ内容を変更するように構成される、請求項2乃至5のいずれか一項に記載の表示装置。
【請求項11】
前記制御部は、前記第1エリアに前記ヒトが居るか否か判定し、次に前記第2エリアに前記ヒトが居るか否か判定するように構成される、請求項1乃至5のいずれか一項に記載の表示装置。
【請求項12】
前記制御部は、前記第1エリア及び前記第2エリアの両方に前記ヒトが居ないと判定する時、前記表示部にデフォルト表示又は消灯を指示するように構成される、請求項11に記載の表示装置。
【請求項13】
前記第1メッセージは、挨拶に関するメッセージ、歩行の一時停止を促す旨のメッセージ、歩行継続を促す旨のメッセージ、前記車両に対する前記ヒトの歩行位置を指定する旨のメッセージ、前記車両への接近を禁止する旨のメッセージの少なくとも一つを含む、請求項1乃至5のいずれか一項に記載の表示装置。
【請求項14】
前記第2メッセージは、前記車両の動作又は走行状態に関するメッセージを含む、請求項13に記載の表示装置。
【請求項15】
少なくとも言語メッセージを表示可能に構成された表示部と、制御部を含む車両に搭載される表示装置の動作方法であって、
前記制御部は、
前記車両の進行予定領域を含む第1エリア及び前記車両の車幅方向に平行な横方向において前記第1エリアに隣接する少なくとも1つの第2エリアのいずれかにヒトが居るかを車載センサーの出力に基づいて判定し、
前記第1エリアに前記ヒトが居ると判定する時には少なくとも第1メッセージを前記表示部に表示させる第1指令を生成し、前記第2エリアに前記ヒトが居ると判定する時には少なくとも第2メッセージを前記表示部に表示させる第2指令を生成する、表示装置の動作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車載用の表示装置及びその動作方法に関する。
【背景技術】
【0002】
自車両とその周囲の歩行者との間のコミュニケーションを促進することは、車社会の安全性や信頼性を高める観点から非常に重要である。この点は、(これに限られるべきではないが)運転手が不在の自動運転車両に特に当てはまる。例えば、特許文献1では、車外の人に対してジェスチャを模した画像を表示する画像表示装置が開示されている。具体的には、歩行者の姿勢及び視線を検出し、歩行者が車両の前方を移動する準備姿勢であり、かつその視線が車両を向いている時、ジェスチャを模した画像の表示を行う(同文献の要約参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-153395号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願発明者らは、自車両周囲のヒトへのメッセージの伝達の促進と同時に表示の多様性を確保するという新たな課題を見出した。
【課題を解決するための手段】
【0005】
本開示の一態様に係る表示装置は、車両に搭載される表示装置であって、少なくとも言語メッセージを表示可能に構成された表示部と、車両の進行予定領域を含む第1エリア及び車両の車幅方向に平行な横方向において第1エリアに隣接する少なくとも1つの第2エリアのいずれかにヒトが居るかを車載センサーの出力に基づいて判定し、第1エリアにヒトが居ると判定する時には少なくとも第1メッセージを表示部に表示させる第1指令を生成し、第2エリアにヒトが居ると判定する時には少なくとも第2メッセージを表示部に表示させる第2指令を生成する制御部を含む。
【0006】
本開示の別態様に係る表示装置の動作方法は、少なくとも言語メッセージを表示可能に構成された表示部と、制御部を含む車両に搭載される表示装置の動作方法であって、制御部は、車両の進行予定領域を含む第1エリア及び車両の車幅方向に平行な横方向において第1エリアに隣接する少なくとも1つの第2エリアのいずれかにヒトが居るかを車載センサーの出力に基づいて判定し、第1エリアにヒトが居ると判定する時には少なくとも第1メッセージを表示部に表示させる第1指令を生成し、第2エリアにヒトが居ると判定する時には少なくとも第2メッセージを表示部に表示させる第2指令を生成する。
【0007】
上記両形態について、車載センサーがイメージセンサーを含み得る。追加又は代替として、第1メッセージは、挨拶に関するメッセージ、歩行の一時停止を促す旨のメッセージ、歩行継続を促す旨のメッセージ、車両に対するヒトの歩行位置を指定する旨のメッセージ、車両への接近を禁止する旨のメッセージの少なくとも一つを含み、及び/又は、第2メッセージは、車両の動作又は走行状態に関するメッセージを含み得る。
【0008】
オプションとして、イメージセンサーの取得画像に基づいて少なくとも第1エリアを設定するように構成される。好適には、(a)制御部は、イメージセンサーの取得画像に写された横断歩道、イメージセンサーの取得画像に写された道路の幅、及びイメージセンサーの取得画像に写された走行車線の幅の1つ以上に基づいて少なくとも第1エリアを設定するように構成され;及び/又は、(b)制御部は、少なくともイメージセンサーの取得画像に基づいてヒトの位置を検出するように構成され;及び/又は、(c)制御部は、少なくともイメージセンサーの取得画像に基づいて設定された少なくとも2次元の座標系においてヒトの位置が第1エリア及び第2エリアのいずれに属するかを判定するように構成される。横断歩道のサイズ、道路の形状、又は走行車線の形状に第1エリアを適合させるように制御部を構成しても良い。
【0009】
上述の任意の形態又はそれらの組み合わせにおいて、制御部は、イメージセンサーの取得画像においてトリガーオブジェクトを検出し、この検出に応じて判定を実行するように構成され得る。同様、車両の速度が閾値以下である時に限り、制御部が判定を行うように構成され得る。
【0010】
上述の任意の形態又はそれらの組み合わせにおいて、表示装置は、異なる時点でのイメージセンサーの取得画像から特定される異なる停車場所シンボルに応じて、表示部により表示される第1メッセージ及び/又は第2メッセージのメッセージ内容を変更するように構成される;又は異なる時点での車両の位置から特定される異なる停車場所シンボルに応じて、表示部で表示される第1メッセージ及び/又は第2メッセージのメッセージ内容を変更するように構成される;又は、異なる時点での車両の位置に応じて、表示部で表示される第1メッセージ及び/又は第2メッセージのメッセージ内容を変更するように構成され得る。
【0011】
上述の任意の形態又はそれらの組み合わせにおいて、制御部は、第1エリアにヒトが居るか否か判定し、次に第2エリアにヒトが居るか否か判定するように構成され得る。制御部は、第1エリア及び第2エリアの両方にヒトが居ないと判定する時、表示部にデフォルト表示又は消灯を指示するように構成され得る。
【発明の効果】
【0012】
本開示の一態様によれば、自車両周囲のヒトへのメッセージの伝達の促進と同時に表示の多様性を確保することができる。
【図面の簡単な説明】
【0013】
図1】本開示の一態様に係る自動運転車の前部を示す概略的な前面図である。
図2】表示装置の概略的なブロック図である。
図3】デフォルト表示の例を示す。
図4】対話メッセージの例を示す。
図5】自車両状態メッセージの例を示す。
図6】自車両に対するヒトの位置に応じた表示メッセージの内容の切替えを示す説明図である。
図7】表示装置の動作を示す概略的なフローチャートである。
図8】判定処理に関する説明図である。
図9】判定処理の概略的なフローチャートである。
図10】判定処理に関する別の説明図である。
図11】判定処理の概略的な別のフローチャートである。
図12】表示装置が作動している所定状況の一例を示す参考図である。
図13】表示装置が作動している所定状況の別例を示す参考図である。
図14】表示装置が作動している所定状況の更なる別例を示す参考図である。
図15】第1エリア及び第2エリアの設定例を示す参考図である。
図16】第1エリア及び第2エリアの別の設定例を示す参考図である。
図17】第1エリア及び第2エリアの更なる別の設定例を示す参考図である。
図18】対話メッセージの内容変更に関する概略的なフローチャートである。
図19】画像認識に基づく停車場所シンボルの特定に関する概略的なフローチャートである。
図20】位置情報に基づく停車場所シンボルの特定に関する概略的なフローチャートである。
図21】自車両状態メッセージの内容変更に関する概略的なフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ、本発明の非限定の実施形態及び特徴について説明する。当業者は、過剰説明を要せず、各実施形態及び/又は各特徴を組み合わせることができ、この組み合わせによる相乗効果も理解可能である。実施形態間の重複説明は、原則的に省略する。参照図面は、発明の記述を主たる目的とするものであり、作図の便宜のために簡略化されている。各特徴は、本明細書に開示された表示装置のみに有効であるものではなく、本明細書に開示されていない他の様々な表示装置にも通用する普遍的な特徴として理解される。本明細書においては、上下、左右、前後といった方向は、路面上を走行する車両を基準として参照されることがある。
【0015】
図1は、自動運転車9の前部を示す概略的な前面図である。図2は、自動運転車9に搭載された表示装置8の概略的なブロック図である。図3は、デフォルト表示の例を示す。図4は、対話メッセージの例を示す。図5は、自車両状態メッセージの例を示す。自動運転車9は、必ずしもこの限りではないが、運転手が不在のまま自律的又は事前設定された経路沿いに自動運転可能に構成される。自動運転車9には、自車両の周囲のヒトとのコミュニケーションのために表示装置8(図2参照)が搭載されている。表示装置8は、自車両周囲(例えば、前方)を撮像するカメラ1と、少なくとも言語メッセージを表示可能に構成された表示部2と、表示部2を制御する制御部3を含む。表示装置8は、オプションとして速度センサー4を含むこともできる。カメラ1の取得画像や速度センサー4の出力が有線又は無線で制御部3に伝送される。制御部3と表示部2が有線又は無線で通信可能に接続される。
【0016】
表示部2は、制御部3から受け取った表示指令に応じて異なる種類の表示を表示することができる。異なる種類の表示は、例えば、非言語メッセージのデフォルト表示(例えば、図3参照)、言語メッセージの一例としての対話メッセージ(例えば、図4参照)、及び言語メッセージの別例としての自車両状態メッセージ(例えば、図5参照)である。制御部3からの表示指令がデフォルト表示を指示する時、表示部2は、所定のデフォルト表示を表示する。制御部3からの表示指令がある対話メッセージ(例えば、図4(a))の表示を指示する時、表示部2は、その対話メッセージを表示する。制御部3からの表示指令が別の対話メッセージ(例えば、図4(b))の表示を指示する時、表示部2は、その対話メッセージを表示する。自車両状態メッセージについても同様である。
【0017】
表示部2は、発光部(例えば、LED)の2次元配列を含むことができ、2次元配列において所定の発光部を選択的に点灯させることにより所望の表示を提示することができる。幾つかの場合、表示部2は、言語メッセージを表示する第1表示部21と、これに加えてピクトグラム及び/又はグラフィック・シンボルを表示する1以上の第2表示部22,23を含むことができる。例えば、言語メッセージを表示可能である横長の第1表示部21の両側に第1表示部21を挟むようにピクトグラム及び/又はグラフィック・シンボルを表示する第2表示部22,23が設けられる。第1表示部21、第2表示部22,23は、異なる別々の装置であり得る。ピクトグラムは、言語メッセージと比べてシンプルであることが一般的である。従って、第2表示部22,23の発光部の密度は、第1表示部21の発光部の密度よりも低くすることができ、コスト低減が促進される。尚、第2表示部22,23の点灯のため、第1表示部21用のドライバーとは異なるドライバーを用いることができる。第2表示部22,23の2つの表示部の点灯のために同一のドライバーを用いることができる。
【0018】
表示部2の発光部の点灯制御は様々な方法で実行可能である。例えば、表示部2は、発光部の2次元配列に加えて、発光部の点灯を制御する点灯制御部と記憶部を含む。記憶部は、表示部2による個々の異なる表示(図3乃至図5に示した合計9個の表示)に対応する点灯制御情報を記憶する。点灯制御部は、制御部3からの表示指令に応じて所定の点灯制御情報を選択する。表示部2は、選択した点灯制御情報に基づいて表示部2に設けられた発光部群(例えば、LED群)の点灯制御を実行し、所定の表示(例えば、デフォルト表示、対話メッセージ、又は自車両状態メッセージ)が表示される。これに限らず、制御部3から表示部2に点灯制御情報を伝送する形態、制御部3から受け取った指令が示す(表示部2による個々の異なる表示に対応する)識別値に応じたスイッチング制御により発光部群の点灯制御状態が切り替わる形態も想定される。尚、デフォルト表示の代替として表示部2を消灯させることもできる。
【0019】
対話メッセージは、自動運転車9の周囲のヒトとの対話に関し、例えば、挨拶に関するメッセージ(「こんにちは」等)、歩行の一時停止を促す旨のメッセージ(「キケン」、「注意」、「その場で動かないで下さい」等)、歩行継続を促す旨のメッセージ(「そのまま歩いて下さい」等)、自動運転車9に対するヒトの歩行位置を指定する旨のメッセージ(「車両の前方を横断してください」等)、自動運転車9への接近を禁止する旨のメッセージ(「近づかないで下さい」等)の少なくとも一つを含むことができる。自車両状態メッセージは、自動運転車9の動作又は走行状態に関し、例えば、発車、信号待ち、出庫中、左折中、右折中、停車中の少なくとも一つを含むことができる。
【0020】
言語メッセージは、自動運転車9が走行する国の公用語により表されることが想定されている。同一内容の言語メッセージを異なる言語(例えば、英語とスペイン語)で表示するように表示装置8を構成することも可能である。より効果的な注意喚起のため、或いは、より長文の言語メッセージの表示のため、表示部2において(例えば、その長手方向に)言語メッセージが流れるように表示させることも可能である。
【0021】
言語メッセージと一緒にピクトグラム又はグラフィック・シンボルを表示部2に表示させることができ、これにより、自動運転車9とヒト間の円滑なコミュニケーションが促進される。例えば、自車両状態メッセージではなく対話メッセージと一緒にピクトグラム又はグラフィック・シンボルを表示させることで対話メッセージに感情的な意味づけをすることができる。具体例を挙げれば、図4(c)の如く、挨拶に関するメッセージと一緒に笑顔のグラフィック・シンボルを表示することにより対話メッセージの印象を高めることができる。ピクトグラムは、形及び/又は模様により所定の意味内容を表すグラフィック・シンボルである。
【0022】
本実施形態では、制御部3は、自動運転車9の進行予定領域を含む第1エリア及び自動運転車9の車幅方向D1に平行な横方向D2において第1エリアに隣接する少なくとも1つの第2エリアのいずれかにヒトが居るかを車載センサーの出力に基づいて判定し、第1エリアにヒトが居ると判定する時には少なくとも第1メッセージ(例えば、対話メッセージ)を表示部2に表示させる第1指令を生成し、第2エリアにヒトが居ると判定する時には少なくとも第2メッセージ(例えば、自車両状態メッセージ)を表示部2に表示させる第2指令を生成する。これにより自車両周囲のヒト(例えば、歩行者、或いは自転車に乗っているヒト)への第1メッセージの伝達の促進と同時に、少なくとも第1及び第2メッセージによる表示の多様性を確保することができる。尚、第1及び第2エリア以外のエリアについてヒトの有無を判定することも可能である。
【0023】
制御部3は、ソフトウェア制御として実装可能であり、典型的には、1以上の半導体メモリーと1以上のCPU(Central Processing Unit)を含む。半導体メモリーに記憶されたプログラムがCPUで実行されて上述の機能(判定及び指令生成)といった様々な機能が具現化される。以下の説明では、車載センサーがカメラ1に含まれるイメージセンサーであるとして説明するが、これに限られない。車載センサーとしては、イメージセンサー(CCD,CMOS等)、赤外線検出器、又は測距計、或いはこれらの任意の組み合わせから構築され得る。測距計は、実空間において鉛直及び水平方向に直交する奥行き方向の位置をより正確に計測する上で有用である。可視光帯域に限らず、赤外帯域において画像取得する形態も想定され、必要に応じて各種光学フィルターが用いられる。
【0024】
図6を参照して説明する。図6において自動運転車9が横断歩道の直前で停車している。カメラ1の視野角は十分に広く、点線枠で示した第1エリアA1及び第2エリアA2,A3を撮像範囲に包含している。従って、表示装置8の制御部3は、カメラ1の取得画像に基づいて第1エリアA1及び第2エリアA2,A3を設定可能である。ここでは、制御部3は、カメラ1の取得画像に写された横断歩道に基づいて第1エリアA1を設定し、続いて第2エリアA2,A3を設定する。尚、第1エリアA1は、必ずしも横断歩道に限らず、カメラ1の取得画像に写された道路の幅、又はカメラ1の取得画像に写された走行車線の幅に基づいて設定することも可能である。
【0025】
制御部3は、自動運転車9の進行予定領域を含む第1エリアA1にヒトが居るか否かをカメラ1の取得画像に基づいて判定する。同様、制御部3は、自動運転車9の車幅方向D1に平行な横方向D2において第1エリアに隣接する2つの第2エリアA2,A3にヒトが居るか否かをカメラ1の取得画像に基づいて判定する。第2エリアA2,A3は、第1エリアA1の両側に位置付けられるが、その一つを省略することもできる。第1エリアA1に対して第2エリアA2,A3が直に隣接しておらず、両者の間に隙間を設定することも可能である。
【0026】
ヒトM1は、ルートR1に示すようにやや斜めに横断歩道を渡るものとする。この時、ヒトM1の位置は、第2エリアA2の末端位置P1から第2エリアA3の末端位置P2まで変化する。ヒトM1が横断歩道を渡る時とは別の期間、ヒトM2は、ルートR2に示すように真っ直ぐに横断歩道を渡るものとする。横断中、ヒトM1,M2の中心視野は自動運転車9の表示部2から逸れている可能性もあるが、横断の最中、自動運転車9の表示部2に顔を向ける可能性があり、この場合、ヒトM1,M2の中心視野において表示部2が表示中の言語メッセージが視認される。
【0027】
ヒトM1が末端位置P1から横断歩道を渡って歩行する時、制御部3は、ヒトM1を写したカメラ1の取得画像に基づいてヒトM1が第1エリアA1及び第2エリアA2,A3のいずれに居るかを判定する。ヒトM1が、第2エリアA2と第1エリアA1の境界位置P3を通過すると、表示部2の表示メッセージが自車両状態メッセージから対話メッセージに切り替えられる。同様、ヒトM1が、第1エリアA1と第2エリアA3の境界位置P4を通過すると、表示部2の表示メッセージが対話メッセージから自車両状態メッセージに切り替えられる。ヒトM2についても図6に示す通り、同様の切換が行われる。尚、制御部3が実行する制御フローによっては第1エリアA1と第2エリアA2に同時にヒトM1が検出される場合があり得る。この場合、第1エリアA1でのヒト検出を第2エリアA2,A3でのヒト検出に優先させて第1メッセージを表示するように設計することができる。
【0028】
ヒトM1,M2が第1エリアA1に居る時、表示部2がより高い確率で視認される。この時、対話メッセージを表示することで対話メッセージが自動運転車9からヒトに伝達する可能性が高められる。他方、ヒトM1,M2が第2エリアA2に居る時、表示部2が視認される可能性が相対的に低い。従って、この場合、対話メッセージ以外の種類のメッセージを表示することにより表示部2の表示の多様性が確保できる。対話メッセージ以外の種類のメッセージとして自車両状態メッセージを表示することは、ヒトM1,M2以外のヒト(例えば、対向車線の対向車の運転手)にとっても有益であり得る。
【0029】
尚、ヒトM1,M2が同時期に横断歩道を横断する場合については、制御部3は、自車両状態メッセージの表示よりも対話メッセージの表示を優先させるように構成され得る。即ち、制御部3は、複数のヒトのうち一人でも第1エリアA1に居ると判定すれば対話メッセージの表示を指示する。他の優先順位付けも採用可能である。
【0030】
図2を参照して説明する。制御部3は、トリガー検出部30、ヒト検出部31、エリア設定部32、判定部33、及び指令生成部34を含む。トリガー検出部30は、ヒトが第1エリアに居るか又は第2エリアに居るかの判定のトリガーを検出する。トリガーとしては、(i)車速が閾値以下であること、(ii)自動運転車9の周囲にヒトが検出されることが例示される。ヒト検出部31は、自動運転車9の周囲のヒトを検出し、例えば、カメラ1の取得画像に基づいてヒトを検出する(ここでは、結果として、画像上のヒトの位置が求まる)。エリア設定部32は、第1エリア及び第2エリアを設定する部分であり、典型的には、カメラ1の取得画像に基づいて各エリアを設定する。判定部33は、ヒト検出部31により検出されたヒトがエリア設定部32により設定された第1及び第2エリアのどちらのエリアに居るかを判定する。指令生成部34は、判定部33の判定結果に応じて表示指令を生成して表示部2に出力する。上述の機能部は、プログラムモジュールとして構成される他、デジタル回路、アナログ回路又はデジタルアナログ混在回路といったハードウェア回路によって具現化することもできる。
【0031】
図7を参照して説明する。制御部3は、自動運転車9の速度が閾値以下であるか判定する(S0)。例えば、トリガー検出部30の速度判定部は、自動運転車9に搭載された速度センサーの出力が示す自動運転車9の速度が閾値以下であるか否かを判定する。自動運転車9の速度が閾値以下であれば、自動運転車9が低速又は停車状態であると分かる。尚、閾値は、例えば、10km/h以下であり、好適には、6km/h以下である。自動運転車9の速度判定を最初に行うことにより表示装置8の演算処理負担を低減することができる。表示装置8以外の自動運転車9のECU(Electronic Control Unit)において、ステップS0を行うこともできる。
【0032】
自動運転車9の速度が閾値以下の時、制御部3は、トリガーオブジェクトの検出を試みる(S1)。例えば、トリガー検出部30のトリガーオブジェクト検出部は、車載センサーの出力(例えば、カメラ1の取得画像)に基づいてトリガーオブジェクトの検出を試みる。トリガーオブジェクトは、事前に設定した現実世界の区域、場所又は構造物を意味し、典型的には、横断歩道又は停留所又は停留所関連物である。制御部3は、取得画像の画像処理に基づいて、取得画像中のトリガーオブジェクトに対応する像を検出する。この目的のために様々な画像処理方法を採用でき、例えば、取得画像において二値化又はエッジ抽出処理等の画像処理により特定した像と、トリガーオブジェクトに対応する像との一致度を算出して閾値判定することができるが、これに限定されるべきではない。機械学習を含めた広範囲の手法を採用することができる。
【0033】
尚、ステップS0,S1は、いずれも判定処理に関するトリガー検出に関するものであるが、自動運転車9が所定状況下にあるか否かの検出に関するものと理解することもできる。所定状況は、例としては、横断歩道前での停車又は減速又は加速開始状況、停留所付近での停車又は減速又は加速開始状況、信号機前での停車又は減速又は加速開始状況、又は交差点での左折又は右折のために停車又は減速又は加速開始している状況である。所定状況の検出に限って後述の判定及び表示を行うことにより表示タイミングの適正化又は最適化を図ることができる。追加又は代替として、制御部3は、自動運転車9が生成する各種信号、例えば、(ターンランプを点滅するための)ターン信号、又は、(ターンランプ及び/又はハザードランプを点滅するための)ハザード信号をトリガー検出条件として用いることができる。
【0034】
次に、制御部3がヒトを検出する(S2)。詳細には、ヒト検出部31が、車載センサーの出力に基づいてヒトを検出する。例えば、ヒト検出部31は、カメラ1の取得画像に基づいてヒトを検出し、カメラ1の取得画像上におけるヒトの位置を検出する。画像からヒトを検出するために既存技術(ヒトの顔認識技術等)を活用することができる。カメラ1の取得画像が所定のフレームレートで連続的に制御部3に供給され、ヒト検出部31により各画像上のヒトの位置が検出される。従って、ヒト検出部31は、取得画像上のヒトの位置の変化からヒトの移動方向及び/又は速度を算出することもできる。速度の算出は、フレームレートと画素が示す距離を用いることができる。念のため述べれば、カメラ1以外の車載センサーを用いてヒトを検出し、またヒトの位置を検出することもできる。
【0035】
次に、制御部3が判定処理を実行する(S3)。制御部3は、車載センサー出力に基づいてヒトが第1エリアA1及び第2エリアA2,A3のいずれに居るかを判定する。この判定は、自動運転車9に搭載されたセンサーの種類、個数、配置位置に依存して様々な方法で実行される。センサーコストの低減のため、1以上の又は1つのイメージセンサー(例えば、カメラ1に内蔵のもの)を活用することができる。詳細には、制御部3のエリア設定部32がカメラ1の取得画像に基づいて第1エリアA1及び第2エリアA2,A3を設定する。例えば、エリア設定部32は、カメラ1の取得画像に写された横断歩道に基づいて第1エリアA1を設定する。第2エリアA2,A3は第1エリアA1に隣接して挟む領域として設定可能である。制御部3の判定部33は、ヒト検出部31により検出されたヒトの位置がエリア設定部32により設定された第1エリアと第2エリアのいずれに属するか判定する。
【0036】
イメージセンサーは、2次元的に画素が配置された(通常矩形又は正方形の)画素配置領域、典型的には、画素マトリクス(画素が行列状に配置されたもの)を有する。カメラ1に内蔵されたイメージセンサーの画素配置領域の第1画素配置方向(例えば、行方向)及び第2画素配置方向(例えば、列方向)に基づいてカメラ1により撮像される実空間が直交座標系により表現可能である。端的には、第1画素配置方向を実空間の水平方向と見なし、第2画素配置方向を実空間の奥行き方向と見なすことができる。このようにイメージセンサーの取得画像に基づいて少なくとも2次元の座標系を設定することができ、この座標系においてヒトの位置と第1及び第2エリアの関係を評価すること、より端的には、ヒトの位置が第1及び第2エリアのどちらに属するかを判定することができる。車載センサーの構成又は種類によっては、座標系は、X軸及びY軸に加えて、これらに直交するZ軸を持つことができることに留意されたい。
【0037】
勿論、上述とは異なる他の方法も採用可能であり、率直な方法としては測距計の採用が挙げられる。測距計は、例えば、TOF(Time of Flight)による光学式測距計であるが、これに限られない。機械学習済みのモデル(例えば、学習済みのニューラルネットワーク)を活用して新たに取得画像に基づいて座標系のヒトの位置を特定することもできる(この場合、教師データは、座標系において既知の位置のヒトを示す画像データが用いられる)。
【0038】
念のため述べれば、車幅方向D1において複数の測距計(例えば、TOF基準の光学式測距計)を配置し、各測距計が、自動運転車9の前方の障害物(ヒトを含む)までの距離を検出する形態も想定される。測距計の出力の経時変化からヒトの位置を検出可能である。第1エリアA1及び第2エリアA2の境界と第1エリアA1及び第2エリアA3の境界を測距計の配置位置に基づいて設定することができる。制御部3は、測距計の出力の経時変化に基づいてヒトの位置の推移を検出して第1エリア及び第2エリアのいずれに居るかを判定することができる。第1エリアと第2エリアの境界はカメラ1を用いた上述の方法で修正可能である。
【0039】
ヒトが第1エリア内に居ると判定した場合(S4)、制御部3の指令生成部34は、第1メッセージ(例えば、図4の対話メッセージ)の表示を表示部2に指示する第1指令を生成し、表示部2が、この指令の入力に応じて第1メッセージを表示する(S5)。ヒトが第1エリア内に居らず(S4)、ヒトが第2エリアに居ると判定した場合(S6)、制御部3の指令生成部34は、第2メッセージ(例えば、図5の自車両状態メッセージ)の表示を表示部2に指示する第2指令を生成し、表示部2がこの指令の入力に応じて第2メッセージを表示する(S7)。尚、トリガー条件が検出されない場合(S0,S1)、ヒトが検出されない場合(S2)、及びヒトが第1及び第2エリアの両方に居ない場合(S3)、制御部3の指令生成部34は、表示部2にデフォルト表示(例えば、図3参照)を指示する又は消灯を指示する第3指令を生成する(S8)。トリガー検出(S0,S1)及びヒト検出(S2)の両方を満足した時に限って判定(S3)が実行され、制御部3の計算コストが軽減される。
【0040】
図8及び図9を参照して上述の判定処理について限定の意図なく更に説明する。自動運転車9のカメラ1の位置(例えば、カメラ1の撮像面)を基準に直交座標(X座標及びY座標)を定義することができる。説明の便宜上、この直交座標系は、上述のカメラ1の取得画像に基づいて設定された直交座標系に合致するものとする。X軸は、自動運転車9の車幅方向D1及び/又はカメラ1の撮像面に平行である。Y軸は、自動運転車9の進行方向に合致又は平行であり、及び/又は、カメラ1の撮像面(又はそこにある水平方向の中心画素)に直交する。
【0041】
制御部3は、カメラ1の取得画像から横断歩道を検出し、これに基づいて第1エリアA1を設定することができる。例えば、横断歩道の構成要素の一つの白線の近位端位置(即ち、Y1)からオフセット(即ち、β)を減算し、その白線の遠位端位置(即ち、Y2)にオフセット(即ち、β)を加算して第1エリアA1のY軸方向の幅を設定することができる。同様、x軸方向沿いの白線配列において左端に位置する白線の位置(即ち、x1)と、その配列の右端に位置する白線の位置(即ち、x2)から第1エリアA1のx軸方向の幅を設定することができる。尚、x1からオフセットを減算し、x1にオフセットを加算することもできる。第1エリアA1との関係で第2エリアを設定することができる。図示例では、第2エリアA2,A3は、Y軸方向において第1エリアA1と同幅であり、かつX軸方向において第1エリアA1の両側で挟むように設定される。Y軸方向の第2エリアA2,A3の幅は、Y軸方向の第1エリアA1の幅と連動して(例えば、所定比で)設定され得る。
【0042】
上述の説明から理解できるように、制御部3は、カメラ1の取得画像から第1エリア及び第2エリアを再定義することができる。例えば、一般公道において自動運転車9が走行中の道路が単車線か二車線かになって横断歩道の長さ(図8のWr)や横断歩道の幅(図8のWg)が変化する。第1エリア及び第2エリアのサイズを所定値に固定することなくカメラ1が撮像した横断歩道のサイズに基づいて変更することで表示装置8をより効果的に用いて表示の最適化を図ることができる。
【0043】
図9に示すように、制御部3は、カメラ1の取得画像において第1及び第2エリアとの関係でヒトM1の位置(X座標,Y座標)を評価することができる。制御部3は、ヒトのX座標がX軸方向で第1エリアの範囲内にあるか判定する(S11)。例えば、第1エリアの左端の位置X1とヒトのX座標を比較し、かつ第1エリアの右端位置X2とヒトのX座標を比較する。ヒトのX座標がX軸方向で第1エリアの範囲内にあると判定する場合、次に、制御部3は、ヒトのY座標がY軸方向で第1エリアの範囲内にあるか判定する(S12)。例えば、第1エリアの近位端位置Y1-βとヒトのY座標を比較し、かつ第1エリアの遠位端位置Y2+βとヒトのY座標を比較する。ヒトのY座標がY軸方向で第1エリアの範囲内にあると判定する場合、ヒトが第1エリアに居ると判定することになる。
【0044】
S11においてヒトのX座標がX軸方向で第1エリアの範囲内にないと判定する場合、制御部3は、ヒトのX座標がX軸方向で第2エリアの範囲内にあるか否か判定する(S13)。例えば、第2エリアの左端位置X1-αとヒトのX座標を比較し、かつ第2エリアの右端位置X2-αとヒトのX座標を比較する。ヒトのX座標がX軸方向で第2エリアの範囲内にあると判定する場合、制御部3は、ヒトのY座標がY軸方向で第2エリアの範囲内にあるか否か判定する(S14)。例えば、第2エリアの近位端位置Y1-βとヒトのY座標を比較し、かつ第2エリアの遠位端位置Y2+βとヒトのY座標を比較する。ヒトのY座標がY軸方向で第2エリアの範囲内にあると判定する場合、制御部3は、ヒトが第2エリアに居ると判定することになる。他方、ステップS13,S14においてヒトがX軸方向又はY軸方向で第2エリアA2,A3内に居ない場合、制御部3は、ヒトが第1及び第2エリア外にヒトが居ると判定する。
【0045】
図10及び図11を参照して別の状況について説明する。制御部3は、カメラ1の取得画像から道路幅を定める白線(X座標X1,X2)を検出し、これに基づいて第1エリアA1を設定することができる。例えば、左側の白線の幅を定める外側線と内側線のうち内側線に基づいて第1エリアの左端位置を設定し、右側の白線の幅を定める外側線と内側線のうち内側線に基づいて第1エリアの右端位置を設定することができる。y軸方向の第1エリアの幅は、所定幅w1に設定され、又はx軸方向に第1エリアの幅に比例にして設定される。y軸方向の第2エリアA2,A3の幅は、y軸方向の第1エリアA1の幅にオフセットを加えたものとして設定されている。停留所ではヒトが列を成すこともあるため、Y軸方向において第1エリアの幅よりも第2エリアの幅を大きくしている。判定の具体例は、図11に示す通りであり、概ね図9についてした説明が同様に当てはまり、従って、重複説明は省略する。
【0046】
以下、図12乃至図17に示す具体例を参照して更に説明する。図12を参照して説明する。表示装置8は、自動運転車9が交差点で左折又は右折する時にヒトM1を検出すると、これに応じて判定処理を行うことが予定されている。左折又は右折時は自動運転車9が十分に減速しているか停車している。従って、判定処理(S3)のトリガー条件(例えば、ステップS0,S1)が満足される。尚、制御部3は、トリガーオブジェクトを画像認識することなく、ターン信号の入力と自動運転車9が低速又は停車状況であることをトリガーとして判定を開始しても良い。左折時又は右折時にカメラ1の取得画像から上手く横断歩道が検出できないことを回避又は抑制できる。左折又は右折時にヒトM1を検出できなければ表示装置8の表示部2はデフォルト表示又は消灯を維持し、無意味な表示が回避され、消費電力の節約が図られる。
【0047】
図13を参照して説明する。表示装置8は、自動運転車9が停留所から発車する時にヒトM1を検出すると、これに応じて判定処理を行うことが予定されている。停留所を発車する時、別の自動運転車を待つヒトが停留所付近にいることがある。従って、第2エリアA2,A3にヒトが居ることを検出する時に自車両状態メッセージを表示する意義がある。自動運転車9が停留所に居るか否かは、カメラ1の取得画像に基づく停留所の検出に限らず、GPS信号といった信号を活用することもできる。即ち、制御部3は、トリガーオブジェクト(停留所(その標識等))を画像認識することなく、停留所付近の位置を示すGPS信号、発車の意図を意味するターン信号、自動運転車9が低速又は停車状況であることをトリガーとしては判定を開始しても良い。
【0048】
図14を参照して説明する。表示装置8は、自動運転車9が信号機前で停車している時にヒトM1を検出すると、これに応じて判定処理を行うことが予定されている。信号機が赤信号の時、自動運転車9は、停止を継続する。ヒトM1が第1エリアに居る時、制御部3は、信号機の赤信号の画像認識に基づいて図4(b)-(d)ではなく図4(a)の言語メッセージを表示するように表示部2を制御する。このようにしてヒトM1に対して適切な対話メッセージを伝達することができる。本段落で述べた制御部3の特徴は、図18に関する後述の説明からより具体的に理解される。
【0049】
図15を参照して説明する。表示装置8は、トリガーオブジェクト(例えば、横断歩道)の幅に応じて第1エリアの幅を変更することができる。図8と比較して、図15に示す第1エリアA1は、x軸方向において狭く、y軸方向において広く設定される。第2エリアA2,A3についても同様である。トリガーオブジェクト(例えば、横断歩道)に付与するオフセットの値は適宜変更可能であることにも留意されたい。
【0050】
図16及び図17を参照して説明する。表示装置8は、自動運転車9が走行する道路又は走行車線の幅又は形状に第1エリアの幅又は形状を適合させることができる。図16では、道路幅を規定する白線のうち左側の白線の傾斜部SL1に応じて第1エリアA1の左端線に傾斜が設定されている。第2エリアA2の右端線には、左側の白線の直線部DL1及び傾斜部SL1に応じて直線及び傾斜が設定されている。図17では、道路がカーブしており、道路幅を規定する白線のうち左側の湾曲部CL1と中央分離線の湾曲部CL2に応じて第1エリアA1の左右両端線に湾曲が設定されている。このように道路又は走行車線の幅又は形状に第1エリア及び/又は第2エリアを適合させることにより第1エリアと第2エリアの境界近傍に居るヒトM1に対して意図した言語メッセージを的確に伝達することができる。念のため述べると、第1エリア及び/第2エリアの形状設計は、上述の座標系において定義可能である。
【0051】
図18乃至図21を参照して更に説明する。図18は、対話メッセージの内容変更に関する概略的なフローチャートである。図19は、画像認識に基づく停車場所シンボルの特定に関する概略的なフローチャートである。図20は、位置情報に基づく停車場所シンボルの特定に関する概略的なフローチャートである。図21は、自車両状態メッセージの内容変更に関する概略的なフローチャートである。
【0052】
図18から分かるように、表示装置8は、自動運転車9の停車場所に応じて異なる対話メッセージを表示し得る。自動運転車9が横断歩道前で停車していれば(S31)、制御部3が第1対話メッセージの表示を指示する指令を生成し、これに応じて表示部2が第1対話メッセージ(例えば、図4(a))を表示する(S32)。自動運転車9が停留所で停車していれば(S33)、制御部3が第2対話メッセージ(例えば、図4(b))の表示を指示する指令を生成し、これに応じて表示部2が第2対話メッセージを表示する(S34)。自動運転車9が信号機前(この時、概ね信号機は赤信号である)で停車していれば(S35)、制御部3が第3対話メッセージ(例えば、図4(c))の表示を指示する指令を生成し、これに応じて表示部2が第3対話メッセージを表示する(S36)。自動運転車9が駐車場で停車していれば(S37)、制御部3が第4対話メッセージ(例えば、図4(d))の表示を指示する指令を生成し、これに応じて表示部2が第4対話メッセージを表示する(S38)。
【0053】
上述の自動運転車9の停車場所の特定のために自動運転車9に搭載されたカメラ1の取得画像を用いることができる。表示装置8は、異なる時点でのカメラ1の取得画像から特定される異なる停車場所シンボルに応じて第1メッセージ及び/又は第2メッセージのメッセージ内容を変更するように構成される。例えば、図19に示すように、カメラ1が画像を取得し(S41)、続いてこの画像が制御部3に転送されて画像処理され(S42)、画像中の停車場所シンボルが特定される(S43)。停車場所シンボルの特定のために様々な技術を採用可能である。例えば、制御部3は、カメラ1の取得画像において二値化又はエッジ抽出処理等の画像処理により特定した像と、停車場所シンボルに対応する像との一致度を算出して閾値判定することができるが、これに限定されるべきではない。機械学習を含めた広範囲の手法を採用することができる。続いて、制御部3は、特定した停車場所シンボルに対応するメッセージ内容の表示を表示部2に指示する。特定した停車場所シンボルと所定のメッセージが事前に関連付けられており、従って、制御部3は、停車場所シンボルの特定に基づいて表示されるべきメッセージを選択することができ、その選択したメッセージの表示を表示部2に指示することができる。他の停車場所についても同様である。停車場所シンボルとメッセージの関連付けは、両者に共通の識別番号を付与するルックアップテーブルを用いることができるが、これに限られない。
【0054】
上述の画像認識に基づく停車場所シンボルの特定の追加又は代替として、自動運転車9の現在の位置情報(例えば、絶対位置又は相対位置)を用いることができる。表示装置8は、異なる時点での自動運転車9の位置から特定される異なる停車場所シンボルに応じて第1メッセージ及び/又は第2メッセージのメッセージ内容を変更するように構成される。例えば、図20に示すように、自動運転車9に搭載されたGPS受信機がGPS信号を受信する等して自車両の位置情報を取得し(S51)、制御部3がGPS信号から定まる自動運転車9の位置の近傍に在る停車場所シンボルを特定する(S52)。停車場所シンボルとして横断歩道、停車場所、信号機、駐車場の位置が事前に登録されている。従って、制御部3は、事前登録された停車場所シンボルの位置に対する自動運転車9の位置の接近度を算出することができる。例えば、制御部3は、ある横断歩道の位置に対する自動運転車9の接近度を算出し、判定閾値よりも高ければ、自動運転車9が横断歩道前で停車していると判定することができる。他の点は、図19を参照して説明したものと同様である。
【0055】
停車場所シンボルを特定しない形態も想定される。この場合、表示装置8は、異なる時点での自動運転車9の位置に応じて第1メッセージ及び/又は第2メッセージのメッセージ内容を変更するように構成される。即ち、停車場所シンボルとは無関係に単に自動運転車9の位置に応じてメッセージ内容が変更可能である。例えば、自動運転車9の位置(又はその範囲)とメッセージが事前に関連付けられる(例えば、ルックアップテーブルを用いる)。自動運転車9の位置に基づいて、この位置に関連付けられた対話メッセージを直ぐに選択して表示することができる。自動運転車9の位置は、絶対的な位置ではなく基準位置に対する自動運転車9の相対的な位置からも定めることができる。
【0056】
図21から分かるように、表示装置8は、自動運転車9の停車場所に応じて異なる自車両状態メッセージを表示し得る。この点は、図8乃至図11を参照した上述の説明から同様に理解可能であり、重複説明は省略する。
【0057】
上述の開示に照らして上述の特徴又は形態について様々な変更が可能である。図7に示したステップS0,S1,S2は、表示装置8に限らず、自動運転車9(表示装置8以外の部分)において行うこともできる。この場合、自動運転車9から表示装置8の制御部3にトリガー信号が供給され、これに応じて判定処理(S3)が実行される。
【0058】
表示装置8は、自動運転車9とは別の独立した装置である必要はない。例えば、表示装置8のカメラ1は、ドライブレコーダーとして自動運転車9に搭載されたものであり得る。表示装置8の制御部3は、自動運転車9のECU又はその一部、或いは自動運転車9のECUとは独立した別のECUであり得る。表示装置8の表示部2は、別の目的のために自動運転車9に予め組み込まれたものであり得る(即ち、表示装置8のために流用されたものであり得る)。
【符号の説明】
【0059】
2 :表示部
3 :制御部
8 :表示装置
A1 :第1エリア
A2 :第2エリア
A3 :第2エリア
M1 :ヒト
M2 :ヒト
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21