(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022153395
(43)【公開日】2022-10-12
(54)【発明の名称】画像表示装置及び画像表示方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20221004BHJP
B60Q 1/50 20060101ALI20221004BHJP
G09G 5/00 20060101ALI20221004BHJP
【FI】
G08G1/16 C
B60Q1/50 Z
B60Q1/50 A
G09G5/00 510A
G09G5/00 550C
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2022107093
(22)【出願日】2022-07-01
(62)【分割の表示】P 2018067908の分割
【原出願日】2018-03-30
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】110002332
【氏名又は名称】特許業務法人綾船国際特許事務所
(72)【発明者】
【氏名】後藤田 明
(57)【要約】
【課題】
運転者が存在しない自動運転車両の場合に、車両外の人とのコミュニケーションを実現し、円滑かつ安全な走行に資する。
【解決手段】
歩行者の歩行を優先させる旨の待機情報を自動運転装置990から受けると、検出部730は、撮影部910から送られた撮影画像の解析処理を行い、歩行者の姿勢及び視線を検出する。そして、検出部730は、当該検出結果を表示制御部750へ送る。表示制御部750は、車両CRに運転者がいない場合に、検出部730による検出結果に基づいて、歩行者が車両CRの前方を移動する準備態勢の姿勢であり、かつ、歩行者の視線が車両CRに向けられているか否かの判定を行う。そして、当該判定の結果が肯定的である場合に、表示制御部750は、車両CRの運転者が歩行者に対して行う、車両CRの前方の移動を促すジェスチャを模した画像を、スクリーン955に表示させる制御を行う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
自律走行可能な車両に配置される画像表示装置であって、
前記車両の運転者が居ない状態の場合に、前記車両の外部に存在する人が視認可能な、前記車両内の運転者が前記人に対してジェスチャを行っていることを模した画像を表示させる表示制御部を、備えることを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置、画像表示方法及び画像表示プログラム、並びに、当該画像表示プログラムが記録された記録媒体に関する。
【背景技術】
【0002】
近年、運転者による運転操作を必要としない無人運転車両の実用化に向けての開発が進められている。こうした無人運転車両に関する技術の一つとして、車両外における人対策を行うものがあり、当該対策を行うための様々な技術が提案されている。
【0003】
かかる提案技術の一つとして、自動運転車両が人物を認識した場合に、当該人物に対して、自動運転車両によって認識されていることを通知するものがある(特許文献1参照:以下、「従来例1」と呼ぶ)。この従来例1の技術では、カメラによって撮影された撮影画像から、自動運転車両の周辺に存在する人物の検出処理を行う。そして、当該検出処理により人物が検出された場合には、当該人物に向けてレーザ光を照射したり、音を出力したりするようになっている。
【0004】
また、無人運転車両に関する技術ではないが、歩行者に対して、分りやすく注意を喚起するものがある(特許文献2参照:以下、「従来例2」と呼ぶ)。この従来例2の技術では、カメラによって撮影された画像に基づいて歩行者を判別し、設定された領域に当該歩行者が存在しているか否かの判定処理を行う。そして、設定された領域に歩行者が存在しているときに、路面に横断歩道等のイメージを投影するようになっている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2017-159881号公報
【特許文献2】特開2008-007079号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、円滑かつ安全な道路走行を行うためには、横断歩道の優先歩行を促すための運転者による歩行者への合図や、他車両の先行走行を促すための運転者による当該他車両の操作者への合図等のコミュニケーションが重要となるが、自動運転車両では、走行に際して運転者が存在しないことがある。上述した従来例1の技術では、人物が自動運転車両により認識されていることを、当該人物に対して通知するが、優先歩行を促す通知を行っていないため、当該通知を受けた人物は、その場に留まり、車両の通過を待つのが一般である。この結果、従来例1の技術では、円滑かつ安全な道路走行を行うための通知としては、十分ではない。
【0007】
一方、従来例2の技術を無人運転車両に関する技術に適用すると、自動運転車両において、歩行者に対して優先歩行を促すコミュニケーションをとることが可能となる。しかしながら、イメージを道路に投影する方法では、凹凸等の道路の状態によっては、道路に投影されるイメージが歪となり、イメージの内容が歩行者に伝わらないことがある。この結果、従来例2の技術では、円滑かつ安全な道路走行を行うための通知に改善の余地がある。
【0008】
このため、運転者が存在しない自動運転車両の場合であっても、有人運転車両の場合と同様に、車両外の人とのコミュニケーションを実現し、円滑かつ安全な走行に資することができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。
【課題を解決するための手段】
【0009】
請求項1に記載の発明は、自律走行可能な車両に配置される画像表示装置であって、
前記車両の運転者が居ない状態の場合に、前記車両の外部に存在する人が視認可能な、前記車両内の運転者が前記人に対してジェスチャを行っていることを模した画像を表示させる表示制御部を、備えることを特徴とする画像表示装置である。
【0010】
請求項10に記載の発明は、自律走行可能な車両に配置され、表示制御部を備える画像表示装置において使用される画像表示方法であって、前記車両の運転者が居ない状態の場合に、前記表示制御部が、前記車両の外部に存在する人が視認可能な、前記車両内の運転者が前記人に対してジェスチャを行っていることを模した画像を表示させる表示制御工程を、備えることを特徴とする画像表示方法である。
【0011】
請求項11に記載の発明は、画像表示装置が有するコンピュータに、請求項10に記載の画像表示方法を実行させる、ことを特徴とする画像表示プログラムである。
【0012】
請求項12に記載の発明は、画像表示装置が有するコンピュータにより読み取り可能に、請求項11に記載の画像表示プログラムが記録されている、ことを特徴とする記録媒体である。
【図面の簡単な説明】
【0013】
【
図1】本発明の一実施形態に係る画像表示装置の構成を示すブロック図である。
【
図2】本発明の一実施例に係る画像表示装置の構成を概略的に示すブロック図である。
【
図3】
図2の表示ユニットにおける投影ユニット、ハーフミラー及びスクリーンの配置関係を説明するための図である。
【
図4】
図2の画像表示装置の動作の説明に際して参照する図である。
【
図5】
図2の画像表示装置による、運転者を模した画像の表示制御処理を説明するためのフローチャートである。
【
図6】
図5の第1種画像表示制御処理を説明するためのフローチャートである。
【
図7】
図5の第2種画像表示制御処理を説明するためのフローチャートである。
【
図8】スクリーンに表示される運転者を模した画像を、車両の外部から見たときの様子を説明するための図である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態を、
図1を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【0015】
[構成]
図1には、一実施形態に係る画像表示装置700の構成がブロック図にて示されている。画像表示装置700は、自律走行可能な車両CR内に配置される。本実施形態では、車両CRには、画像表示装置700に加えて、撮影部910と、表示部950とが配置され、これらが画像表示装置700に接続されている。また、車両CRには、自動運転装置990が配置され、当該自動運転装置990は画像表示装置700に接続されている。
【0016】
上記の撮影部910は、車両CRの進行方向を含む撮影視野で、車両CRの少なくとも前方を撮影するカメラを備えて構成されている。撮影部910による撮影結果(撮影画像)は、画像表示装置700へ送られる。なお、不図示ではあるが、撮影部910による撮影結果は、自動運転装置990へも送られ、自動運転装置990による自動運転制御で活用されるようになっている。
【0017】
上記の表示部950は、本実施形態では、投影部951と、スクリーン955とを備えている。
【0018】
投影部951は、映像プロジェクタを備えて構成されている。投影部951は、画像表示装置700から送られた表示画像データを受ける。そして、投影部951は、当該表示画像データに対応する画像を、スクリーン955に投影表示する。
【0019】
スクリーン955は、本実施形態では、前方座席の背もたれ部の前側に配置される。当該スクリーン955は、投影部951が投影した画像を、車両CRの外部の人に対して視認可能に表示する。
【0020】
上記の自動運転装置990は、走行計画及び走行環境に応じて、車両CRの発進、加減速、操舵、停止等を制御する。自動運転装置990は、地図情報を記憶した不図示の記憶部を備えている。そして、自動運転装置990は、車速検出部や位置検出部等の不図示の走行情報検出部から送られた走行情報、及び、撮影部910から送られた撮影画像等を利用し、地図情報を適宜参照して、自動運転制御を行うようになっている。
【0021】
こうした自動運転制御として、自動運転装置990は、例えば、信号機のない道路で、横断歩道を歩行しようとしている歩行者を検知したときには、歩行者が横断歩道を歩行するまで、車両CRを停止させる制御を行うようになっている。そして、当該制御を行うときには、自動運転装置990は、歩行者の歩行(横断)を優先させる旨の待機情報を生成し、画像表示装置700へ送るようになっている。
【0022】
また、こうした自動運転制御として、自動運転装置990は、例えば、対向車線を走行している他車両が右折等のために、車両CRの通過を待っていることを検知したときには、走行環境に応じて、当該他車両の右折を先行(優先)させるために、車両CRを減速又は停止させる制御を行うようになっている。そして、当該制御を行うときには、自動運転装置990は、他車両の移動を先行(優先)させる旨の待機情報を生成し、画像表示装置700へ送るようになっている。ここで、他車両には、自動車、オートバイ、自転車等を含むものである。
【0023】
また、こうした自動運転制御として、自動運転装置990は、例えば、他車両が駐車場に駐車するために、車両CRの移動を待っていることを検知したときには、走行環境に応じて、当該他車両の駐車場への駐車を先行させるために、車両CRを停止させる制御を行うようになっている。そして、当該制御を行うときには、自動運転装置990は、他車両の移動を先行(優先)させる旨の待機情報を生成し、画像表示装置700へ送るようになっている。
【0024】
<画像表示装置700の構成>
上記の画像表示装置700の構成について、説明する。
【0025】
画像表示装置700は、
図1に示されるように、記憶部710と、検出部730とを備えている。また、画像表示装置700は、表示制御部750を備えている。
【0026】
上記の記憶部710は、不揮発性の記憶素子を備えて構成される。当該記憶部710には、車両CRの運転者を模した画像データ、並びに、撮影部910が備えるカメラの配置位置及び光学特性を示すカメラ情報が記憶される。記憶部710には、検出部730及び表示制御部750がアクセス可能となっている。
【0027】
車両CRの運転者を模した画像データは、車両CRの外部の前方に存在する人が当該車両CRの見ていた場合に、運転者が当該人に対してジェスチャを行っていることを模した画像のデータとなっている。当該ジェスチャの内容の一例は、歩行者に対して車両CRの前方の移動を促すジェスチャである。言い換えれば、車両CRの予定走行経路に進入する可能性のある歩行者に対して、当該歩行者の歩行(横断)を優先させる意思を示すジェスチャである。
【0028】
また、当該ジェスチャの内容の他の例は、他車両の操作者に対して車両CRの走行に先行した他車両の移動を促すジェスチャである。言い換えれば、車両CRの予定走行経路に進入する可能性のある他の車両の操作者に対して、当該他車両の走行を優先させる意思を示すジェスチャである。
【0029】
上記の検出部730は、撮影部910から送られた撮影画像を受ける。そして、検出部730は、自動運転装置990から送られた待機情報を受けた場合に、当該撮影画像の解析処理を行って、車両CRの予定走行経路へ進入する可能性のある歩行者に関する情報、又は、車両CRの予定走行経路へ進入する可能性のある他車両及び当該他車両の操作者に関する情報(これらの情報を「他移動体に関する情報」とも記す)を検出する。すなわち、検出部730は、車両CRの予定走行経路へ進入する可能性のある人(歩行者、他車両の操作者等)又は他車両の有無を検出するようになっている。
【0030】
なお、他車両が検出されたときには、検出部730は、撮影画像の解析結果に基づいて、車両CRと他車両との距離の検出を行うようになっている。検出部730による検出結果は、表示制御部750へ送られる。検出部730による処理の詳細については、後述する。
【0031】
上記の表示制御部750は、検出部730から送られた他移動体に関する情報を受ける。引き続き、表示制御部750は、車両CRに運転者がいない状態であり、かつ、自動運転装置990から送られた待機情報を受けた場合に、待機情報の内容及び他移動体に関する情報に基づいて、運転者を模した画像を表示すべきと判定したときに、記憶部710内の画像データを読み取って、表示画像データを生成する。そして、表示制御部750は、当該表示画像データを表示部950へ送る。表示制御部750による処理の詳細については、後述する。
【0032】
本実施形態では、運転者が車両CR内に存在していることを検出する運転者検出部があってもよい。当該運転者検出部は、車両CRの座席に設置された着座センサ等からの信号から、運転者が車両CRに存在していることを検出するようにしてもよい。
【0033】
また、当該運転者検出部は、自動運転装置990が実行している自動運転の走行モードの種別によって、運転者が車両CR内に存在していることを検出するようにしてもよい。例えば、自動運転装置990が「無人走行モード」等、明らかに運転者が車両CRに存在していないときに実行される走行モードを実行している場合には、運転者検出部は、運転者が車両CRに存在していないことを検出するようにしてもよい。
【0034】
[動作]
上記のように構成された画像表示装置700の動作について、検出部730及び表示制御部750による処理に主に着目して説明する。
【0035】
前提として、撮影部910は、動作を開始しており、撮影結果(撮影画像)を逐次、画像表示装置700及び自動運転装置990へ送っているものとする。また、自動運転装置990は、動作を開始しており、上述した待機情報を生成したときには、当該待機情報を画像表示装置700へ送るものとする。
【0036】
<他移動体に関する情報の検出処理>
他移動体に関する情報の検出処理は、自動運転装置990から送られた待機情報を受けた場合に、実行される。かかる他移動体に関する情報の検出処理に際しては、自動運転装置990から送られた待機情報が、歩行者の歩行を優先させる旨の情報であったときには、検出部730は、撮影部910から送られた撮影画像を解析して、画像中における歩行者を検出する。
【0037】
なお、検出部730は、撮影部910から送られた撮影画像を解析して、当該検出された歩行者の姿勢、視線及び顔の向きの少なくとも一つをさらに検出するようにしてもよい。そして、検出部730は、歩行者の検出結果、歩行者の姿勢、視線及び顔の向きの少なくとも一つについての検出結果を、歩行者に関する情報として、歩行者の歩行を優先させる旨の待機情報を受けている期間中、逐次、表示制御部750へ送る。また、検出部730は、特に、車両CRの予定走行経路へ進入する可能性のある人(歩行者、他車両の操作者等)又は他車両の有無を検出するようにしてもよい。
【0038】
また、かかる他移動体に関する情報の検出処理に際して、自動運転装置990から送られた待機情報が、他車両の移動を先行させる旨の情報であったときには、検出部730は、撮影部910から送られた撮影画像を解析して、画像中における他車両及び当該他車両の操作者を検出する。なお、検出部730は、撮影部910から送られた撮影画像を解析して、当該検出された他車両の動作及び操作者の視線をさらに検出するようにしてもよい。
【0039】
また、検出部730は、撮影部910から送られた撮影画像及び記憶部710に記憶されたカメラ情報に基づいて、車両CRと他車両との距離を検出する。そして、検出部730は、他車両及び当該他車両の操作者の検出結果、他車両の動作、及び当該他車両の操作者の視線又は顔の向きについての検出結果、並びに、車両CRと他車両との距離の検出結果を、他車両及び操作者に関する情報として、他車両の移動を先行させる旨の待機情報を受けている期間中、逐次、表示制御部750へ送る。
【0040】
<運転者を模した画像の表示制御処理>
運転者を模した画像の表示制御処理に際しては、表示制御部750が、まず、運転者が車両CR内に存在していることを示す入力が入力部に対して行われていないか否かを判定することにより、車両CRに運転者がいない状態であるか否かの不存在判定処理を行う。当該不存在判定処理の結果が否定的であった場合には、表示制御部750は、不存在判定処理を繰り返す。
【0041】
不存在判定処理の結果が肯定的であった場合には、表示制御部750は、自動運転装置990から送られた待機情報を受けたか否かの待機情報取得判定処理を行う。当該待機情報取得判定処理の結果が否定的であった場合には、待機情報取得判定処理を終了し、上述した不存在判定処理を再度開始する。
【0042】
一方、待機情報取得判定処理の結果が肯定的であった場合には、表示制御部750は、待機情報の内容が、「歩行者の歩行を優先させる」旨の待機情報であるか、「他車両の移動を先行させる」旨の待機情報であるかの情報判定処理を行う。
【0043】
当該情報判定処理により、待機情報の内容が「歩行者の歩行を優先させる」旨の情報であった場合には、表示制御部750は、検出部730から送られた歩行者に関する情報に基づいて、歩行者が車両CRの前方を移動する準備態勢の姿勢(車両前方の横断歩道を歩行する態勢)であるか否かの判定処理(姿勢判定処理)を行う。ここで、準備態勢とは、歩行者が車両CRの前方を移動(横断)しようとしている状態のことである。言い換えれば、歩行者が車両CRの前方の横断を開始する前の状態のことである。
【0044】
また、表示制御部750は、検出部730から送られた歩行者に関する情報に基づいて、歩行者の視線が車両CRに向けられているか否かについての判定処理(視線判定処理)を行なう。本実施形態においては、当該視線判定処理は、歩行者が車両CRを認識しているか否か判定する処理と言い換えることが可能である。すなわち、当該視線判定処理の結果が肯定的である場合には、歩行者が車両CRを認識していると判定する。当該姿勢判定処理、又は視線判定処理の結果が肯定的である場合に、表示制御部750は、記憶部710内の画像データを読み取って、表示画像データを生成する。そして、表示制御部750は、当該表示画像データを表示部950へ送る。この結果、運転者が歩行者に対して行う、車両CRの前方の移動を促すジェスチャを模した画像が、スクリーン955に表示される。
【0045】
なお、表示制御部750は、上述した姿勢判定処理及び視線判定処理の両方が肯定的である場合にのみ、記憶部710内の画像データを読み取って、表示画像データを生成することとしてもよい。
【0046】
また、当該姿勢判定処理及び視線判定処理は省略することが可能である。即ち、検出部730から送られた歩行者に関する情報に基づいて、歩行者が存在すると判定した場合には、(当該歩行者の視線が車両CRに向けられていなくとも)表示制御部750は、記憶部710内の画像データを読み取って、表示画像データを生成するようにしてもよい。
【0047】
一方、情報判定処理により、待機情報の内容が「他車両の移動を先行させる」旨の情報」であった場合には、表示制御部750は、検出部730から送られた他移動体及び操作者に関する情報に基づいて、他車両が車両CRの移動待ちであり、操作者の視線が車両CRに向けられており、かつ、車両CRと他車両との距離が所定の距離以内であるか否かの判定処理を行う。そして、当該判定処理の結果が肯定的である場合に、表示制御部750は、記憶部710内の画像データを読み取って、表示画像データを生成する。そして、表示制御部750は、当該表示画像データを表示部950へ送る。この結果、運転者が他車両の操作者に対して行う、車両CRの走行に先行した他車両の移動を促すジェスチャを模した画像が、スクリーン955に表示される。ここで、所定の距離は、他車両の操作者が、車両CRの運転者を模した画像を認識できるようにするとの観点から、実験、シミュレーション、経験等に基づいて、予め定められる。
【0048】
なお、当該判定処理においては、他車両の操作者の視線が車両CRに向けられているか否かについての判定を行わないようにしてもよい。即ち、検出部730から送られた他移動体及び操作者に関する情報に基づいて、他移動体(他車両又は他車両の操作者)が存在すると判定した場合には、(当該操作者の視線が車両CRに向けられていなくとも)表示制御部750は、記憶部710内の画像データを読み取って、表示画像データを生成するようにしてもよい。
【0049】
以上説明したように、本実施形態では、歩行者の歩行を優先させる旨の待機情報を自動運転装置990から受けたときに、検出部730は、撮影部910から送られた撮影画像の解析処理を行って、画像中における歩行者を検出し、当該検出された歩行者の姿勢、視線及び顔の向きの少なくとも一つを検出する。そして、検出部730は、当該検出結果を、歩行者に関する情報として表示制御部750へ送る。
【0050】
表示制御部750は、車両CRに運転者がいない状態であり、かつ、歩行者の歩行を優先させる旨の待機情報を自動運転装置900から受けた場合に、検出部730から送られた歩行者に関する情報に基づいて、歩行者が車両CRの前方を移動する準備態勢の姿勢であり、かつ、歩行者の視線が車両CRに向けられているか否かの判定処理を行う。そして、当該判定処理の結果が肯定的である場合に、表示制御部750は、車両CRの運転者が歩行者に対して行う、車両CRの前方の移動を促すジェスチャを模した画像を、スクリーン955に表示させる制御を行う。
【0051】
これにより、横断歩道を歩行したい歩行者に対して、ジェスチャによって、横断歩行を促すことができる。このため、有人運転車両の場合と同様に、歩行者とのコミュニケーションを実現可能とすることができる。
【0052】
また、本実施形態では、他車両の移動を先行させる旨の待機情報を自動運転装置990から受けたときに、検出部730は、撮影部910から送られた撮影画像の解析処理を行って、画像中における他車両及び当該他車両の操作者を検出し、当該検出された他車両の動作及び操作者の視線又は顔の向きを検出する。そして、検出部730は、当該検出結果を、他移動体及び操作者に関する情報として表示制御部750へ送る。
【0053】
表示制御部750は、車両CRに運転者がいない状態であり、かつ、他車両の移動を先行させる旨の待機情報を自動運転装置990から受けた場合に、検出部730から送られた他移動体及び操作者に関する情報に基づいて、他車両が車両CRの先行移動待ちであり、操作者の視線が車両CRに向けられており、かつ、車両CRと他車両との距離が所定の距離以内であるか否かの判定処理を行う。そして、当該判定処理の結果が肯定的である場合に、表示制御部750は、車両CRの運転者が他車両の操作者に対して行う、車両CRの走行に先行した他車両の移動を促すジェスチャを模した画像を、スクリーン955に表示させる制御を行う。
【0054】
これにより、右折等のために車両CRの通過を待っている他車両の操作者や、駐車場に駐車するために車両CRの移動を待っている他車両の操作者に対して、ジェスチャによって、先行した移動を促すことができる。このため、有人運転車両の場合と同様に、他車両の操作者とのコミュニケーションを実現可能とすることができる。
【0055】
したがって、本実施形態によれば、運転者が存在しない自動運転車両の場合に、有人運転車両の場合と同様に、車両外の人とのコミュニケーションを実現し、円滑かつ安全な走行に資することができる。
【0056】
[実施形態の変形]
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【0057】
例えば、上記の実施形態では、運転者のジェスチャを模した画像を表示するようにしたが、運転者以外の搭乗者のジェスチャを模した画像を表示するようにしてもよい。
【0058】
また、上記の実施形態では、車両の運転者を模した画像を、前方座席の背もたれ部に配置されたスクリーンに投影するようにした。これに対し、車両のガラス(例えば、フロントガラス)に透明のスクリーンを配置し、当該スクリーンに、車両CRの運転者を模した画像を投影するようにしてもよい。
【0059】
また、上記の実施形態では、映像プロジェクタが画像をスクリーンに投影する方法で、運転者を模した画像を表示するようにしたが、例えば、液晶ディスプレイに運転者を模した画像を表示するようにしてもよい。また、当該画像をホログラムディスプレイ等に表示させることで、立体的に車両の搭乗者を外部の人に視認させるようにしてもよい。
【0060】
また、運転者を模した画像(動画像)は、検出部によって検出された歩行者又は他車両の操作者に関する情報に基づいて、変化させるようにしてもよい。例えば、歩行者又は他車両の操作者が存在する方向に、画像内の運転者の視線が向くように画像を表示させてもよい。また、歩行者又は他車両の操作者が会釈をしたことを検出して、それに応じて画像内の運転者も会釈をしている画像を表示するようにしてもよい。このようにすることで、歩行者又は他車両の操作者は、相手(車両)が自分の存在が認識されていると認識することができるため、歩行者又は他車両の操作者に安心感を与えることができる。
【0061】
また、外部の人に車両の搭乗者を視認させる際には、上述のようにスクリーンに画像を投影する以外に、所謂プロジェクションマッピング技術を利用して、例えば人型の立体構造物を前方座席に配置し、当該立体構造物に搭乗者を模した画像を投影するようにしてもよい。なお、この場合は、当該立体構造物は座席に収納可能に構成しておくことが望ましい。
【0062】
また、ディスプレイ等に、搭乗者を模した画像を表示する際には、外部の人が存在する方向に応じて、当該画像をアフィン変換等により画像変換することにより、外部の人が存在する方向から見て、搭乗者を模した画像を違和感なく視認できる構成にしてもよい。なお、当該アフィン変換等を行わないときは、搭乗者を模した画像を違和感なく視認できる方向に外部の人が存在する場合にのみ、当該画像を表示するようにしてもよい。例えば、外部の人が車両の正面に存在する場合に、当該外部の人が搭乗者搭乗者を模した画像を違和感なく視認できる画像のみを表示可能なときには、外部の人が車両に対し正面に存在することを検出した場合にのみ、当該画像を表示するようにしてもよい。
【0063】
また、上記の実施形態では、カメラ画像に基づいて、車両の進行方向側における人を検出するようにした。これに対し、公知のLidar(Light Detection and Ranging)の測定技術に基づいて、車両の進行方向側における人を検出するようにしてもよい。
【0064】
なお、上記の実施形態における画像表示装置の検出部及び表示制御部の一部又は全部を、中央処理装置(CPU:Central Processing Unit)等を備えた演算部としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、これらの要素の機能の一部又は全部の機能を果たすようにしてもよい。このプログラムはハードディスク、CD-ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体からロードされて実行される。また、このプログラムは、CD-ROM、DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。
【0065】
また、上記の実施形態では、
図1において、説明の便宜上、自動運転装置990と画像表示装置700とを分けて記載したが、画像表示装置700の機能の少なくとも一部(例えば、検出部730等)は、自動運転装置990に含まれていてもよい。
【実施例0066】
以下、本発明の一実施例を、
図2~
図8を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。
【0067】
[構成]
図2には、一実施例に係る画像表示装置100の概略的な構成がブロック図にて示されている。画像表示装置100は、上述した一実施形態に係る画像表示装置700(
図1参照)の一態様となっている。
【0068】
画像表示装置100は、自律走行可能な車両CR内に配置される。また、本実施例では、当該車両CRには、撮影ユニット210と、表示ユニット250とが配置され、これらが画像表示装置100に接続されている。また、車両CRには、自動運転装置290が配置され、当該自動運転装置290は画像表示装置100に接続されている。
【0069】
上記の撮影ユニット210は、本実施例では、車両CRの進行方向を含む撮影視野で、車両CRの少なくとも前方を撮影するカメラを備えて構成されている。撮影ユニット210は、全周囲撮影可能なカメラを備えていてもよいし、複数のカメラを組み合わせることで全周囲撮影可能な構成となっていてもよい。撮影ユニット210による撮影結果(撮影画像)は、画像表示装置100へ送られる。なお、不図示ではあるが、撮影ユニット210による撮影結果は、自動運転装置290へも送られ、自動運転装置290による自動運転制御で活用されるようになっている。すなわち、撮影ユニット210は、上述した実施形態の撮影部910の機能を果たすようになっている。
【0070】
上記の表示ユニット250は、本実施例では、投影ユニット251と、ハーフミラー253と、スクリーン255とを備えている。ここで、投影ユニット251、ハーフミラー253及びスクリーン255の配置関係が、
図3に示されている。
【0071】
投影ユニット251は、映像プロジェクタを備えて構成され、前方座席のフットレスト付近に配置される。当該投影ユニット251は、画像表示装置100から送られた表示画像データを受ける。そして、投影ユニット251は、当該表示画像データに対応する画像光をハーフミラー253に向けて照射する。
【0072】
ハーフミラー253は、フロントウインドウの上部に配置される。当該ハーフミラー253は、映像プロジェクタから照射された画像光を反射させる。こうして反射された画像光は、スクリーン255に向けて進行する。
【0073】
スクリーン255は、本実施例では、前方座席の背もたれ部の前側に配置されている。当該スクリーン255は、投影ユニット251が投影し、ハーフミラー253で反射された画像光を受けて、車両CRの外部の人に対して視認可能な画像を表示する。
【0074】
すなわち、表示ユニット250は、上述した実施形態の表示部950の機能を果たすようになっている。
【0075】
上記の自動運転装置290は、走行計画及び走行環境に応じて、車両CRの発進、加減速、操舵、停止等を制御する。自動運転装置290は、地図情報を記憶した不図示の記憶部を備えている。そして、自動運転装置290は、車速検出ユニットや位置検出ユニット等の不図示の走行情報検出ユニットから送られた走行情報、及び、撮影ユニット210から送られた撮影画像等を利用して、地図情報を適宜参照して、自動運転制御を行うようになっている。
【0076】
こうした自動運転制御として、自動運転装置290は、信号機のない道路で、横断歩道を歩行しようとしている歩行者を検知したときには、歩行者が横断歩道を歩行するまで、車両CRを停止させる制御を行うようになっている。当該制御を行うときには、自動運転装置290は、歩行者の歩行を優先させる旨の待機情報を生成し、画像表示装置100へ送るようになっている。当該待機情報の送信後に、横断歩道を歩行しようとしている歩行者を検知しなくなったときには、自動運転装置290は、待機解除情報を生成し、画像表示装置100へ送るようになっている。
【0077】
また、こうした自動運転制御として、自動運転装置290は、例えば、対向車線を走行している他車両が右折等のために、車両CRの通過を待っていることを検知したときには、走行環境に応じて、当該他車両の右折を先行させるために、車両CRを減速又は停止させる制御を行うようになっている。当該制御を行うときには、自動運転装置290は、他車両の移動を先行させる旨の待機情報を生成し、画像表示装置100へ送るようになっている。当該待機情報の送信後に、車両CRの通過を待つ他車両を検知しなくなったときには、自動運転装置290は、待機解除情報を生成し、画像表示装置100へ送るようになっている。
【0078】
また、こうした自動運転制御として、自動運転装置290は、例えば、他車両が駐車場に駐車するために、車両CRの移動を待っていることを検知したときには、走行環境に応じて、当該他車両の駐車場への駐車を先行させるために、車両CRを停止させる制御を行うようになっている。当該制御を行うときには、自動運転装置290は、他車両の移動を先行させる旨の待機情報を生成し、画像表示装置100へ送るようになっている。当該待機情報の送信後に、車両CRの移動を待つ他車両を検知しなくなったときには、自動運転装置290は、待機解除情報を生成し、画像表示装置100へ送るようになっている。
【0079】
<画像表示装置100の構成>
次に、上記の画像表示装置100の構成について、説明する。
【0080】
図2には、一実施例に係る画像表示装置100の概略的な構成がブロック図にて示されている。画像表示装置100は、
図2に示されるように、処理制御ユニット110と、記憶ユニット120とを備えている。
【0081】
上記の処理制御ユニット110は、画像表示装置100の全体を統括制御するとともに、様々な処理を実行する。当該処理制御ユニット110は、演算手段としての中央処理装置(CPU)及びその周辺回路を備えて構成されている。処理制御ユニット110が様々なプログラムを実行することにより、画像表示装置100としての各種機能が実現されるようになっている。こうした機能の中には、上述した実施形態における検出部730及び表示制御部750の機能も含まれている。かかる処理制御ユニット110が実行する処理の詳細については、後述する。
【0082】
なお、処理制御ユニット110が実行するプログラムは、ハードディスク、CD-ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、当該記録媒体からロードされて実行される。また、このプログラムは、CD-ROM、DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。
【0083】
上記の記憶ユニット120は、ハードディスク装置等の不揮発性の記憶装置を備えて構成され、画像表示装置100において利用される様々な情報データが記憶される。こうした情報データには、車両CRの運転者を模した画像データ、並びに、撮影ユニット210が備えるカメラの配置位置及び光学特性を示すカメラ情報等が含まれている。記憶ユニット120には、処理制御ユニット110がアクセスできるようになっている。すなわち、記憶ユニット120は、上述した実施形態の記憶部710の機能を果たすようになっている。
【0084】
上記の車両CRの運転者を模した画像データは、車両CRの外部の前方に存在する人が当該車両CRを見ていた場合に、運転者が当該人に対してジェスチャを行ってことを模した画像のデータとなっている。当該ジェスチャの内容は、歩行者に対して車両CRの前方の移動を促すジェスチャであり、他車両の操作者に対して車両CRの走行に先行した他車両の移動を促すジェスチャとなっている。
【0085】
[動作]
以上のようにして構成された画像表示装置100の動作について、処理制御ユニット110による、運転者を模した画像の表示制御処理に主に着目して説明する。また、本実施例の画像表示装置100の動作を、
図4(A)及び
図4(B)を適宜参照して説明する。ここで、
図4(A)は、交差点における車両CRと歩行者HAとの位置関係を示す図面である。また、
図4(B)は、交差点における車両CRと歩行者HB及び対向車(他車両)Tの位置関係を示す図面である。なお、
図4(A)及び
図4(B)の破線矢印は、車両CRの予定走行経路RTを示しており、撮影ユニット210の撮影範囲は模式的にHで示している。なお、本撮影範囲Hは例示であり、例えば、撮影ユニット210が全周囲撮影可能なカメラによって構成されている場合は、当該撮影範囲Hは、車両CRを中心とした全周囲を覆う円状で模式的に表すことができる。
【0086】
前提として、撮影ユニット210は、動作を開始しており、撮影結果(撮影画像)を逐次、画像表示装置100へ送っているものとする。また、自動運転装置290は、動作を開始しており、上述した待機情報を生成したときには、当該待機情報を画像表示装置100へ送るものとする。
【0087】
運転者を模した画像の表示制御処理に際しては、
図5に示されるように、まず、ステップS11において、処理制御ユニット110が、運転者が車両CR内に存在していることを示す入力が不図示の入力ユニットに対して行われていないか否かを判定することにより、車両CRに運転者がいない状態であるか否かを判定する。この判定の結果が否定的であった場合(ステップS11:N)には、ステップS11の処理が繰り返される。
【0088】
ステップS11における判定の結果が肯定的であった場合(ステップS11:Y)には、処理はステップS12へ進む。ステップS12では、処理制御ユニット110が、自動運転装置290から「歩行者の歩行を優先させる」旨の待機情報を受けたか否かを判定する。この判定の結果が肯定的であった場合(ステップS12:Y)には、処理はステップS13へ進む。ステップS13では、処理制御ユニット110が、「第1種画像表示制御処理」を行う。かかるステップS13の処理の詳細については、後述する。そして、ステップS13の処理が終了すると、処理はステップS11へ戻る。
【0089】
ステップS12における判定の結果が否定的であった場合(ステップS12:N)には、処理はステップS14へ進む。ステップS14では、処理制御ユニット110が、自動運転装置290から「他車両の移動を先行させる」旨の待機情報を受けたか否かを判定する。この判定の結果が肯定的であった場合(ステップS14:Y)には、処理はステップS15へ進む。ステップS15では、処理制御ユニット110が、「第2種画像表示制御処理」を行う。かかるステップS15の処理の詳細については、後述する。そして、ステップS15の処理が終了すると、処理はステップS11へ戻る。
【0090】
ステップS14における判定の結果が否定的であった場合(ステップS14:N)には、処理はステップS11へ戻る。以後、ステップS11~S15の処理が繰り返される。
【0091】
<第1種画像表示制御処理>
上述したステップS13における「第1種画像表示制御処理」について、説明する。
【0092】
この「第1種画像表示制御処理」は、
図6に示されるように、まず、ステップS21において、処理制御ユニット110が、撮影ユニット210から送られた撮影画像を解析して、画像中における歩行者を検出し、当該検出された歩行者の姿勢、視線、及び顔の向きの少なくとも一つを検出する。
【0093】
引き続き、ステップS22において、処理制御ユニット110が、ステップS21の画像解析基づいて、歩行者が車両CRの前方を移動する準備態勢の姿勢(横断歩道を歩行する態勢)であり、かつ、歩行者の視線が車両CRに向けられているという、第1種画像表示条件を満たすか否かを判定する。この判定の結果が肯定的であった場合(ステップS22:Y)には、処理はステップS23へ進む。
【0094】
なお、処理制御ユニット110は、撮影ユニット210から送られた撮影画像を解析して、特に、画像中における、車両CRの予定走行経路RTへ進入する可能性のある人の有無を検出するようにしてもよい。ここで、予定走行経路とは、車両CRが今後走行するであろう走行経路であり、例えば車両CRに設置された不図示のナビゲーション装置によって設定される走行経路等である。この場合、処理制御ユニット110は、撮影画像内に歩行者が存在するか否かを検出し、検出された場合は、当該検出された歩行者の位置、姿勢等から、当該歩行者が車両CRの予定走行経路RTに進入する可能性があるかを判定する。なお、処理制御ユニット110は、撮影画像内に歩行者が存在するか否かを検出し、検出された場合に、当該歩行者が車両CRの予定走行経路RTに進入する可能性があると判定することとしてもよい。
【0095】
図4(A)の場合は、撮影画像内の歩行者HAを検出し、当該検出された歩行者HAの位置、姿勢等から、当該歩行者が車両CRの予定走行経路RTに進入する可能性があるかを判定する。また、
図4(B)の場合は、撮影画像内の歩行者HBを検出し、当該検出された歩行者HBの位置、姿勢等から、当該歩行者が車両CRの予定走行経路RTに進入する可能性があるかを判定する。
【0096】
なお、
図4(A)及び
図4(B)の場合、歩行者HA及び歩行者HBが、横断歩道を渡ろうとするそぶりや、視線が車両CRに向いていることが検出できた場合に、当該歩行者HA及びHBは車両CRの予定走行経路RTに進入する可能性があると判定される。
【0097】
ステップS23では、処理制御ユニット110が、記憶ユニット120内の画像データを読み取って、表示画像データを生成する。そして、処理制御ユニット110は、当該表示画像データを表示ユニット250の投影ユニット251へ送る。この結果、運転者が歩行者に対して行う、車両CRの前方の移動を促す(横断歩道の歩行を促す)ジェスチャを模した画像が、スクリーン255に表示される。この後、処理は、後述するステップS26へ進む。
【0098】
一方、ステップS22における判定の結果が否定的であった場合(ステップS22:N)には、処理はステップS24へ進む。ステップS24では、処理制御ユニット110が、車両CRの運転者を模した画像が表示中であるか否かを判定する。この判定の結果が否定的であった場合(ステップS24:N)には、処理はステップS26へ進む。
【0099】
ステップS24における判定の結果が肯定的であった場合(ステップS24:Y)には、処理はステップS25へ進む。ステップS25では、処理制御ユニット110が、車両CRの運転者を模した画像の表示を消去する制御を行う。そして、処理はステップS26へ進む。
【0100】
ステップS26では、処理制御ユニット110が、自動運転装置290から「歩行者の歩行を優先させる」ための待機を解除する解除情報を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS26:N)には、処理はステップS21へ戻る。
【0101】
ステップS26における判定の結果が肯定的であった場合(ステップS26:Y)には、処理はステップS27へ進み。ステップS27では、処理制御ユニット110が、上述したステップS24の処理と同様に、車両CRの運転者を模した画像が表示中であるか否かを判定する。この判定の結果が否定的であった場合(ステップS27:N)には、ステップS13の処理が終了する。そして、処理は上述した
図5のステップS11へ戻る。
【0102】
ステップS27における判定の結果が肯定的であった場合(ステップS27:Y)には、処理はステップS28へ進む。ステップS28では、処理制御ユニット110が、上述したステップS25の処理と同様に、車両CRの運転者を模した画像の表示を消去する制御を行う。こうして画像の表示を消去する制御が行われると、ステップS13の処理が終了する。そして、処理は上述した
図5のステップS11へ戻る。
【0103】
<第2種画像表示制御処理>
上述したステップS15における「第2種画像表示制御処理」について、説明する。
【0104】
この「第2種画像表示制御処理」は、
図7に示されるように、まず、ステップS31において、処理制御ユニット110が、撮影ユニット210から送られた撮影画像を解析して、画像中における他車両及び当該他車両の操作者を検出し、当該検出された他車両の動作及び操作者の視線を検出する。
【0105】
引き続き、ステップS32において、処理制御ユニット110が、ステップS31の画像解析基づいて、他車両が車両CRの移動待ちであり、操作者の視線が車両CRに向けられており、かつ、車両CRと他車両との距離が所定の距離以内であるという、第2種画像表示条件を満たすか否かを判定する。この判定の結果が肯定的であった場合(ステップS32:Y)には、処理はステップS33へ進む。
【0106】
なお、処理制御ユニット110は、撮影ユニット210から送られた撮影画像を解析して、特に、画像中における、車両CRの予定走行経路RTへ進入する可能性のある他車両(他車両の操作者)の有無を検出するようにしてもよい。この場合、処理制御ユニット110は、撮影画像内に他車両(他車両の操作者)が存在するか否かを検出し、検出された場合は、当該検出された他車両(他車両の操作者)の位置、挙動等から、当該他車両(他車両の操作者)が車両CRの予定走行経路RTに進入する可能性があるかを判定する。
【0107】
図4(B)の場合は、撮影画像内の他車両Tを検出し、当該検出された他車両Tの位置、挙動等から、当該歩行者が車両CRの予定走行経路RTに進入する可能性があるかを判定する。なお、
図4(B)の場合は、他車両Tが直進しているときには、車両CRの予定走行経路RTを遮ることとなるため、当該他車両は、車両CRの予定走行経路RTに進入する可能性があると判定される。
【0108】
ステップS33では、処理制御ユニット110が、記憶ユニット120内の画像データを読み取って、表示画像データを生成する。そして、処理制御ユニット110は、当該表示画像データを表示ユニット250の投影ユニット251へ送る。この結果、運転者が他車両の操作者に対して行う、車両CRの走行に先行した他車両の移動を促すジェスチャを模した画像が、スクリーン255に表示される。この後、処理は、後述するステップS36へ進む。
【0109】
一方、ステップS32における判定の結果が否定的であった場合(ステップS34:N)には、処理はステップS34へ進む。ステップS34では、処理制御ユニット110が、車両CRの運転者を模した画像が表示中であるか否かを判定する。この判定の結果が否定的であった場合(ステップS34:N)には、処理はステップS36へ進む。
【0110】
ステップS34における判定の結果が肯定的であった場合(ステップS34:Y)には、処理はステップS35へ進む。ステップS35では、処理制御ユニット110が、車両CRの運転者を模した画像の表示を消去する制御を行う。そして、処理はステップS36へ進む。
【0111】
ステップS36では、処理制御ユニット110が、自動運転装置290から「他車両の移動を先行させる」ための待機を解除する解除情報を受けたか否かを判定する。この判定の結果が否定的であった場合(ステップS36:N)には、処理はステップS31へ戻る。
【0112】
ステップS36における判定の結果が肯定的であった場合(ステップS36:Y)には、処理はステップS37へ進み。ステップS37では、処理制御ユニット110が、上述したステップS34の処理と同様に、車両CRの運転者を模した画像が表示中であるか否かを判定する。この判定の結果が否定的であった場合(ステップS37:N)には、ステップS15の処理が終了する。そして、処理は上述した
図5のステップS11へ戻る。
【0113】
ステップS37における判定の結果が肯定的であった場合(ステップS37:Y)には、処理はステップS38へ進む。ステップS38では、処理制御ユニット110が、上述したステップS35の処理と同様に、車両CRの運転者を模した画像の表示を消去する制御を行う。こうして画像の表示を消去する制御が行われると、ステップS15の処理が終了する。そして、処理は上述した
図5のステップS11へ戻る。
【0114】
ここで、
図8には、ステップS23,S33における処理によりスクリーン255に表示される、車両CRの運転者(男性)を模した画像を、車両CRの外部から見たときの様子の例が示されている。
【0115】
以上説明したように、本実施例では、歩行者の歩行を優先させる旨の待機情報を自動運転装置290から受けたときに、処理制御ユニット110は、撮影ユニット210から送られた撮影画像の解析処理を行って、画像中における歩行者を検出し、当該検出された歩行者の姿勢、視線、及び顔の向きの少なくとも一つを検出する。そして、処理制御ユニット110は、車両CRに運転者がいない場合に、撮影画像の解析処理の結果に基づいて、歩行者が車両CRの前方を移動する準備態勢の姿勢であり、かつ、歩行者の視線が車両CRに向けられているか否かの判定処理を行う。そして、当該判定処理の結果が肯定的である場合に、処理制御ユニット110は、車両CRの運転者が歩行者に対して行う、車両CRの前方の移動を促すジェスチャを模した画像を、スクリーン255に表示させる制御を行う。
【0116】
これにより、横断歩道を歩行したい歩行者に対して、ジェスチャによって、横断歩行を促すことができる。このため、有人運転車両の場合と同様に、歩行者とのコミュニケーションを実現可能とすることができる。
【0117】
また、本実施例では、他車両の移動を先行させる旨の待機情報を自動運転装置290から受けたときに、処理制御ユニット110は、撮影ユニット210から送られた撮影画像の解析処理を行って、画像中における他車両及び当該他車両の操作者を検出し、当該検出された他車両の動作及び操作者の視線又は顔の向きを検出する。そして、処理制御ユニット110は、車両CRに運転者がいない場合に、撮影画像の解析処理の結果に基づいて、他車両が車両CRの先行移動待ちであり、操作者の視線が車両CRに向けられており、かつ、車両CRと他車両との距離が所定の距離以内であるか否かの判定処理を行う。そして、当該判定処理の結果が肯定的である場合に、処理制御ユニット110は、車両CRの運転者が他車両の操作者に対して行う、車両CRの走行に先行した他車両の移動を促すジェスチャを模した画像を、スクリーン255に表示させる制御を行う。
【0118】
これにより、右折等のために車両CRの通過を待っている他車両の操作者や、駐車場に駐車するために車両CRの移動を待っている他車両の操作者に対して、ジェスチャによって、先行した移動を促すことができる。このため、有人運転車両の場合と同様に、他車両の操作者とのコミュニケーションを実現可能とすることができる。
【0119】
したがって、本実施例によれば、運転者が存在しない自動運転車両の場合に、有人運転車両の場合と同様に、車両外の人とのコミュニケーションを実現し、円滑かつ安全な走行に資することができる。
【0120】
[実施例の変形]
本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。
【0121】
例えば、上記の実施例では、スクリーンに表示する運転者を男性にした。これに対し、歩行者や他車両の操作者の性別、年齢、国籍等の属性に応じて、スクリーンに表示する運転者の属性(子どもを除く)を変えるようにしてもよい。例えば、歩行者が、子どもであったときには、若い女性の画像をスクリーンに表示するようにしてもよい。これにより、子どもに対して安心感を与えるようにすることができる。
【0122】
また、歩行者や他車両の操作者の属性(子どもを除く)と同じ属性の運転者を、スクリーンに表示するようにしてもよい。これにより、歩行者や他車両の操作者に対して、安心感を与えるようにすることができる。
【0123】
また、上記の実施例では、
図3及び
図8に示されるような車両について、本発明を適用したが、トラック車両や重機車両等の他の車両に、本発明を適用してもよいことは勿論である。
【0124】
また、上記の実施例では、車両の運転者を模した画像を、前方座席の背もたれ部に配置されたスクリーンに投影するようにした。これに対し、車両のガラス(例えば、フロントガラスや車両側面のガラス等)に透明のスクリーンを配置し、当該スクリーンに、車両の運転者を模した画像を投影するようにしてもよい。
【0125】
また、上記の実施例については、上述した実施形態に対する変形と同様の変形を適宜施すことができる。