(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023148657
(43)【公開日】2023-10-13
(54)【発明の名称】制御装置及び制御方法
(51)【国際特許分類】
G08G 1/09 20060101AFI20231005BHJP
G08G 1/16 20060101ALI20231005BHJP
B60W 30/06 20060101ALI20231005BHJP
【ＦＩ】
G08G1/09 F
G08G1/16 A
B60W30/06
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022056799
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】川村 晋司
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA21
3D241BC01
3D241BC02
3D241CC01
3D241CC08
3D241CC11
3D241CC17
3D241CE02
3D241CE05
3D241DC33Z
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181LL01
5H181LL02
5H181LL08
5H181LL17
(57)【要約】
【課題】通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上すること。
【解決手段】車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、前記通信部の通信状況を取得する通信状況取得部と、前記車両の周囲の状況を画像として取得する周囲状況取得部と、前記車両の進行方向を取得する進行方向取得部と、前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部とを備える。
【選択図】図２
【解決手段】車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、前記通信部の通信状況を取得する通信状況取得部と、前記車両の周囲の状況を画像として取得する周囲状況取得部と、前記車両の進行方向を取得する進行方向取得部と、前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、
前記通信部の通信状況を取得する通信状況取得部と、
前記車両の周囲の状況を画像として取得する周囲状況取得部と、
前記車両の進行方向を取得する進行方向取得部と、
前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、
前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、
前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部と
を備えることを特徴とする制御装置。
前記通信部の通信状況を取得する通信状況取得部と、
前記車両の周囲の状況を画像として取得する周囲状況取得部と、
前記車両の進行方向を取得する進行方向取得部と、
前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、
前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、
前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部と
を備えることを特徴とする制御装置。
【請求項2】
請求項１に記載の制御装置であって、
前記周囲状況取得部は、複数のカメラが撮影した複数の画像を取得し、
前記報知範囲決定部は、前記通信状況及び前記進行方向に応じて、前記見下ろし画像の生成に使用する１又は複数のカメラを選択し、
前記画像生成部は、前記報知範囲決定部により選択した１又は複数のカメラの撮影結果を用いて前記見下ろし画像を生成することを特徴とする制御装置。
前記周囲状況取得部は、複数のカメラが撮影した複数の画像を取得し、
前記報知範囲決定部は、前記通信状況及び前記進行方向に応じて、前記見下ろし画像の生成に使用する１又は複数のカメラを選択し、
前記画像生成部は、前記報知範囲決定部により選択した１又は複数のカメラの撮影結果を用いて前記見下ろし画像を生成することを特徴とする制御装置。
【請求項3】
請求項１に記載の制御装置であって、
前記通信状況取得部は、前記端末との通信に係る電波の強度を前記通信状況として取得し、
前記報知範囲決定部は、前記強度が第１の閾値よりも低い場合に、前記進行方向を前記報知範囲に含みつつ、前記車両の周囲の一部を前記報知範囲から除外することで前記報知範囲を縮小することを特徴とする制御装置。
前記通信状況取得部は、前記端末との通信に係る電波の強度を前記通信状況として取得し、
前記報知範囲決定部は、前記強度が第１の閾値よりも低い場合に、前記進行方向を前記報知範囲に含みつつ、前記車両の周囲の一部を前記報知範囲から除外することで前記報知範囲を縮小することを特徴とする制御装置。
【請求項4】
請求項３に記載の制御装置であって、
前記車両の周囲に存在する障害物を検知する障害物検知部をさらに備え、
前記報知範囲決定部は、前記強度が前記第１の閾値に比して小さい第２の閾値よりも低い場合に、前記障害物が所在する方向を残しつつ、前記報知範囲をさらに縮小することを特徴とする制御装置。
前記車両の周囲に存在する障害物を検知する障害物検知部をさらに備え、
前記報知範囲決定部は、前記強度が前記第１の閾値に比して小さい第２の閾値よりも低い場合に、前記障害物が所在する方向を残しつつ、前記報知範囲をさらに縮小することを特徴とする制御装置。
【請求項5】
請求項１に記載の制御装置であって、
前記画像生成部は、前記見下ろし画像に加えて、主観視点画像をさらに生成可能であり、
前記報知範囲決定部は、前記報知範囲に加えて、前記端末に送信する画像の種別をさらに決定することを特徴とする制御装置。
前記画像生成部は、前記見下ろし画像に加えて、主観視点画像をさらに生成可能であり、
前記報知範囲決定部は、前記報知範囲に加えて、前記端末に送信する画像の種別をさらに決定することを特徴とする制御装置。
【請求項6】
請求項１に記載の制御装置であって、
前記通信部が前記端末から受信した指示に基づいて前記車両の走行を制御する走行制御部をさらに備えたことを特徴とする制御装置。
前記通信部が前記端末から受信した指示に基づいて前記車両の走行を制御する走行制御部をさらに備えたことを特徴とする制御装置。
【請求項7】
請求項６に記載の制御装置であって、
前記走行制御部は、駐車区画に前記車両を駐車する制御を行い、前記端末から停止の指示を受け付けた場合には前記車両が停止する制御を行うことを特徴とする制御装置。
前記走行制御部は、駐車区画に前記車両を駐車する制御を行い、前記端末から停止の指示を受け付けた場合には前記車両が停止する制御を行うことを特徴とする制御装置。
【請求項8】
車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置が、
前記通信部の通信状況を取得する通信状況取得ステップと、
前記車両の周囲の状況を画像として取得する周囲状況取得ステップと、
前記車両の進行方向を取得する進行方向取得ステップと、
前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定ステップと、
前記周囲状況取得ステップで取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成ステップと、
前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御ステップと
を含むことを特徴とする制御方法。
前記通信部の通信状況を取得する通信状況取得ステップと、
前記車両の周囲の状況を画像として取得する周囲状況取得ステップと、
前記車両の進行方向を取得する進行方向取得ステップと、
前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定ステップと、
前記周囲状況取得ステップで取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成ステップと、
前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御ステップと
を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置及び制御方法に関する。
【背景技術】
【0002】
従来、車両の走行を遠隔で制御する技術が知られている。例えば、特許文献１には、「第１通信系統を介して操作情報を含む第１情報を授受し、第２通信系統を介して操作端末５に提示される駐車制御に関する提示情報を含む第２情報を授受し、第１通信系統の第１評価値が第１閾値未満である場合には、第１情報の少なくとも一部を第１通信系統以外の他の通信系統を介して授受し、第２通信系統の第２評価値が第２閾値未満である場合には、第２情報の少なくとも一部を第２通信系統以外の他の通信系統を介して授受するとともに、第１情報及び／又は第２情報の情報量を低減し、外部の操作端末５に入力された操作情報に基づいた駐車経路を移動させる制御命令に従って車両Ｖを駐車させる。」との記載がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】ＷＯ２０１８／２３５２７３
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術によれば、車両が外部との通信により指示を受信して動作を制御することができ、通信の状態に応じて通信系統の選択等を行うことができる。しかしながら、従来の技術では、車両の走行の状態による必要な情報の違いは考慮されていない。
【0005】
例えば、車両が自車両の状態や周辺の状態を示す情報をユーザが携帯する端末に送信し、ユーザが端末を操作して車両の状態を確認し、必要に応じて走行に対する指示を送信するケースを想定する。このようなケースで送受信の遅延が大きくなると、時間的な余裕がなくなり、車両の制御が間に合わなくなる可能性がある。遅延に対応するために、端末に送信する情報を一様に削減すると、ユーザが操作に必要な情報の品質も低下してしまう。具体的には、車両が前方に走行しているときに、通信系統を変更したり、画像全体の解像度を下げると、車両の前方の画像も後方の画像も同様に影響を受ける。ユーザによる確認の重要度は、車両の進行方向である前方の画像が高く、車両の後方の画像が低いが、このような情報の重要度は考慮されないのである。この結果、通信状況の影響を受けて車両の遠隔制御の操作性が低下する事態が生じていた。
【0006】
そこで、本発明では、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、代表的な本発明の制御装置の一つは、車両に搭載され、前記車両の外部と通信可能な通信部を備える制御装置であって、前記通信部の通信状況を取得する通信状況取得部と、前記車両の周囲の状況を画像として取得する周囲状況取得部と、前記車両の進行方向を取得する進行方向取得部と、前記通信状況及び前記進行方向に応じて、前記車両の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部と、前記周囲状況取得部で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部と、前記報知範囲の前記見下ろし画像を、前記通信部を用いて前記端末へ送信する出力制御部とを備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【図1】実施例１に係る車両の制御の説明図。
【図2】車両制御装置の構成を示す構成図。
【図3】カメラの配置についての説明図。
【図4】自動駐車の説明図。
【図5】強度に基づくデータ削減についての説明図。
【図6】実施例１の自動駐車の処理手順を示すフローチャート。
【図7】自動運転処理の処理手順を示すフローチャート。
【図8】変形例における自動運転処理の処理手順を示すフローチャート。
【図9】通信方式に基づくデータ削減についての説明図。
【発明を実施するための形態】
【0010】
以下、実施例について図面を用いて説明する。
【実施例0011】
図１は、実施例１に係る車両の制御の説明図である。図１に示す車両１０は、車両制御装置２０を搭載している。車両制御装置２０は、電子制御装置（ＥＣＵ）であり、駐車に関する車両の走行制御を自動で実行する自動駐車機能を有する。また、車両制御装置２０は、車両１０のユーザが携行する端末４０と通信可能である。
【0012】
ユーザが、車両１０を運転し、駐車場の出入り口で降車し、自動駐車機能を実行すると、車両１０は、駐車区画まで自動で走行し、駐車区画内に駐車する走行制御を行う。このように自動で走行制御を行っている間、車両制御装置２０は、端末４０に対して車両走行状態に関する情報を送信する。車両走行状態に関する情報は、車両周辺画像を含む。この他、車両走行状態に関する情報は、車両１０自体の状態に関する情報（車速など）と、車両１０周辺の障害物に関する情報などを含むことができる。
【0013】
ユーザは、端末４０を用いて車両周辺画像を確認することができる。そして、必要に応じて車両１０の走行を制御する操作を行う。例えば、ユーザが周辺の画像を確認することで、緊急停止が必要であると判断したならば、端末４０に緊急停止操作を行う。端末４０は、緊急停止操作を受け付けて、緊急停止を要求する指示を車両制御装置２０に送信する。緊急停止を要求する指示を受信した車両制御装置２０は、端末４０からの指示を自動の走行制御よりも優先し、車両１０の停止制御を実行する。
【0014】
このように、車両制御装置２０は、車両周辺画像を端末４０に送信し、端末４０から走行制御操作を受信する。ここで、車両制御装置２０と端末４０との通信状況が悪化し、送受信の遅延が大きくなると、ユーザの判断や操作に時間的な余裕がなくなる。このため、例えば、遅延が大きくなった場合に、ユーザからの緊急停止の操作が間に合わない、といった事態が生じ得る。
【0015】
そこで、車両制御装置２０は、端末４０との通信状況を判定するとともに、車両１０の進行方向を判定し、通信状況及び進行方向に応じて、車両１０の周囲のうち、端末４０に報知する範囲を報知範囲として決定する。
【0016】
具体的には、車両制御装置２０は、端末４０との通信に係る電波の強度を通信状況として取得する。
強度が第１の閾値Ｔｈ１以上であれば、車両制御装置２０は、車両１０の周囲の全方向を報知範囲とする。そして、車両制御装置２０は、車両１０の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置２０は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末４０に提供する。
強度が第１の閾値Ｔｈ１未満であれば、車両制御装置２０は、車両１０の周囲のうち、進行方向を報知範囲に含みつつ、車両１０の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置２０は、車両１０の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置２０は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末４０に提供する。図１の例では、車両制御装置２０は、前方向と右前方向を報知範囲とする特定範囲画像を提供する。
強度が第１の閾値Ｔｈ１以上であれば、車両制御装置２０は、車両１０の周囲の全方向を報知範囲とする。そして、車両制御装置２０は、車両１０の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置２０は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末４０に提供する。
強度が第１の閾値Ｔｈ１未満であれば、車両制御装置２０は、車両１０の周囲のうち、進行方向を報知範囲に含みつつ、車両１０の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置２０は、車両１０の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置２０は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末４０に提供する。図１の例では、車両制御装置２０は、前方向と右前方向を報知範囲とする特定範囲画像を提供する。
【0017】
このように、通信状況に応じて報知範囲を変更することで、端末４０に送信するデータ量を削減した場合であっても、ユーザの判断に寄与する情報については高品質かつ低遅延での送信が可能である。このため、ユーザは、緊急停止の要否などの判断を余裕をもって正確に行うことができる。
【0018】
図２は、車両制御装置２０の構成を示す構成図である。車両制御装置２０は、車両１０に搭載され、１又は複数のカメラ１１、１又は複数のレーダ１２、駆動制御ユニット１３などと接続する。カメラ１１は、車両１０の周囲を撮像する。レーダ１２は、車両１０の周囲に存在する物体を検知する。レーダ１２は、電波式であってもよいし、音波式のソナーであってもよい。また、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging
Detection and Ranging）であってもよい。駆動制御ユニット１３は、車両の加減速制御や操舵制御などを行うユニット群である。
Detection and Ranging）であってもよい。駆動制御ユニット１３は、車両の加減速制御や操舵制御などを行うユニット群である。
【0019】
車両制御装置２０は、ユーザの端末４０と通信が可能である。また、車両制御装置２０は、基地局５０を介してユーザの端末４０と通信が可能である。端末４０は、さらに、基地局５０を介してサーバ６０と通信可能である。サーバ６０は、駐車場における駐車区画の配置などを示す駐車場データと、各駐車区画の空き状況を示す空き状況データを管理している。
【0020】
車両制御装置２０は、その内部に、通信部２１、通信状況取得部２２、障害物検知部２３、進行方向取得部２４、周囲状況取得部２５、報知範囲決定部２６、画像生成部２７、出力制御部２８及び走行制御部２９を有する。
【0021】
通信部２１は、車両の外部と通信を行う処理部である。通信部２１は、例えば移動体通信によって通信を行う。移動体通信は、基地局を介して行う移動通信システムによる通信であり、例えば第４世代（４Ｇ）、第５世代（５Ｇ）などで区別することができる。また、通信部２１は、近距離無線通信による通信が可能であってもよい。近距離無線は、車両制御装置２０と端末４０との直接の通信であり、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultrawideband）等によって実現することができる。複数の通信方式に対応する場合には、通信部２１は、通信方式ごとに異なる複数の通信ユニットの集合である。通信部２１は、車両１０の走行状態を示す情報を外部の端末４０に送信し、端末４０から車両１０の走行を制御する指示を受信可能である。
【0022】
通信状況取得部２２は、通信部２１の通信状況を取得する。通信状況としては、任意の指標を用いることができる。一例として、通信状況取得部２２は、車両が移動体通信を用いて端末と通信している場合には電波強度を取得し、車両がwi-fi（登録商標）などの無線ＬＡＮを用いて端末と通信している場合には受信信号強度を取得する。
【0023】
障害物検知部２３は、車両の周囲に存在する障害物を検知する。具体的には、障害物検知部２３は、レーダ１２の出力から障害物の方向と距離を検知する。また、カメラ１１の画像に対する画像処理で障害物を検知してもよい。
【0024】
進行方向取得部２４は、車両１０の進行方向を取得する。具体的には、進行方向取得部２４は、駆動制御ユニット１３からシフト情報を取得して、車両１０の進行方向が前方であるか後方であるかを判別する。
【0025】
周囲状況取得部２５は、車両１０の周囲の状況を画像として取得する。具体的には、周囲状況取得部２５は、複数のカメラ１１からそれぞれが撮影した画像を取得する。
【0026】
報知範囲決定部２６は、通信状況及び進行方向に応じて、車両１０の周囲のうち、外部の端末４０に報知する範囲を報知範囲として決定する。具体的には、報知範囲決定部２６は、通信状況及び進行方向に応じて、見下ろし画像の生成に使用する１又は複数のカメラを選択する。
【0027】
一例として、報知範囲決定部２６は、強度が第１の閾値よりも低い場合に、進行方向を報知範囲に含みつつ、車両１０の周囲の一部を報知範囲から除外することで報知範囲を縮小する。
また、報知範囲決定部２６は、強度が第１の閾値に比して小さい第２の閾値よりも低い場合に、障害物が所在する方向を残しつつ、報知範囲をさらに縮小することができる。
報知範囲決定部２６は、報知範囲に加えて、端末４０に送信する画像の種別をさらに決定することもできる。例えば、カメラ１１が撮影した画像から見下ろし画像と主観視点画像を生成する場合に、報知範囲決定部２６は、強度が第２の閾値以上であれば、見下ろし画像及び主観視点画像を端末４０への送信対象とし、強度が第２の閾値未満であれば、見下ろし画像のみを端末４０への送信対象とする。
また、報知範囲決定部２６は、強度が第１の閾値に比して小さい第２の閾値よりも低い場合に、障害物が所在する方向を残しつつ、報知範囲をさらに縮小することができる。
報知範囲決定部２６は、報知範囲に加えて、端末４０に送信する画像の種別をさらに決定することもできる。例えば、カメラ１１が撮影した画像から見下ろし画像と主観視点画像を生成する場合に、報知範囲決定部２６は、強度が第２の閾値以上であれば、見下ろし画像及び主観視点画像を端末４０への送信対象とし、強度が第２の閾値未満であれば、見下ろし画像のみを端末４０への送信対象とする。
【0028】
画像生成部２７は、周囲状況取得部２５で取得した画像を用い、報知範囲について車両１０を見下ろした画像である見下ろし画像を生成する。具体的には、画像生成部２７は、報知範囲決定部２６により選択した１又は複数のカメラの撮影結果を用いて見下ろし画像を生成する。
また、画像生成部２７は、見下ろし画像に加えて、主観視点画像をさらに生成可能である。主観視点画像は、カメラ１１が撮影した画像をそのまま用いてもよい。カメラ１１が魚眼レンズであれば、画像生成部２７は、カメラ１１が撮影した画像に歪み補正を行って、主観視点画像として出力することができる。
また、画像生成部２７は、カメラ１１が撮影した画像を、運転席を視点とした画像になるよう加工して、主観視点画像として出力することができる。車両１０は、ユーザが運転席に着座して運転操作することも、端末４０による遠隔操作も可能である。運転席に遠隔操作専用のカメラを配置すると、運転席での運転操作を阻害し、また、コストの上昇を招く。そこで、画像生成部２７は、周辺監視用のカメラ１１の出力を加工することで、運転席視点の画像を生成する。このとき、複数のカメラ１１の出力を合成して使用してもよい。
また、画像生成部２７は、見下ろし画像に加えて、主観視点画像をさらに生成可能である。主観視点画像は、カメラ１１が撮影した画像をそのまま用いてもよい。カメラ１１が魚眼レンズであれば、画像生成部２７は、カメラ１１が撮影した画像に歪み補正を行って、主観視点画像として出力することができる。
また、画像生成部２７は、カメラ１１が撮影した画像を、運転席を視点とした画像になるよう加工して、主観視点画像として出力することができる。車両１０は、ユーザが運転席に着座して運転操作することも、端末４０による遠隔操作も可能である。運転席に遠隔操作専用のカメラを配置すると、運転席での運転操作を阻害し、また、コストの上昇を招く。そこで、画像生成部２７は、周辺監視用のカメラ１１の出力を加工することで、運転席視点の画像を生成する。このとき、複数のカメラ１１の出力を合成して使用してもよい。
【0029】
出力制御部２８は、報知範囲の見下ろし画像を、通信部２１を用いて端末４０へ送信する。また、出力制御部２８は、報知範囲の主観視点画像を、通信部２１を用いて端末４０へ送信する。
【0030】
走行制御部２９は、通信部２１が端末４０から受信した指示に基づいて車両１０の走行を制御する。具体的には、走行制御部２９は、駐車区画に車両１０を駐車する制御を行い、端末４０から停止の指示を受け付けた場合には車両１０が停止する制御を行う。走行制御部２９は、駐車区画に車両１０を駐車する制御に際しては、障害物検知部２３による検知結果や、駆動制御ユニット１３から取得した自車両の状態等を用いて車両１０の走行を制御する。
【0031】
図３は、カメラの配置についての説明図である。図３では、カメラ１１は、車両１０の前方（Ｆ）、右前方（ＦＲ）、右後方（ＲＲ）、後方（Ｒ）、左後方（ＲＬ）、左前方（ＦＬ）の６方向に対してそれぞれ配置する。実際には、複数のカメラ１１の撮影範囲は、重複していてもよい。また、図３に示した６方向は一例にすぎず、カメラの数と配置場所は任意に変更可能である。さらに、図３に示したカメラ１１の配置に加え、レーダ１２を適宜配置する。
【0032】
図４は、自動駐車の説明図である。図４では、ユーザは駐車場の出入口で車両１０を降り、自動運転による駐車を指示している。駐車場には複数の駐車区画があり、車両１０はユーザが指定した駐車区画まで走行して、駐車を実行する。車両１０が駐車を完了するまで、車両１０に搭載された車両制御装置２０は、基地局５０を介した移動体通信により端末４０と通信する。
【0033】
図４には、端末４０の表示例を示している。端末４０は、車両１０の自動運転中には、見下ろし画像、主観視点画像、駐車場模式図、入庫ボタン、出庫ボタン、緊急停止ボタン、状態情報、障害物検知結果を表示する。見下ろし画像は、複数のカメラ１１の撮像結果を合成して生成する。主観視点画像は、例えば車両１０の進行方向を撮像するカメラ１１の出力を用いる。駐車場模式図は、サーバ６０から取得した駐車場データと空き状況データから生成する。また、駐車場模式図には、端末４０の位置、車両１０の位置、走行予定経路、目標とする駐車区画などを重畳表示する。
【0034】
入庫ボタンは、自動運転による駐車を指示する場合に用いる。出庫ボタンは、駐車した車両１０が自動で出入口まで走行する指示を行う場合に用いる。緊急停止ボタンは、車両１０の緊急停止を指示する操作を受け付ける。状態情報としては、車両１０の車速など任意の情報を表示することができる。障害物検知結果は、障害物検知距離内に物体を検知した場合に表示出力する。
【0035】
図５は、強度に基づくデータ削減についての説明図である。
強度が閾値Ｔｈ１以上であれば、車両制御装置２０の報知範囲決定部２６は、全てのカメラ１１を選択する。また、報知範囲決定部２６は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末４０は、全方位の見下ろし画像と、主観視点画像の全体を表示する。
強度が閾値Ｔｈ１以上であれば、車両制御装置２０の報知範囲決定部２６は、全てのカメラ１１を選択する。また、報知範囲決定部２６は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末４０は、全方位の見下ろし画像と、主観視点画像の全体を表示する。
【0036】
強度が閾値Ｔｈ１以上であれば、車両制御装置２０の報知範囲決定部２６は、全てのカメラ１１を選択する。また、報知範囲決定部２６は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末４０は、全方位の見下ろし画像と、主観視点画像の全体を表示する。
【0037】
強度が閾値Ｔｈ１未満Ｔｈ２以上であれば、報知範囲決定部２６は、進行方向のカメラ１１を選択する。図５では、報知範囲決定部２６は、前方（Ｆ）と右前方（ＦＲ）に対応するカメラ１１を選択している。また、報知範囲決定部２６は、見下ろし画像と主観視点画像を送信対象とする。この結果、端末４０は、前方（Ｆ）及び右前方（ＦＲ）の見下ろし画像と、主観視点画像の一部を表示する。
【0038】
強度が閾値Ｔｈ２未満で、障害物を検知している場合、報知範囲決定部２６は、障害物が存在する方向のカメラ１１を選択する。図５では、報知範囲決定部２６は、右前方（ＦＲ）に対応するカメラ１１を選択している。また、報知範囲決定部２６は、見下ろし画像を送信対象とし、主観視点画像を送信対象から除外する。この結果、端末４０は、右前方（ＦＲ）の見下ろし画像を表示し、主観視点画像は表示しない。
【0039】
図６は、実施例１の自動駐車の処理手順を示すフローチャートである。まず、端末４０が駐車場を管理するサーバ６０に対して問い合わせを行う（ステップＳ１０１）。サーバ６０は、端末４０に対して駐車場データと空き状況データを応答する（ステップＳ２０１）。
【0040】
端末４０は、駐車場データ及び空き状況データを表示出力し、ユーザから駐車区画の選択操作を受け付ける（ステップＳ１０２）。端末４０は、駐車先の駐車区画の予約をサーバ６０に要求し、サーバ６０は空き状況を更新する（ステップＳ２０２）。その後、端末４０は、駐車場データと駐車先の駐車区画を車両制御装置２０に送信する（ステップＳ１０４）。
【0041】
車両制御装置２０は、端末４０から駐車場データと駐車先の駐車区画を受信すると、自動運転の行先としての駐車区画を決定するとともに、走行経路を決定する（ステップＳ３０１）。そして、決定した行先と走行経路に従って、自動運転処理を実行し（ステップＳ３０２）、処理を終了する。
【0042】
図７は、自動運転処理の処理手順を示すフローチャートである。自動運転処理において、車両制御装置２０は、ステップＳ４０１からステップＳ４２５の処理を順次実行する。各ステップの処理は次のとおりである。
【0043】
ステップＳ４０１ 通信状況取得部２２は、通信部２１から通信状況を取得する。例えば、通信状況取得部２２は、通信の強度を取得する。その後、ステップＳ４０２に進む。
ステップＳ４０２ 進行方向取得部２４は、車両１０の進行方向を取得する。例えば、進行方向取得部２４は、駆動制御ユニット１３からシフト情報を取得し、車両１０の進行方向が前方であるか後方であるかを特定する。
ステップＳ４０２ 進行方向取得部２４は、車両１０の進行方向を取得する。例えば、進行方向取得部２４は、駆動制御ユニット１３からシフト情報を取得し、車両１０の進行方向が前方であるか後方であるかを特定する。
【0044】
ステップＳ４０３ 報知範囲決定部２６は、強度が閾値Ｔｈ１以上であるか否かを判定する。強度が閾値Ｔｈ１以上であれば（ステップＳ４０３；Ｙｅｓ）、ステップＳ４０４に進む。強度が閾値Ｔｈ１未満であれば（ステップＳ４０３；Ｎｏ）、ステップＳ４０５に進む。
【0045】
ステップＳ４０４ 報知範囲決定部４０４は、全てのカメラ１１を選択する。その後、ステップＳ４１０に進む。
ステップＳ４０５ 報知範囲決定部２６は、強度が閾値Ｔｈ２以上であるか否かを判定する。強度が閾値Ｔｈ２以上であれば（ステップＳ４０５；Ｙｅｓ）、ステップＳ４０８に進む。強度が閾値Ｔｈ２未満であれば（ステップＳ４０５；Ｎｏ）、ステップＳ４０６に進む。
ステップＳ４０５ 報知範囲決定部２６は、強度が閾値Ｔｈ２以上であるか否かを判定する。強度が閾値Ｔｈ２以上であれば（ステップＳ４０５；Ｙｅｓ）、ステップＳ４０８に進む。強度が閾値Ｔｈ２未満であれば（ステップＳ４０５；Ｎｏ）、ステップＳ４０６に進む。
【0046】
ステップS４０６ 報知範囲決定部２６は、障害物検知部２３が車両１０の周囲に障害物を検知したか否かを判定する。障害物がなければ（ステップＳ４０６；Ｎｏ）、ステップＳ４０８に進む。障害物があれば（ステップＳ４０７；Ｎｏ）、ステップＳ４０９に進む。
【0047】
ステップＳ４０８ 報知範囲決定部４０４は、進行方向のカメラ１１を選択する。その後、ステップＳ４１０に進む。
ステップＳ４０９ 報知範囲決定部４０４は、進行方向かつ障害物の方向のカメラ１１を選択する。その後、ステップＳ４１１に進む。
ステップＳ４０９ 報知範囲決定部４０４は、進行方向かつ障害物の方向のカメラ１１を選択する。その後、ステップＳ４１１に進む。
【0048】
ステップＳ４１０ 画像生成部２７は、報知範囲決定部４０４が選択したカメラ１１の出力を用いて見下ろし画像と主観視点画像を生成する。その後、ステップＳ４１２に進む。
ステップＳ４１１ 画像生成部２７は、報知範囲決定部４０４が選択したカメラ１１の出力を用いて見下ろし画像を生成する。その後、ステップＳ４１２に進む。
ステップＳ４１１ 画像生成部２７は、報知範囲決定部４０４が選択したカメラ１１の出力を用いて見下ろし画像を生成する。その後、ステップＳ４１２に進む。
【0049】
ステップＳ４１２ 出力制御部２８は、画像生成部２７が生成した画像を端末４０に送信する。その後、ステップＳ４１３に進む。
ステップＳ４１３ 走行制御部２９は、通信部２１が端末４０からユーザの要求を受信したか否かを判定する。ユーザの要求を受信していれば、ステップＳ４１４に進む。ユーザの要求を受信していなければ（ステップＳ４１３；Ｎｏ）、ステップＳ４１５に進む。
ステップＳ４１３ 走行制御部２９は、通信部２１が端末４０からユーザの要求を受信したか否かを判定する。ユーザの要求を受信していれば、ステップＳ４１４に進む。ユーザの要求を受信していなければ（ステップＳ４１３；Ｎｏ）、ステップＳ４１５に進む。
【0050】
ステップＳ４１４ 走行制御部２９は、ユーザが指定した駐車区画に向けて車両１０が走行するよう駆動制御ユニット１３に指示を出力する。その後、ステップＳ４１６に進む。
ステップＳ４１５ 走行制御部２９は、ユーザの要求を処理する。その後、ステップＳ４１６に進む。
ステップＳ４１５ 走行制御部２９は、ユーザの要求を処理する。その後、ステップＳ４１６に進む。
【0051】
ステップＳ４１６ 走行制御部２９は、ユーザが指定した駐車区画への駐車が完了したか否かを判定する。駐車か完了していなければ（ステップＳ４１６；Ｎｏ）、ステップＳ４０１に戻る。駐車が完了していれば（ステップＳ４１６；Ｙｅｓ）、処理を終了する。
【0052】
（変形例）
これまでの説明では、車両制御装置２０が見下ろし画像及び主観視点画像を生成する構成を例示したが、端末４０が見下ろし画像及び主観視点画像を生成する構成としてもよい。この場合には、車両制御装置２０は、通信状況に応じてカメラ１１を選択し、選択したカメラ１１の画像を端末４０に送信する。端末４０は車両制御装置２０から受信した画像を用いて見下ろし画像及び主観視点画像を生成する。
これまでの説明では、車両制御装置２０が見下ろし画像及び主観視点画像を生成する構成を例示したが、端末４０が見下ろし画像及び主観視点画像を生成する構成としてもよい。この場合には、車両制御装置２０は、通信状況に応じてカメラ１１を選択し、選択したカメラ１１の画像を端末４０に送信する。端末４０は車両制御装置２０から受信した画像を用いて見下ろし画像及び主観視点画像を生成する。
【0053】
図８は、変形例における自動運転処理の処理手順を示すフローチャートである。図８のフローチャートは、ステップＳ４０１からＳ４０９まで図７と同様である。車両制御装置２０は、ステップＳ４０４，Ｓ４０８，Ｓ４０９の後、ステップＳ５０１を実行する。
【0054】
ステップＳ５０１では、車両制御装置２０は、ステップＳ４０４，Ｓ４０８，Ｓ４０９で選択したカメラ１１の画像を端末４０に送信する。その後、ステップＳ４１３に移行する。ステップＳ４１３以降は、図７と同様である。
この構成では、車両制御装置２０は、処理負荷が小さくなり、端末４０に速やかにデータ送信を行うことができる。また、通信状況が悪化した場合には、カメラ１１の選択により、ユーザにとって重要な情報を高品質で提供しつつ、データ量を削減できる。
この構成では、車両制御装置２０は、処理負荷が小さくなり、端末４０に速やかにデータ送信を行うことができる。また、通信状況が悪化した場合には、カメラ１１の選択により、ユーザにとって重要な情報を高品質で提供しつつ、データ量を削減できる。
【0055】
他の変形例として、通信方式に応じて報知範囲を切り替えてデータ削減を行ってもよい。図９は、通信方式に基づくデータ削減についての説明図である。
図９に例示した車両制御装置２０は、端末４０と複数の通信方式で通信可能である。複数の通信方式には、移動体通信と近距離無線通信とが含まれる。移動体通信と近距離無線通信とを比較すると、近距離無線通信の方が大量のデータを低遅延で送信可能である。
図９に例示した車両制御装置２０は、端末４０と複数の通信方式で通信可能である。複数の通信方式には、移動体通信と近距離無線通信とが含まれる。移動体通信と近距離無線通信とを比較すると、近距離無線通信の方が大量のデータを低遅延で送信可能である。
【0056】
図９に例示した車両制御装置２０は、通信状況の判定において、端末４０と通信に用いている通信方式を判定する。
近距離無線通信を行っていれば、車両制御装置２０は、車両１０の周囲の全方向を報知範囲とする。そして、車両制御装置２０は、車両１０の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置２０は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末４０に提供する。
移動体通信を行っていれば、車両制御装置２０は、車両１０の周囲のうち、進行方向を報知範囲に含みつつ、車両１０の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置２０は、車両１０の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置２０は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末４０に提供する。
近距離無線通信を行っていれば、車両制御装置２０は、車両１０の周囲の全方向を報知範囲とする。そして、車両制御装置２０は、車両１０の周囲を撮影する複数のカメラの全てを使って、全方向についての見下ろし画像を生成する。車両制御装置２０は、全方位についての見下ろし画像である全方位画像を車両周辺画像として端末４０に提供する。
移動体通信を行っていれば、車両制御装置２０は、車両１０の周囲のうち、進行方向を報知範囲に含みつつ、車両１０の周囲の一部を報知範囲から除外することで報知範囲を縮小する。車両制御装置２０は、車両１０の周囲を撮影する複数のカメラのうち、縮小した報知範囲を撮像範囲に含むカメラを選択的に用いて、縮小した報知範囲についての見下ろし画像を生成する。車両制御装置２０は、縮小した報知範囲についての見下ろし画像である特定範囲画像を車両周辺画像として端末４０に提供する。
【0057】
このように、通信方式に応じて報知範囲を変更することで、端末４０に送信するデータ量を削減した場合であっても、ユーザの判断に寄与する情報については高品質かつ低遅延での送信が可能である。このため、ユーザは、緊急停止の要否などの判断を余裕をもって正確に行うことができる。
【0058】
上述してきたように、開示の車両制御装置２０は、車両１０に搭載され、前記車両の外部と通信可能な通信部２１を備える制御装置であって、前記通信部２１の通信状況を取得する通信状況取得部２２と、前記車両１０の周囲の状況を画像として取得する周囲状況取得部２５と、前記車両１０の進行方向を取得する進行方向取得部２４と、前記通信状況及び前記進行方向に応じて、前記車両１０の周囲のうち、外部の端末に報知する範囲を報知範囲として決定する報知範囲決定部２６と、前記周囲状況取得部２５で取得した画像を用い、前記報知範囲について前記車両を見下ろした画像である見下ろし画像を生成する画像生成部２７と、前記報知範囲の前記見下ろし画像を、前記通信部２１を用いて前記端末４０へ送信する出力制御部２８とを備える。
かかる構成及び動作により、制御装置は、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上できる。
かかる構成及び動作により、制御装置は、通信状況の影響を効率的に抑制し、車両の遠隔制御の操作性を向上できる。
【0059】
また、前記周囲状況取得部２５は、複数のカメラ１１が撮影した複数の画像を取得し、前記報知範囲決定部２６は、前記通信状況及び前記進行方向に応じて、前記見下ろし画像の生成に使用する１又は複数のカメラ１１を選択する。前記画像生成部２７は、前記報知範囲決定部２６により選択した１又は複数のカメラ１１の撮影結果を用いて前記見下ろし画像を生成する。
かかる構成及び動作により、報知範囲を簡易且つ効率的に決定することができる。
かかる構成及び動作により、報知範囲を簡易且つ効率的に決定することができる。
【0060】
また、前記通信状況取得部２２は、前記端末４０との通信に係る電波の強度を前記通信状況として取得し、前記報知範囲決定部２６は、前記強度が第１の閾値よりも低い場合に、前記進行方向を前記報知範囲に含みつつ、前記車両の周囲の一部を前記報知範囲から除外する。
かかる構成及び動作により、通信時の強度に基づいて報知範囲を適正に選択することができる。
かかる構成及び動作により、通信時の強度に基づいて報知範囲を適正に選択することができる。
【0061】
また、制御装置は、前記車両１０の周囲に存在する障害物を検知する障害物検知部２３をさらに備え、前記報知範囲決定部２６は、前記強度が前記第１の閾値に比して小さい第２の閾値よりも低い場合に、前記障害物が所在する方向を残しつつ、前記報知範囲をさらに縮小することができる。
かかる構成及び動作によれば、ユーザの判断に重要な障害物に関する情報を低遅延で提供することができる。
かかる構成及び動作によれば、ユーザの判断に重要な障害物に関する情報を低遅延で提供することができる。
【0062】
また、前記画像生成部２７は、前記見下ろし画像に加えて、主観視点画像をさらに生成可能であり、前記報知範囲決定部２６は、前記報知範囲に加えて、前記端末に送信する画像の種別をさらに決定する。
かかる構成及び動作によれば、制御装置は、多様な種別の画像の提供が可能となるとともに、通信状況に合わせて提供する画像の種別を絞り込むことができる。
かかる構成及び動作によれば、制御装置は、多様な種別の画像の提供が可能となるとともに、通信状況に合わせて提供する画像の種別を絞り込むことができる。
【0063】
また、制御装置は、前記通信部２１が前記端末４０から受信した指示に基づいて前記車両１０の走行を制御する走行制御部２９をさらに備える。
前記走行制御部２９は、駐車区画に前記車両１０を駐車する制御を行い、前記端末４０から停止の指示を受け付けた場合には前記車両１０が停止する制御を行う。
このため、車両１０の自動走行に対する外部からの介入に余裕を持たせることができる。そして、車両１０の駐車を支援しつつ、緊急停止を間に合わせることができる。
前記走行制御部２９は、駐車区画に前記車両１０を駐車する制御を行い、前記端末４０から停止の指示を受け付けた場合には前記車両１０が停止する制御を行う。
このため、車両１０の自動走行に対する外部からの介入に余裕を持たせることができる。そして、車両１０の駐車を支援しつつ、緊急停止を間に合わせることができる。
【0064】
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
【0065】
例えば、上記の実施例では、自動の走行制御に対し、遠隔での介入を行う場合を例示した。しかし、本発明は、自動の走行制御に限定されず、車両の走行中に外部と通信し、走行に対する介入を受ける場合に広く適用できるものである。一例として、運転者の訓練や評価を目的として車両及び周辺に関する情報を外部に送信し、運転者への指示や車両制御への介入を行う場合にも適用可能である。具体例としては、運転免許取得のための無線講習、高齢者の運転技術の評価、運転者の希望による運転サポート等が挙げられる。
【符号の説明】
【0066】
１０：車両、１１：カメラ、１２：レーダ、１３：駆動制御ユニット、２０：車両制御装置、２１：通信部、２２：通信状況取得部、２３：障害物検知部、２４：進行方向取得部、２５：周囲状況取得部、２６：報知範囲決定部、２７：画像生成部、２８：出力制御部、２９：走行制御部、４０：端末、５０：基地局、６０：サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】