ホーム > 特許ランキング > 株式会社豊田中央研究所
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社豊田中央研究所の特許一覧 ▶ アイシン精機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039550
(43)【公開日】2024-03-22
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
E05F 15/40 20150101AFI20240314BHJP
B60J 5/00 20060101ALI20240314BHJP
G08G 1/16 20060101ALI20240314BHJP
E05F 15/75 20150101ALN20240314BHJP
【ＦＩ】
E05F15/40
B60J5/00 A
G08G1/16 C
E05F15/75
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022144183
(22)【出願日】2022-09-09
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】小島 真一
(72)【発明者】
【氏名】塚尾 公祐
【テーマコード（参考）】
2E052
5H181
【Ｆターム（参考）】
2E052AA09
2E052BA01
2E052BA04
2E052EA01
2E052EB02
2E052EC02
2E052GA06
2E052GB06
2E052GC02
2E052GD03
2E052KA27
5H181AA01
5H181BB04
5H181CC04
5H181FF04
5H181LL02
5H181LL17
(57)【要約】
【課題】本発明は、車両周辺に存在する障害物の３次元位置を精度良く特定することを目的とする。
【解決手段】情報処理装置は、車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得する取得部と、前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、を備える。
【選択図】図１
【解決手段】情報処理装置は、車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得する取得部と、前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得する取得部と、
前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、
前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、
を備える情報処理装置。
前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、
前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、
を備える情報処理装置。
【請求項2】
前記特定部が特定した前記障害物の３次元位置と、前記ヒンジドアの形状及び寸法に関するドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を決定する決定部を備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う制御部を備える、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記制御部は、
前記撮像部が前記画像を撮像する際の前記ドア開き角度を決定し、
決定した前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う、
請求項３に記載の情報処理装置。
前記撮像部が前記画像を撮像する際の前記ドア開き角度を決定し、
決定した前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う、
請求項３に記載の情報処理装置。
【請求項5】
前記制御部は、
前記決定部が前記障害物に接触しない最大の前記ドア開き角度を決定した後、前記障害物に接触しない最大の前記ドア開き角度の範囲内で前記撮像部により前記画像が撮像されていない所定の角度まで、前記ヒンジドアを開放する制御を行い、
前記特定部は、
前記所定の角度の視点と、他の前記ドア開き角度の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を再度特定し、
前記決定部は、
前記特定部が再度特定した前記障害物の３次元位置と、前記ドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を再度決定する、
請求項３に記載の情報処理装置。
前記決定部が前記障害物に接触しない最大の前記ドア開き角度を決定した後、前記障害物に接触しない最大の前記ドア開き角度の範囲内で前記撮像部により前記画像が撮像されていない所定の角度まで、前記ヒンジドアを開放する制御を行い、
前記特定部は、
前記所定の角度の視点と、他の前記ドア開き角度の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を再度特定し、
前記決定部は、
前記特定部が再度特定した前記障害物の３次元位置と、前記ドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を再度決定する、
請求項３に記載の情報処理装置。
【請求項6】
前記制御部は、
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度に応じて、前記所定の角度を決定する、
請求項５に記載の情報処理装置。
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度に応じて、前記所定の角度を決定する、
請求項５に記載の情報処理装置。
【請求項7】
前記決定部により前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度が決定される回数の入力を受付ける受付部を備える、
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項8】
前記制御部は、
前記ヒンジドアに設けられた測距センサの検出結果に基づいて、前記ヒンジドアの開放を禁止する制御を行う、
請求項３に記載の情報処理装置。
前記ヒンジドアに設けられた測距センサの検出結果に基づいて、前記ヒンジドアの開放を禁止する制御を行う、
請求項３に記載の情報処理装置。
【請求項9】
前記補正部は、
前記撮像部の内部パラメータを用いて、前記撮像部により撮像された前記画像の補正を行う、
請求項１に記載の情報処理装置。
前記撮像部の内部パラメータを用いて、前記撮像部により撮像された前記画像の補正を行う、
請求項１に記載の情報処理装置。
【請求項10】
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理をコンピュータが実行する情報処理方法。
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理をコンピュータが実行する情報処理方法。
【請求項11】
コンピュータに、
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理を実行させるための情報処理プログラム。
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理を実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、車両の利用者がパワーヒンジドアに近づいたときに、パワードア制御部によりパワーヒンジドアが開動作される技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１４７８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のように、従来技術として、人手を介さずに自動で車両のヒンジドアを開放する技術が存在する。
ここで、車両周辺に壁及び他の車両等の障害物が存在する状況でヒンジドアを自動で開放する場合には、障害物に接触しない範囲でヒンジドアを開放しなければならない。そして、障害物に接触しない範囲でヒンジドアを開放するためには、車両に対する障害物の３次元位置を精度良く特定する必要があるが、障害物の３次元位置の特定方法については未だ改善の余地がある。
ここで、車両周辺に壁及び他の車両等の障害物が存在する状況でヒンジドアを自動で開放する場合には、障害物に接触しない範囲でヒンジドアを開放しなければならない。そして、障害物に接触しない範囲でヒンジドアを開放するためには、車両に対する障害物の３次元位置を精度良く特定する必要があるが、障害物の３次元位置の特定方法については未だ改善の余地がある。
【0005】
そこで、本発明は、車両周辺に存在する障害物の３次元位置を精度良く特定することができる情報処理装置、情報処理方法、及び情報処理プログラムの提供を目的とする。
【課題を解決するための手段】
【0006】
第１の態様の情報処理装置は、車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得する取得部と、前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、を備える。
【0007】
第２の態様の情報処理装置は、第１の態様の情報処理装置であって、前記特定部が特定した前記障害物の３次元位置と、前記ヒンジドアの形状及び寸法に関するドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を決定する決定部を備える。
【0008】
第３の態様の情報処理装置は、第２の態様の情報処理装置であって、前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う制御部を備える。
【0009】
第４の態様の情報処理装置は、第３の態様の情報処理装置であって、前記制御部は、前記撮像部が前記画像を撮像する際の前記ドア開き角度を決定し、決定した前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う。
【0010】
第５の態様の情報処理装置は、第３の態様の情報処理装置であって、前記制御部は、前記決定部が前記障害物に接触しない最大の前記ドア開き角度を決定した後、前記障害物に接触しない最大の前記ドア開き角度の範囲内で前記撮像部により前記画像が撮像されていない所定の角度まで、前記ヒンジドアを開放する制御を行い、前記特定部は、前記所定の角度の視点と、他の前記ドア開き角度の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を再度特定し、前記決定部は、前記特定部が再度特定した前記障害物の３次元位置と、前記ドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を再度決定する。
【0011】
第６の態様の情報処理装置は、第５の態様の情報処理装置であって、前記制御部は、前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度に応じて、前記所定の角度を決定する。
【0012】
第７の態様の情報処理装置は、第５の態様の情報処理装置であって、前記決定部により前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度が決定される回数の入力を受付ける受付部を備える。
【0013】
第８の態様の情報処理装置は、第３の態様の情報処理装置であって、前記制御部は、前記ヒンジドアに設けられた測距センサの検出結果に基づいて、前記ヒンジドアの開放を禁止する制御を行う。
【0014】
第９の態様の情報処理装置は、第１の態様の情報処理装置であって、前記補正部は、前記撮像部の内部パラメータを用いて、前記撮像部により撮像された前記画像の補正を行う。
【0015】
第１０の態様の情報処理方法は、車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、取得した前記ドア開き角度の誤差を補正し、取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、処理をコンピュータが実行する。
【0016】
第１１の態様の情報処理プログラムは、コンピュータに、車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、取得した前記ドア開き角度の誤差を補正し、取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、処理を実行させる。
【発明の効果】
【0017】
本発明に係る情報処理装置、情報処理方法、及び情報処理プログラムでは、車両周辺に存在する障害物の３次元位置を精度良く特定することができる。
【図面の簡単な説明】
【0018】
【図1】車両のハードウェア構成を示す第１のブロック図である。
【図2】車載器の機能構成の例を示す第１のブロック図である。
【図3】開放処理の流れを示す第１のフローチャートである。
【図4】障害物の３次元位置の特定方法及び最大開き角度の決定方法を説明する第１の説明図である。
【図5】障害物の３次元位置の特定方法及び最大開き角度の決定方法を説明する第２の説明図である。
【図6】車載器の機能構成の例を示す第２のブロック図である。
【図7】開放処理の流れを示す第２のフローチャートである。
【図8】車両のハードウェア構成を示す第２のブロック図である。
【図9】開放処理の流れを示す第３のフローチャートである。
【発明を実施するための形態】
【0019】
以下、本実施形態に係る車両２０について説明する。
（第１の実施形態）
図１は、車両２０のハードウェア構成を示す第１のブロック図である。車両２０は、ガソリン車両、ハイブリッド車両、又は電気自動車の何れであってもよいが、第１の実施形態では、一例として、車両２０はガソリン車両とする。また、車両２０は、運転席側の運転席ドア、助手席側の助手席ドア、及び車両２０後部の後部ドアを備えている。そして、第１の実施形態では、車両２０の運転席ドアが、車体座標における回転軸が既知のヒンジドアで構成されている。運転席ドアは「ヒンジドア」の一例である。
（第１の実施形態）
図１は、車両２０のハードウェア構成を示す第１のブロック図である。車両２０は、ガソリン車両、ハイブリッド車両、又は電気自動車の何れであってもよいが、第１の実施形態では、一例として、車両２０はガソリン車両とする。また、車両２０は、運転席側の運転席ドア、助手席側の助手席ドア、及び車両２０後部の後部ドアを備えている。そして、第１の実施形態では、車両２０の運転席ドアが、車体座標における回転軸が既知のヒンジドアで構成されている。運転席ドアは「ヒンジドア」の一例である。
【0020】
図１に示すように、車両２０は、車載器１５と、ドアＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ)３０と、アクチュエータ３１と、角度センサ３２と、マイク４０と、カメラ４１と、入力スイッチ４２と、モニタ４３と、スピーカ４４と、ＧＰＳ装置４５と、を含んで構成されている。車載器１５は「情報処理装置」の一例である。
【0021】
車載器１５は、ＣＰＵ２１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ２２（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ２３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶部２４、車内通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２５、入出力Ｉ／Ｆ２６及び無線通信Ｉ／Ｆ２７を含んで構成されている。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、車内通信Ｉ／Ｆ２５、入出力Ｉ／Ｆ２６及び無線通信Ｉ／Ｆ２７は、内部バス２８を介して相互に通信可能に接続されている。
【0022】
ＣＰＵ２１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２１は、ＲＯＭ２２又は記憶部２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部２４に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。
【0023】
ＲＯＭ２２は、各種プログラム及び各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラム又はデータを記憶する。
【0024】
記憶部２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はフラッシュメモリ等の記憶装置により構成され、各種プログラム、及び各種データを格納する。記憶部２４には、少なくとも後述する開放処理を実行するための情報処理プログラムが格納されている。
【0025】
車内通信Ｉ／Ｆ２５は、ドアＥＣＵ３０と接続するためのインターフェースである。当該インターフェースは、ＣＡＮプロトコルによる通信規格が用いられる。車内通信Ｉ／Ｆ２５は、外部バス２９に対して接続されている。
【0026】
第１の実施形態では、ＥＣＵとして、ドアＥＣＵ３０が設けられている。なお、図示を省略しているが、ＥＣＵは車両２０の機能毎に複数設けられており、ドアＥＣＵ３０以外の他のＥＣＵを含んで構成されている。
ドアＥＣＵ３０には、アクチュエータ３１及び角度センサ３２が接続されている。
ドアＥＣＵ３０には、アクチュエータ３１及び角度センサ３２が接続されている。
【0027】
アクチュエータ３１は、車両２０のドアのうち、少なくとも運転席ドアを自動で開閉駆動させるものである。第１の実施形態では、車載器１５の制御に基づいてドアＥＣＵ３０がアクチュエータ３１を駆動させることで、乗員が運転席ドアの開閉動作を行わなくても、運転席ドアを自動で開閉させることができる。
【0028】
角度センサ３２は、車両２０のドアのうち、少なくとも運転席ドアに設けられ、運転席ドアが閉状態、すなわち、ドア閉時から開いた角度を示すドア開き角度を検出するためのセンサである。角度センサ３２において検出されたドア開き角度は、記憶部２４に記憶される。
【0029】
入出力Ｉ／Ｆ２６は、車両２０に搭載されるマイク４０、カメラ４１、入力スイッチ４２、モニタ４３、スピーカ４４、及びＧＰＳ装置４５と通信するためのインターフェースである。
【0030】
マイク４０は、車両２０のフロントピラー、又はダッシュボード等に設けられ、車両２０のユーザが発した音声を集音する装置である。
【0031】
カメラ４１は、一例として、ＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)イメージセンサ及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子を含んで構成されている。カメラ４１は、一例として、少なくとも車両２０の運転席ドアのドアミラー３３（図４及び図５参照）に設けられ、車両側方を撮像する。カメラ４１が撮像した画像は、各画像が撮像された際のドア開き角度と紐付けられた上で記憶部２４に記憶される。なお、カメラ４１は、ＥＣＵ（例えば、カメラＥＣＵ）を経由して車載器１５に接続されていてもよい。カメラ４１は「撮像部」の一例である。
【0032】
また、運転席ドアのドア閉時の車体座標におけるカメラ４１の姿勢は既知であり、当該姿勢に関する情報が記憶部２４に記憶されている。
【0033】
入力スイッチ４２は、インストルメントパネル、センタコンソール、ステアリングホイール等に設けられ、運転者の手指による操作を入力するスイッチである。入力スイッチ４２としては、例えば、押しボタン式のテンキー、及びタッチパッド等を採用することができる。第１の実施形態では、入力スイッチ４２として、運転席ドアを開放するための開放スイッチが少なくとも設けられている。そして、第１の実施形態では、車両２０が停車又は駐車された状態で開放スイッチが操作されることで、運転席ドアを自動で開放することができる。
【0034】
モニタ４３は、インストルメントパネル、又はメータパネル等に設けられ、車両２０の機能に係る作動の提案、及び当該機能の説明に係る画像を表示するための液晶モニタである。モニタ４３は、入力スイッチ４２を兼ねたタッチパネルとして設けてもよい。
【0035】
スピーカ４４は、インストルメントパネル、センタコンソール、フロントピラー、又はダッシュボード等に設けられ、車両２０の機能に係る作動の提案、及び当該機能の説明に係る音声を出力するための装置である。なお、スピーカ４４は、モニタ４３に設けられていてもよい。
【0036】
ＧＰＳ装置４５は、車両２０の現在位置を測定する装置である。ＧＰＳ装置４５は、ＧＰＳ衛星からの信号を受信する図示しないアンテナを含んでいる。なお、ＧＰＳ装置４５は、ＥＣＵ（例えば、マルチメディアＥＣＵ）に接続されるカーナビゲーションシステムを経由して車載器１５に接続されていてもよい。
【0037】
無線通信Ｉ／Ｆ２７は、他の機器と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。
【0038】
次に、車載器１５の機能構成について説明する。
図２は、車載器１５の機能構成の例を示す第１のブロック図である。
図２は、車載器１５の機能構成の例を示す第１のブロック図である。
【0039】
図２に示すように、車載器１５のＣＰＵ２１は、機能構成として、取得部２１Ａ、補正部２１Ｂ、特定部２１Ｃ、決定部２１Ｄ、及び制御部２１Ｅを有する。各機能構成は、ＣＰＵ２１が記憶部２４に記憶された情報処理プログラムを読み出し、実行することにより実現される。
【0040】
取得部２１Ａは、カメラ４１により撮像された画像と、当該画像が撮像された際のドア開き角度と、を取得する。第１の実施形態では、取得部２１Ａは、ドア開き角度が異なる複数の視点でカメラ４１により撮像された複数の画像と、当該複数の画像のそれぞれに紐付くドア開き角度と、を取得する。
【0041】
補正部２１Ｂは、取得部２１Ａが取得したドア開き角度の誤差を補正する。補正部２１Ｂにより補正されたドア開き角度は、記憶部２４に記憶される。ここで、角度センサ３２が検出したドア開き角度は、角度センサ３２に依存した測定誤差（例：センサ搭載誤差、サンプリング誤差）及び運転席ドアに依存した測定誤差（例：ドアのたわみによる誤差）等により、誤差が生じる可能性がある。そこで、第１の実施形態では、角度センサ３２が検出したドア開き角度には誤差があると仮定して、補正部２１Ｂにより当該誤差を補正することとしている。
【0042】
特定部２１Ｃは、取得部２１Ａが取得したドア開き角度が異なる複数の視点でカメラ４１により撮像された複数の画像に基づいて決定した、運転席ドアの周辺に存在する障害物の対応点と、当該複数の画像のそれぞれに紐付く補正部２１Ｂが補正した補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を特定する。障害物の対応点は、公知の画像の特徴点を抽出する処理を、ドア開き角度が異なる複数の視点でカメラ４１により撮像された複数の画像に対して行うことで決定される。また、特定部２１Ｃは、異なる視点から撮像された複数枚の画像を用いて物体の３次元形状を復元する技術である多視点ステレオ(Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ： ＭＶＳ)法により、障害物の３次元位置を特定する。
【0043】
決定部２１Ｄは、特定部２１Ｃが特定した障害物の３次元位置と、運転席ドアの形状及び寸法に関するドア情報とを用いて、運転席ドアが障害物に接触しない最大のドア開き角度（以下、「最大開き角度」とする）を決定する。ドア情報は、記憶部２４に予め記憶されている。
【0044】
制御部２１Ｅは、カメラ４１が画像を撮像する際のドア開き角度を決定し、決定したドア開き角度まで運転席ドアを開放する制御を行う。第１の実施形態では、一例として、取得部２１Ａは、カメラ４１が画像を撮像する際の１回目のドア開き角度を「０度」、２回目のドア開き角度を「７度」に決定する。
【0045】
また、制御部２１Ｅは、決定部２１Ｄが決定した最大開き角度まで運転席ドアを開放する制御を行う。
【0046】
図３は、最大開き角度を決定し、決定した最大開き角度まで運転席ドアを開放する開放処理の流れを示す第１のフローチャートである。ＣＰＵ２１が記憶部２４から情報処理プログラムを読み出して、ＲＡＭ２３に展開して実行することにより、開放処理が行われる。なお、開放処理は、一例として、車両２０が停車又は駐車された状態で開放スイッチが操作された場合に開始される。
【0047】
図３に示すステップＳ１０において、ＣＰＵ２１は、カメラ４１により撮像された画像と、当該画像が撮像された際のドア開き角度と、を取得する。一例として、ＣＰＵ２１は、ドア開き角度「０度」においてカメラ４１により撮像された画像と、ドア開き角度「７度」においてカメラ４１により撮像された画像と、を取得する。そして、ステップＳ１１に進む。
【0048】
ステップＳ１１において、ＣＰＵ２１は、ステップＳ１０で取得したドア開き角度が異なる複数の視点でカメラ４１により撮像された複数の画像に基づいて決定した障害物の対応点と、当該複数の画像のそれぞれに紐付く補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を特定する。ここでは、ＣＰＵ２１は、ステップＳ１０で取得したドア開き角度の誤差を補正する。そして、ステップＳ１２に進む。ドア開き角度の誤差の補正方法を含む当該障害物の３次元位置の特定方法については後述する。
【0049】
ステップＳ１２において、ＣＰＵ２１は、ステップＳ１１で特定した障害物の３次元位置と、運転席ドアのドア情報とを用いて、最大開き角度を決定する。そして、ステップＳ１３に進む。当該最大開き角度の決定方法については後述する。
【0050】
ステップＳ１３において、ＣＰＵ２１は、ステップＳ１２で決定した最大開き角度まで運転席ドアを開放する。そして、開放処理を終了する。
【0051】
【0052】
図４は、障害物の３次元位置の特定方法及び最大開き角度の決定方法を説明する第１の説明図である。図４は、基準座標系を示し、また、運転席ドアのドアミラー３３を上から見た状態を示している。第１の実施形態では、運転席ドアの回転軸であるヒンジ３４がＹ軸と一致するように基準座標系を設定し、Ｘが車両後方に向かう方向を示し、Ｙが車両下方に向かう方向を示し、Ｚが車両右方に向かう方向を示している。また、原点はＹ軸と地面が交わる点とする。
【0053】
図４に示すように、ドア閉時の基準座標系でのカメラ４１の初期位置をＴｃ０_ｗ＝（Ｘｃ０_ｗ，Ｙｃ０_ｗ，Ｚｃ０_ｗ）Ｔ、カメラ４１のヒンジ３４に対する回転半径をＬｃ、ドア開き角度をα、ドア開き角度α時の基準座標系でのカメラ４１の位置をＴｃα_ｗ＝（Ｘｃα_ｗ，Ｙｃα_ｗ，Ｚｃα_ｗ）Ｔとする。Ｔは転置を表す。また、図４に示すように、初期位置でのカメラ４１はα０だけヒンジ３４周りに回転しているとみなすことができる。このとき、ＣＰＵ２１は、以下の数式（１）及び（２）を用いて、Ｘｃ０_ｗ及びＺｃ０_ｗからＬｃ及びα０を算出する。
【0054】
【数1】
【0055】
【数2】
【0056】
また、ＣＰＵ２１は、以下の数式（３）を用いて、（Ｘｃα_ｗ，Ｙｃα_ｗ，Ｚｃα_ｗ）を算出する。
【0057】
【数3】
【0058】
図４に示すように、ドア閉時及びドア開き角度α時のカメラ４１の姿勢を基準座標系における回転行列で表現したものをそれぞれＲｃ０_ｗ及びＲｃα_ｗとする。Ｙ軸周りの角度θの回転を表す回転行列をＲＹ_ｗ（θ）とすると、Ｒｃ０_ｗ及びＲｃα_ｗの関係は以下の数式（４）のように示される。
【0059】
【数4】
【0060】
以上より、ドア開き角度α時のカメラ４１の位置及び姿勢は、ドア閉時のカメラ４１の位置及び姿勢とドア開き角度αとを用いて決定することができる。
【0061】
【0062】
図５に示すように、障害物の対応点に対応する、基準座標系における障害物の座標をＰ_ｗ＝（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）Ｔ、ドア閉時でのカメラ座標系における障害物の座標をＰ_ｃ０＝（Ｘ_ｃ０，Ｙ_ｃ０，Ｚ_ｃ０）Ｔ、ドア開き角度α時でのカメラ座標系における障害物の座標をＰ_ｃα＝（Ｘ_ｃα，Ｙ_ｃα，Ｚ_ｃα）Ｔとする。また、障害物のドア閉時及びドア開き角度α時それぞれの画像座標をＩ_i０＝（ｘ_i０，ｙ_i０）Ｔ、及びＩ_iα＝（ｘ_iα，ｙ_iα）Ｔとする。
【0063】
ここで、Ｐ_ｗ、Ｐ_ｃ０、及びＰ_ｃαは、同じ対象である障害物を異なる座標系で表現しており、以下の数式（５）及び（６）で示す関係を有する。
【0064】
【数5】
【0065】
【数6】
【0066】
また、カメラ４１の内部パラメータである、ピクセル単位の焦点距離及び画像中心をそれぞれｆ及びＩｃ_i＝（ｘｃ_i，ｙｃ_i）Ｔとする。このとき、画像の投影式は以下の数式（７）及び（８）になる。
【0067】
【数7】
【0068】
【数8】
【0069】
上記の数式（７）及び（８）から、以下の数式（９）、（１０）、（１１）及び（１２）が得られる。
【0070】
【数9】
【0071】
【数10】
【0072】
【数11】
【0073】
【数12】
【0074】
上記の数式（５）に、数式（９）及び（１０）を代入すると、以下の数式（１３）が得られる。
【0075】
【数13】
【0076】
上記の数式（６）に、数式（１１）及び（１２）を代入すると、以下の数式（１４）が得られる。
【0077】
【数14】
【0078】
ここで、以降の数式を簡易化すべく、上記の数式（１３）及び（１４）中の定数項を、以下の数式（１５）及び（１６）のように置き換える。
【0079】
【数15】
【0080】
【数16】
【0081】
ここで、角度センサ３２が検出したドア開き角度の誤差（以下、「ドア角度誤差」と記載することもある）をεとし、εは小さいと仮定すると回転行列は以下の数式（１７）になる。
【0082】
【数17】
【0083】
ドア角度誤差の回転行列Ｒεを付与することで以下の数式（１８）及び（１９）に示す方程式が得られる。
【0084】
【数18】
【0085】
【数19】
【0086】
上記の数式（１９）を変形すると、以下の数式（２０）が得られる。
【0087】
【数20】
【0088】
Ｚ＝εＺ_ｃαと置いて上記の数式（２０）の方程式を解くと、以下の数式（２１）が得られる。
【0089】
【数21】
【0090】
Ｚ＝εＺ_ｃαより、以下の数式（２２）が得られる。
【0091】
【数22】
【0092】
ここで、εの値を複数の対応点で算出した場合に値がばらつく可能性が生じるが、同じ画像ペアではεは共通のため、例えば、ＣＰＵ２１は、複数の対応点で算出したεの平均値を－εとし、－εを用いてＲ－εを構成し、以下の数式（２３）でＡαを補正してＢαとする。
【0093】
【数23】
【0094】
ＣＰＵ２１は、以下の数式（２４）を用いて、Ｚ_ｃ０及びＺ_ｃαを算出する。
【0095】
【数24】
【0096】
ここで、Ｚ_ｃ０の値を上記の数式（９）及び（１０）に代入することでＸ_ｃ０及びＹ_ｃ０が算出され、上記の数式（５）にＰ_ｃ０＝（Ｘ_ｃ０，Ｙ_ｃ０，Ｚ_ｃ０）Ｔを代入することでＰ_ｗが算出される。同様にして、Ｚ_ｃαの値を上記の数式（１１）及び（１２）に代入し、さらに上記の数式（６）に代入することでＰ_ｗが算出される。
【0097】
このとき、上記の数式（５）から算出したＰ_ｗと上記の数式（６）から算出したＰ_ｗとは通常一致しないため、第１の実施形態では、ＣＰＵ２１は、２つのＰ_ｗの平均を取ることで最終的な解、すなわち、車両２０に対する障害物の３次元位置を特定する。なお、これに限らず、ＣＰＵ２１は、２つのＰ_ｗのうち、予め定めた一方の値、又は２つのＰ_ｗの重み付き平均を最終的な解として採用してもよい。
【0098】
そして、ＣＰＵ２１は、上記で説明した障害物の３次元位置の特定を、当該障害物中の複数箇所で行い、障害物のＮ箇所の３次元位置を算出したものとする。
【0099】
ここで、運転席ドアのドア形状は既知で、ＣＰＵ２１により、基準座標系での高さＹｈにおける運転席ドアの半径Ｌｈが算出可能であるものとする。ＣＰＵ２１は、算出した全ての障害物の３次元点Ｐ_ｗｎ＝（Ｘ_ｗｎ，Ｙ_ｗｎ，Ｚ_ｗｎ）Ｔ，（ｎ＝０～Ｎ－１）に対し、以下の計算を行う。
【0100】
まず、ＣＰＵ２１は、障害物の高さＹ_ｗｎと等しい高さＹｈにおける運転席ドアの半径Ｌｈを求める。そして、ＣＰＵ２１は、運転席ドアの半径Ｌｈが以下の数式（２５）に示す関係を有すれば、障害物と接触する可能性があるため、以下の数式（２６）に示す角度θｎを算出する。
【0101】
【数25】
【0102】
【数26】
【0103】
一方、ＣＰＵ２１は、運転席ドアの半径Ｌｈが以下の数式（２７）に示す関係を有すれば、角度θｎを算出しない。そして、ＣＰＵ２１は、算出した全ての角度θｎの中で最小のものを最大開き角度に決定する。
【0104】
【数27】
【0105】
上記のように、第１の実施形態では、ＣＰＵ２１が、カメラ４１により撮像された画像と、当該画像が撮像された際のドア開き角度と、を取得する。また、ＣＰＵ２１は、取得したドア開き角度の誤差を補正する。そして、ＣＰＵ２１は、取得したドア開き角度が異なる複数の視点でカメラ４１により撮像された複数の画像に基づいて決定した障害物の対応点と、当該複数の画像のそれぞれに紐付く補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を特定する。上記のように、角度センサ３２が検出したドア開き角度は、角度センサ３２に依存した測定誤差（例：センサ搭載誤差、サンプリング誤差）及び運転席ドアに依存した測定誤差（例：ドアのたわみによる誤差）等により、誤差が生じる可能性がある。そこで、第１の実施形態では、角度センサ３２が検出したドア開き角度には誤差があると仮定して、当該誤差を補正することで、車両２０周辺、具体的には、運転席ドアの周辺に存在する障害物の３次元位置を精度良く特定することができる。
【0106】
ここで、Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ法により障害物の３次元位置を特定する場合、複数の視点で撮像された各画像におけるカメラの位置及び姿勢を算出する必要があり、従来は、この算出が困難であったためにカメラの位置及び姿勢を推定する精度が十分でなかった。そして、従来は、カメラの位置及び姿勢を推定する精度が十分でないことから、多数の画像を必要とするという問題を有していた。なお、Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ法の文献としては、例えば「Ａ Ｃｏｍｐａｒｉｓｏｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ，ＣＶＰＲ２００６」がある。
【0107】
これに対し、第１の実施形態では、カメラ４１の移動について、共通の回転軸であるヒンジ３４を有するという制約があるため、当該ヒンジ３４の座標を示す情報を用いることで、複数の視点で撮像された各画像におけるカメラの位置及び姿勢を高精度に推定することができる。したがって、第１の実施形態によれば、従来のＭｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ法により障害物の３次元位置を特定する場合に比べて、少ない画像で障害物の３次元位置を特定することができる。
【0108】
また、第１の実施形態では、多くの車両に搭載されているドアミラーに設けられたカメラ４１であるドアカメラ及び角度センサ３２を用いて、障害物の３次元位置を特定しているため、当該特定を行うための専用部品を追加する必要がない。
【0109】
また、第１の実施形態では、ＣＰＵ２１が、特定した障害物の３次元位置及びドア情報を用いて、最大開き角度を決定する。これにより、第１の実施形態によれば、車両２０周辺、具体的には、運転席ドアの周辺に障害物が存在する状況で運転席ドアを開放する場合において、障害物に接触しない最大限の範囲まで運転席ドアを開放可能とすることができる。
【0110】
また、第１の実施形態では、ＣＰＵ２１が、決定した最大開き角度まで運転席ドアを開放する制御を行う。これにより、第１の実施形態によれば、運転席ドアの周辺に障害物が存在する状況において、乗員が運転席ドアの開放動作を行わなくても、障害物に接触しない最大限の範囲まで運転席ドアを自動で開放することができる。
【0111】
また、第１の実施形態では、ＣＰＵ２１が、カメラ４１が画像を撮像する際のドア開き角度を決定し、決定したドア開き角度まで運転席ドアを開放する制御を行う。これにより、第１の実施形態によれば、運転席ドアの周辺に障害物が存在する状況において、乗員が運転席ドアの開放動作を行わなくても、障害物に接触しない範囲内で運転席ドアを自動で開放することができる。
【0112】
なお、第１の実施形態では、ＣＰＵ２１が運転席ドアを自動で開放している最中であっても、乗員が手動で運転席ドアを開閉することは可能とされている。
【0113】
（第２の実施形態）
次に、第２の実施形態について他の実施形態との重複部分を省略又は簡略しつつ説明する。
次に、第２の実施形態について他の実施形態との重複部分を省略又は簡略しつつ説明する。
【0114】
図６は、車載器１５の機能構成の例を示す第２のブロック図である。
図６に示すように、車載器１５のＣＰＵ２１は、機能構成として、取得部２１Ａ、補正部２１Ｂ、特定部２１Ｃ、決定部２１Ｄ、制御部２１Ｅ、及び受付部２１Ｆを有する。各機能構成は、ＣＰＵ２１が記憶部２４に記憶された情報処理プログラムを読み出し、実行することにより実現される。
図６に示すように、車載器１５のＣＰＵ２１は、機能構成として、取得部２１Ａ、補正部２１Ｂ、特定部２１Ｃ、決定部２１Ｄ、制御部２１Ｅ、及び受付部２１Ｆを有する。各機能構成は、ＣＰＵ２１が記憶部２４に記憶された情報処理プログラムを読み出し、実行することにより実現される。
【0115】
第２の実施形態における制御部２１Ｅは、決定部２１Ｄが最大開き角度を決定した後、当該最大開き角度の範囲内でカメラ４１により画像が撮像されていない所定の角度まで、運転席ドアを開放する制御を行う。このとき、制御部２１Ｅは、決定部２１Ｄが決定した最大開き角度に応じて、所定の角度を決定する。一例として、制御部２１Ｅは、基本的に所定の角度を１０度刻みに更新するが、決定部２１Ｄが決定した最大開き角度が特定の角度（例：７０度）より大きい場合は、所定の角度を２０度刻みに更新する。
【0116】
第２の実施形態における特定部２１Ｃは、所定の角度の視点と、他のドア開き角度の視点でカメラ４１により撮像された複数の画像に基づいて決定した、障害物の対応点と、複数の画像のそれぞれに紐付く補正部２１Ｂが補正した補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を再度特定する。上記の「他のドア開き角度」は、ドア開き角度「０度」でもよいし、ドア開き角度「０度」以外、すなわち、ドア開き角度「１度」以上でもよい。
【0117】
第２の実施形態における決定部２１Ｄは、特定部２１Ｃが再度特定した障害物の３次元位置とドア情報とを用いて、最大開き角度を再度決定する。
【0118】
受付部２１Ｆは、決定部２１Ｄにより最大開き角度が決定される回数（以下、「決定回数」とする）の入力を受付ける。一例として、受付部２１Ｆは、乗員によるモニタ４３の操作により指定された値を決定回数として受付ける。
【0119】
図７は、開放処理の流れを示す第２のフローチャートである。
図７に示すステップＳ２０において、ＣＰＵ２１は、決定回数の入力を受付ける。そして、ステップＳ２１に進む。一例として、ＣＰＵ２１が入力を受付けた決定回数は、２回であったものとする。
図７に示すステップＳ２０において、ＣＰＵ２１は、決定回数の入力を受付ける。そして、ステップＳ２１に進む。一例として、ＣＰＵ２１が入力を受付けた決定回数は、２回であったものとする。
【0120】
ステップＳ２１において、ＣＰＵ２１は、カメラ４１により撮像された画像と、当該画像が撮像された際のドア開き角度と、を取得する。一例として、ＣＰＵ２１は、１回目のステップＳ２１において、ドア開き角度「０度」においてカメラ４１により撮像された画像と、ドア開き角度「７度」においてカメラ４１により撮像された画像と、を取得する。また、ＣＰＵ２１は、２回目のステップＳ２１において、上記の所定の角度として、ドア開き角度「１７度」においてカメラ４１により撮像された画像を取得する。そして、ステップＳ２２に進む。
【0121】
ステップＳ２２において、ＣＰＵ２１は、ステップＳ２１で取得したドア開き角度が異なる複数の視点でカメラ４１により撮像された複数の画像に基づいて決定した障害物の対応点と、当該複数の画像のそれぞれに紐付く補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を特定する。ここでは、ＣＰＵ２１は、ステップＳ２１で取得したドア開き角度の誤差を補正する。一例として、ＣＰＵ２１は、１回目のステップＳ２２において、ドア開き角度「０度」の視点と、ドア開き角度「７度」の視点とでカメラ４１により撮像された画像に基づいて障害物の対応点を決定する。また、ＣＰＵ２１は、２回目のステップＳ２２において、ドア開き角度「１７度」の視点と、ドア開き角度「０度」の視点とでカメラ４１により撮像された画像に基づいて障害物の対応点を決定する。そして、ステップＳ２３に進む。
【0122】
ステップＳ２３において、ＣＰＵ２１は、ステップＳ２２で特定した障害物の３次元位置と、運転席ドアのドア情報とを用いて、最大開き角度を決定する。そして、ステップＳ２４に進む。
【0123】
ステップＳ２４において、ＣＰＵ２１は、ステップＳ２３で最大開き角度を決定した回数が、ステップＳ２０で入力を受付けた決定回数に到達したか否かを判定し、決定回数に到達したと判定した場合（ステップＳ２４：ＹＥＳ）はステップＳ２５に進む。一方、ＣＰＵ２１により決定回数に到達したと判定されない場合（ステップＳ２４：ＮＯ）はステップＳ２１に戻る。
【0124】
ステップＳ２５において、ＣＰＵ２１は、直前のステップＳ２３で決定した最大開き角度まで運転席ドアを開放する。そして、開放処理を終了する。
【0125】
上記のように、第２の実施形態では、ＣＰＵ２１は、最大開き角度を一度決定した後、当該最大開き角度の範囲内でカメラ４１により画像が撮像されていない所定の角度まで、運転席ドアを開放する制御を行う。また、ＣＰＵ２１は、所定の角度の視点と、他のドア開き角度の視点でカメラ４１により撮像された複数の画像に基づいて決定した、障害物の対応点と、複数の画像のそれぞれに紐付く補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を再度特定する。そして、ＣＰＵ２１は、再度特定した障害物の３次元位置とドア情報とを用いて、最大開き角度を再度決定する。これにより、第２の実施形態によれば、最大開き角度を再度決定することで、最大開き角度を一度のみ決定する構成に比べて、決定された最大開き角度の精度を高めることができる。
【0126】
また、第２の実施形態では、ＣＰＵ２１は、決定した最大開き角度に応じて、所定の角度を決定する。ここで、障害物までの距離が遠い場合（所定距離以上ある場合）には、ドア開き角度が小さい画像よりも、大きい画像を用いた方が障害物の３次元位置を高精度に特定できる。そのため、第２の実施形態によれば、一例として、決定した最大開き角度が特定の角度より大きい場合に所定の角度を通常より大きく決定することで、障害物の３次元位置を高精度に特定することができる。
【0127】
また、第２の実施形態では、ＣＰＵ２１は、決定回数の入力を受付ける。これにより、第２の実施形態によれば、例えば、乗員に時間的な余裕がある場合には、最大開き角度の決定を多い回数繰り返すことで、障害物間際まで開放可能な最大開き角度を決定することができる。また、第２の実施形態によれば、乗員に時間的な余裕がない場合には、最大開き角度の決定を少ない繰り返し回数で終了させることで、早期に運転席ドアを開放することができる。
【0128】
（第３の実施形態）
次に、第３の実施形態について他の実施形態との重複部分を省略又は簡略しつつ説明する。
次に、第３の実施形態について他の実施形態との重複部分を省略又は簡略しつつ説明する。
【0129】
図８は、車両２０のハードウェア構成を示す第２のブロック図である。
図８に示すように、第３の実施形態における車両２０は、車載器１５と、ドアＥＣＵ３０と、アクチュエータ３１と、角度センサ３２と、マイク４０と、カメラ４１と、入力スイッチ４２と、モニタ４３と、スピーカ４４と、ＧＰＳ装置４５と、ソナーセンサ４６と、を含んで構成されている。
図８に示すように、第３の実施形態における車両２０は、車載器１５と、ドアＥＣＵ３０と、アクチュエータ３１と、角度センサ３２と、マイク４０と、カメラ４１と、入力スイッチ４２と、モニタ４３と、スピーカ４４と、ＧＰＳ装置４５と、ソナーセンサ４６と、を含んで構成されている。
【0130】
ソナーセンサ４６は、少なくとも運転席ドアに設けられ、超音波を利用して車両側方に近接する障害物との距離を検出する装置である。ソナーセンサ４６は「測距センサ」の一例である。
【0131】
第３の実施形態における車載器１５の機能構成の例は、図６に示す第２の実施形態における車載器１５の機能構成の例と同様である。
【0132】
第３の実施形態における補正部２１Ｂは、カメラ４１の内部パラメータを用いて、カメラ４１により撮像された画像の補正を行う。一例として、補正部２１Ｂは、当該画像の補正として歪み補正を行う。このとき、補正部２１Ｂは、カメラ４１の内部パラメータとして、カメラモデル毎の光学的な歪みを補正するためのパラメータ及び焦点距離等を用いる。この内部パラメータは、記憶部２４に予め記憶されている。
【0133】
一例として、補正部２１Ｂによる歪み補正は、以下の手法を用いて行われる。Ｓｃａｒａｍｕｚｚａ，Ｄ．，Ａ．Ｍａｒｔｉｎｅｌｌｉ，ａｎｄ Ｒ．Ｓｉｅｇｗａｒｔ．’’Ａ Ｔｏｏｌｂｏｘ ｆｏｒ Ｅａｓｙ Ｃａｌｉｂｒａｔｉｎｇ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｃａｍｅｒａｓ．’’ Ｐｒｏｃｅｅｄｉｎｇｓ ｔｏ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，（ＩＲＯＳ)．Ｏｃｔｏｂｅｒ ７－１５，２００６．
【0134】
第３の実施形態における制御部２１Ｅは、運転席ドアに設けられたソナーセンサ４６の検出結果に基づいて、運転席ドアの開放を禁止する制御を行う。具体的には、制御部２１Ｅは、ソナーセンサ４６が運転席ドアに近接又は接近する障害物を検出した場合、運転席ドアの開放を禁止する制御を行う。
【0135】
【0136】
ステップＳ３１において、ＣＰＵ２１は、カメラ４１により撮像された画像と、当該画像が撮像された際のドア開き角度と、を取得する。そして、ステップＳ３２に進む。
【0137】
ステップＳ３２において、ＣＰＵ２１は、カメラ４１の内部パラメータを用いて、ステップＳ３１で取得した画像の補正を行う。そして、ステップＳ３３に進む。
【0138】
ステップＳ３３において、ＣＰＵ２１は、ステップＳ３２で補正した複数の画像に基づいて決定した障害物の対応点と、当該複数の画像のそれぞれに紐付く補正後のドア開き角度とを用いて、車両２０に対する障害物の３次元位置を特定する。ここでは、ＣＰＵ２１は、ステップＳ３１で取得したドア開き角度の誤差を補正する。そして、ステップＳ３４に進む。
【0139】
ステップＳ３４において、ＣＰＵ２１は、ステップＳ３３で特定した障害物の３次元位置と、運転席ドアのドア情報とを用いて、最大開き角度を決定する。そして、ステップＳ３５に進む。
【0140】
ステップＳ３５において、ＣＰＵ２１は、ステップＳ３４で最大開き角度を決定した回数が、ステップＳ３０で入力を受付けた決定回数に到達したか否かを判定し、決定回数に到達したと判定した場合（ステップＳ３５：ＹＥＳ）はステップＳ３６に進む。一方、ＣＰＵ２１により決定回数に到達したと判定されない場合（ステップＳ３５：ＮＯ）はステップＳ３１に戻る。
【0141】
ステップＳ３６において、ＣＰＵ２１は、直前のステップＳ３４で決定した最大開き角度まで運転席ドアを開放する。そして、開放処理を終了する。
【0142】
上記のように、第３の実施形態では、ＣＰＵ２１は、運転席ドアに設けられたソナーセンサ４６の検出結果に基づいて、運転席ドアの開放を禁止する制御を行う。これにより、第３の実施形態によれば、一例として、ソナーセンサ４６が運転席ドアに近接又は接近する障害物を検出した場合に運転席ドアの開放を禁止することができる。
【0143】
また、第３の実施形態では、ＣＰＵ２１は、カメラ４１の内部パラメータを用いて、カメラ４１により撮像された画像の補正を行う。これにより、第３の実施形態によれば、補正後の画像を用いて障害物の３次元位置が特定されるため、画像補正を行わない構成に比べて、障害物の３次元位置を高精度に特定することができる。
【0144】
（その他）
上記実施形態では、車両２０の運転席ドアを「ヒンジドア」の一例としたが、これに代えて又は加えて、助手席ドア及び後部ドアの少なくとも一方を「ヒンジドア」の一例としてもよい。そして、助手席ドア及び後部ドアの少なくとも一方を「ヒンジドア」の一例とした場合には、これらのドアを自動で開閉駆動させるアクチュエータ、これらのドアのドア開き角度を検出するための角度センサ、これらのドアに設けられ、及び車両側方を撮像するカメラが車両２０に搭載される。また、助手席ドア及び後部ドアの少なくとも一方を「ヒンジドア」の一例とした場合には、これらのドアにソナーセンサを設けてもよい。
上記実施形態では、車両２０の運転席ドアを「ヒンジドア」の一例としたが、これに代えて又は加えて、助手席ドア及び後部ドアの少なくとも一方を「ヒンジドア」の一例としてもよい。そして、助手席ドア及び後部ドアの少なくとも一方を「ヒンジドア」の一例とした場合には、これらのドアを自動で開閉駆動させるアクチュエータ、これらのドアのドア開き角度を検出するための角度センサ、これらのドアに設けられ、及び車両側方を撮像するカメラが車両２０に搭載される。また、助手席ドア及び後部ドアの少なくとも一方を「ヒンジドア」の一例とした場合には、これらのドアにソナーセンサを設けてもよい。
【0145】
上記実施形態では、乗員が車両２０の内部にいる状況で開放処理が開始される例について説明したが、これに限らず、乗員が車両２０の外部にいる状況で開放処理が開始されてもよい。一例として、乗員が車両２０の外部にいる状況で車両２０に対応する電子キーが検出された場合に開放処理が開始されてもよい。
【0146】
上記実施形態では、車両２０の運転席ドアのドアミラー３３にカメラ４１が設けられていたが、これに限らず、運転席ドア自体にカメラ４１が設けられていてもよい。
【0147】
上記実施形態において、運転席ドアの周辺に存在する障害物は、カメラ４１により撮像された画像内に写っている対象物であればよく、運転席ドアを開放した際に当該運転席ドアに接触する位置に存在するものでもよいし、当該運転席ドアに接触しない位置に存在するものでもよい。
【0148】
上記実施形態では、車載器１５を「情報処理装置」の一例としたが、これに限らず、車両２０に接続可能なサーバ等の外部装置を「情報処理装置」の一例としてもよい。この場合は、一例として、上記実施形態で説明した取得部２１Ａ、補正部２１Ｂ、特定部２１Ｃ、及び決定部２１Ｄの機能を外部装置が備え、制御部２１Ｅ及び受付部２１Ｆの機能を車両２０が備えるように構成することができる。
【0149】
なお、上記の実施形態でＣＰＵ２１がソフトウェア（プログラム）を読み込んで実行した開放処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、開放処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0150】
また、上記の実施形態では、情報処理プログラムが記憶部２４に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0151】
本開示は、以下の態様を採用してもよい。
(１)
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得する取得部と、
前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、
前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、
を備える情報処理装置。
(１)
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得する取得部と、
前記取得部が取得した前記ドア開き角度の誤差を補正する補正部と、
前記取得部が取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する特定部と、
を備える情報処理装置。
【0152】
(２)
前記特定部が特定した前記障害物の３次元位置と、前記ヒンジドアの形状及び寸法に関するドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を決定する決定部を備える、
(１)に記載の情報処理装置。
前記特定部が特定した前記障害物の３次元位置と、前記ヒンジドアの形状及び寸法に関するドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を決定する決定部を備える、
(１)に記載の情報処理装置。
【0153】
(３)
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う制御部を備える、
(２)に記載の情報処理装置。
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う制御部を備える、
(２)に記載の情報処理装置。
【0154】
(４)
前記制御部は、
前記撮像部が前記画像を撮像する際の前記ドア開き角度を決定し、
決定した前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う、
(３)に記載の情報処理装置。
前記制御部は、
前記撮像部が前記画像を撮像する際の前記ドア開き角度を決定し、
決定した前記ドア開き角度まで、前記ヒンジドアを開放する制御を行う、
(３)に記載の情報処理装置。
【0155】
(５)
前記制御部は、
前記決定部が前記障害物に接触しない最大の前記ドア開き角度を決定した後、前記障害物に接触しない最大の前記ドア開き角度の範囲内で前記撮像部により前記画像が撮像されていない所定の角度まで、前記ヒンジドアを開放する制御を行い、
前記特定部は、
前記所定の角度の視点と、他の前記ドア開き角度の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を再度特定し、
前記決定部は、
前記特定部が再度特定した前記障害物の３次元位置と、前記ドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を再度決定する、
（３）又は（４）に記載の情報処理装置。
前記制御部は、
前記決定部が前記障害物に接触しない最大の前記ドア開き角度を決定した後、前記障害物に接触しない最大の前記ドア開き角度の範囲内で前記撮像部により前記画像が撮像されていない所定の角度まで、前記ヒンジドアを開放する制御を行い、
前記特定部は、
前記所定の角度の視点と、他の前記ドア開き角度の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記障害物の対応点と、複数の前記画像のそれぞれに紐付く前記補正部が補正した補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を再度特定し、
前記決定部は、
前記特定部が再度特定した前記障害物の３次元位置と、前記ドア情報とを用いて、前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度を再度決定する、
（３）又は（４）に記載の情報処理装置。
【0156】
(６)
前記制御部は、
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度に応じて、前記所定の角度を決定する、
(５)に記載の情報処理装置。
前記制御部は、
前記決定部が決定した前記障害物に接触しない最大の前記ドア開き角度に応じて、前記所定の角度を決定する、
(５)に記載の情報処理装置。
【0157】
(７)
前記決定部により前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度が決定される回数の入力を受付ける受付部を備える、
（５）又は（６）に記載の情報処理装置。
前記決定部により前記ヒンジドアが前記障害物に接触しない最大の前記ドア開き角度が決定される回数の入力を受付ける受付部を備える、
（５）又は（６）に記載の情報処理装置。
【0158】
(８)
前記制御部は、
前記ヒンジドアに設けられた測距センサの検出結果に基づいて、前記ヒンジドアの開放を禁止する制御を行う、
（３）から（７）の何れか１つに記載の情報処理装置。
前記制御部は、
前記ヒンジドアに設けられた測距センサの検出結果に基づいて、前記ヒンジドアの開放を禁止する制御を行う、
（３）から（７）の何れか１つに記載の情報処理装置。
【0159】
(９)
前記補正部は、
前記撮像部の内部パラメータを用いて、前記撮像部により撮像された前記画像の補正を行う、
（１）から（８）の何れか１つに記載の情報処理装置。
前記補正部は、
前記撮像部の内部パラメータを用いて、前記撮像部により撮像された前記画像の補正を行う、
（１）から（８）の何れか１つに記載の情報処理装置。
【0160】
(１０)
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理をコンピュータが実行する情報処理方法。
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理をコンピュータが実行する情報処理方法。
【0161】
(１１)
コンピュータに、
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理を実行させるための情報処理プログラム。
コンピュータに、
車両のヒンジドアに設けられた撮像部により撮像された画像と、前記画像が撮像された際の前記ヒンジドアが閉状態から開いた角度を示すドア開き角度と、を取得し、
取得した前記ドア開き角度の誤差を補正し、
取得した前記ドア開き角度が異なる複数の視点で前記撮像部により撮像された複数の前記画像に基づいて決定した、前記ヒンジドアの周辺に存在する障害物の対応点と、複数の前記画像のそれぞれに紐付く補正後の前記ドア開き角度とを用いて、前記車両に対する前記障害物の３次元位置を特定する、
処理を実行させるための情報処理プログラム。
【符号の説明】
【0162】
１５ 車載器（情報処理装置の一例）
２０ 車両
２１Ａ 取得部
２１Ｂ 補正部
２１Ｃ 特定部
４１ カメラ（撮像部の一例）
２０ 車両
２１Ａ 取得部
２１Ｂ 補正部
２１Ｃ 特定部
４１ カメラ（撮像部の一例）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
