(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023117634
(43)【公開日】2023-08-24
(54)【発明の名称】撮影装置、ミラー装置、情報処理方法、および、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230817BHJP
H04N 23/63 20230101ALI20230817BHJP
H04N 5/222 20060101ALI20230817BHJP
B60R 11/04 20060101ALI20230817BHJP
B60R 1/04 20060101ALI20230817BHJP
【FI】
H04N5/232 290
H04N5/232 930
H04N5/232 220
H04N5/222 100
B60R11/04
B60R1/04 G
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022020307
(22)【出願日】2022-02-14
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】砂川 未佳
(72)【発明者】
【氏名】式井 愼一
(72)【発明者】
【氏名】吉岡 元貴
【テーマコード(参考)】
3D020
5C122
【Fターム(参考)】
3D020BA20
3D020BB01
3D020BC02
3D020BD09
5C122DA14
5C122EA12
5C122FH11
5C122FK08
5C122FK35
5C122GD01
5C122HA13
5C122HA35
5C122HB01
5C122HB05
(57)【要約】
【課題】ユーザの身体を適切に撮影する。
【解決手段】車両の車室内に設置される撮影装置10は、撮影により画像を生成する撮影部11と、撮影部11を、車両が備えるミラー部に対して固定的に支持する支持部12であって、車室内においてユーザが位置すべき位置として定められている所定位置が撮影部11の撮影画角内に含まれるような、位置および姿勢になるように、撮影部11を支持する支持部12と、撮影部11が生成した画像に対する画像処理を用いて、画像に映っているユーザについての判定を行う判定部13と、判定部13による判定の結果を提示する提示部14とを備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
車両の車室内に設置される撮影装置であって、
撮影により画像を生成する撮影部と、
前記撮影部を、前記車両が備えるミラー部に対して固定的に支持する支持部であって、前記車室内においてユーザが位置すべき位置として定められている所定位置が前記撮影部の撮影画角内に含まれるような、位置および姿勢になるように、前記撮影部を支持する支持部と、
前記撮影部が生成した前記画像に対する画像処理を用いて、前記画像に映っている前記ユーザについての判定を行う判定部と、
前記判定部による前記判定の結果を提示する提示部とを備える
撮影装置。
【請求項2】
前記判定部は、
前記判定として、前記撮影部が生成した前記画像における適正位置に前記ユーザが映っているか否かを判定し、
前記画像における前記適正位置に前記ユーザが映っていないと判定した場合に、前記撮影部が生成する画像における適正位置に前記ユーザが映るようにするために前記ミラー部の姿勢の変更を案内する案内情報を生成し、
前記提示部は、
前記判定部が生成した前記案内情報を前記判定の結果として提示する
請求項1に記載の撮影装置。
【請求項3】
前記支持部は、
前記撮影部を、前記ミラー部の下部に位置するように支持する
請求項1または2に記載の撮影装置。
【請求項4】
前記支持部は、
前記撮影部を、左右方向における前記ミラー部の中央よりも前記所定位置に近い側に位置にするように支持し、
前記左右方向は、前記ミラー部のミラー面を含む面内において鉛直方向と直交する方向である
請求項1~3のいずれか1項に記載の撮影装置。
【請求項5】
前記ミラー部は、表示部を備える電子ミラーを有し、
前記提示部は、前記表示部に前記判定の結果を表示する制御を行うことで、前記判定の結果を提示する
請求項1~4のいずれか1項に記載の撮影装置。
【請求項6】
前記ミラー部は、表示部を備える電子ミラーを有し、
前記提示部は、前記撮影部が生成した画像を前記案内情報として含めた前記判定の結果を前記表示部に表示する制御を行うことで、前記判定の結果を提示する
請求項2に記載の撮影装置。
【請求項7】
前記ミラー部は、物理ミラーを有し、
前記支持部は、
前記撮影部を、上面視において、前記物理ミラーの法線に対して、前記撮影部の光軸が前記所定位置に近い側に傾いている姿勢で、支持する
請求項1~4のいずれか1項に記載の撮影装置。
【請求項8】
前記判定部は、
前記撮影部が生成した前記画像に映っている前記ユーザが運転位置にいるか否かを判定し、
前記ユーザが前記運転位置にいると判定した前記画像を用いて前記判定をする
請求項1~7のいずれか1項に記載の撮影装置。
【請求項9】
前記判定部は、
前記判定において、前記車両が備えるハンドルの近傍に位置している、前記ユーザの手と、前記ユーザの胸部とが前記撮影部が生成した前記画像に映っていると判定した場合に、前記画像に映っている前記ユーザが運転位置にいると判定する
請求項8に記載の撮影装置。
【請求項10】
前記判定部は、
前記撮影部が生成した前記画像に映っている前記ユーザが前記ミラー部の姿勢を変更する動作をしているか否かを判定し、
前記ユーザが前記動作をしていると判定した前記画像が撮影されたときより所定時間以上まえに撮影された画像、または、所定時間以上あとに撮影された画像を用いて前記判定をする
請求項1~9のいずれか1項に記載の撮影装置。
【請求項11】
請求項1~10のいずれか1項に記載の撮影装置と、
前記ミラー部とを備える
ミラー装置。
【請求項12】
前記ミラー装置は、さらに、
前記ミラー部の位置または姿勢を変化可能に、前記ミラー部を支持する支持部と、
前記ユーザによる遠隔操作を受け付け、前記遠隔操作に基づいて前記ミラー部の位置または姿勢を変化させる制御を前記支持部に対して行う制御部とを備える
請求項11に記載のミラー装置。
【請求項13】
前記制御部は、前記車両が備えるセンターパネルに対して前記ユーザが行った操作を、前記遠隔操作として受け付ける
請求項12に記載のミラー装置。
【請求項14】
前記制御部は、前記ミラー装置にネットワークを介して接続されている通信端末に対して前記ユーザが行った操作を、前記遠隔操作として受け付ける
請求項12または13に記載のミラー装置。
【請求項15】
車両の車室内に設置される撮影装置が実行する情報処理方法であって、
前記撮影装置は、
撮影により画像を生成する撮影部と、
前記撮影部を、前記車両が備えるミラー部に対して固定的に支持する支持部であって、前記車室内においてユーザが位置すべき位置として定められている所定位置が前記撮影部の撮影画角内に含まれるような、位置および姿勢になるように前記撮影部を支持する支持部とを備え、
前記情報処理方法では、
前記撮影部による撮影により前記画像を生成し、
前記撮影部が生成した前記画像に対する画像処理を用いて、前記画像に映っている前記ユーザについての判定を行い、
前記判定の結果を提示する
情報処理方法。
【請求項16】
請求項15に記載の情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影装置、ミラー装置、情報処理方法、および、プログラムに関する。
【背景技術】
【0002】
車両における運転者の所作を撮影し、運転モードの切り替えなどを行う自動運転車に関する技術がある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術で撮影される画像では、運転者などの乗員(ユーザともいう)の身体が適切に映っていないことがある。
【0005】
そこで、本発明は、ユーザの身体を適切に撮影する撮影装置などを提供する。
【課題を解決するための手段】
【0006】
本発明の一態様に係る状態判定装置は、車両の車室内に設置される撮影装置であって、撮影により画像を生成する撮影部と、前記撮影部を、前記車両が備えるミラー部に対して固定的に支持する支持部であって、前記車室内においてユーザが位置すべき位置として定められている所定位置が前記撮影部の撮影画角内に含まれるような、位置および姿勢になるように、前記撮影部を支持する支持部と、前記撮影部が生成した前記画像に対する画像処理を用いて、前記画像に映っている前記ユーザについての判定を行う判定部と、前記判定部による前記判定の結果を提示する提示部とを備える撮影装置である。
【0007】
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0008】
本発明の撮影装置は、ユーザの身体を適切に撮影することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施の形態における車両、ミラー部および撮影装置の構成を模式的に示す説明図である。
【
図2】
図2は、実施の形態における撮影装置とミラー部との外観の第一例を模式的に示す説明図である。
【
図3】
図3は、実施の形態における撮影装置とミラー部との機能構成の第一例を模式的に示す説明図である。
【
図4】
図4は、実施の形態における撮影装置が撮影した画像の第一例を示す説明図である。
【
図5】
図5は、実施の形態における撮影装置が撮影した画像の第二例を示す説明図である。
【
図6】
図6は、実施の形態における撮影装置が撮影した画像の第三例を示す説明図である。
【
図7】
図7は、実施の形態における撮影装置による判定の結果の提示の第一例を示す説明図である。
【
図8】
図8は、実施の形態における撮影装置による判定の結果の提示の第二例を示す説明図である。
【
図9】
図9は、実施の形態における撮影装置による判定の結果の提示の第三例を示す説明図である。
【
図10】
図10は、実施の形態における撮影装置が実行する処理を示すフロー図である。
【
図11】
図11は、実施の形態における撮影装置とミラー部との外観の第二例を模式的に示す説明図である。
【
図12】
図12は、実施の形態における撮影装置とミラー部との機能構成の第二例を模式的に示す説明図である。
【
図13】
図13は、実施の形態における撮影装置とミラー部との位置および姿勢を模式的に示す説明図である。
【
図14】
図14は、実施の形態における撮影装置による判定の結果の提示の第四例を示す説明図である。
【発明を実施するための形態】
【0010】
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、自動運転車に関する技術について、以下の問題が生じることを見出した。
【0011】
特許文献1に示される技術では、運転者を撮影する撮影装置が車両の車室の天井付近に設置されている。このように設置された撮影装置で運転者を撮影する場合、運転者の斜め上方から運転者が撮影されるので、運転者の身体が適切に画像に映っていないことがある。
【0012】
一方、運転者の身体の撮影は、運転者の状態の推定などに有用である。
【0013】
例えば、画像に映っている運転者の顔を対象とする画像認識処理により、運転者の表情または視線、およびそれらの変化が検出され得る。また、画像に映っている運転者の身体を対象とする画像認識処理により、運転者の身体の位置および動きが検出され得る。これらに基づいて、運転者の状態(感情または眠気など)の推定がなされ得る。また、検出された運転者の身体の位置および動きに基づいて、車両またはインフォテインメント装置に対するジェスチャ操作がなされ得る。
【0014】
そこで、運転者の身体を適切に撮影すべく、車両が備えるルームミラーが撮影装置を備えることが想定される。特に、ルームミラーの下部に撮影装置が設置されると、天井近傍に設置される場合よりも、運転者の身体に近い位置、かつ、運転者の身体の正面の位置に設置されることになり、運転者の身体をより適切に撮影することに寄与する。
【0015】
ところが、ルームミラーは、一般に、運転者から視認されやすい姿勢になるように、運転者によって姿勢が変更可能であるように設けられている。
【0016】
そのため、ルームミラーが撮影装置を備える場合、ルームミラーの姿勢が変更されると、それに伴って撮影装置の姿勢も変更されてしまい、撮影装置の撮影画角から運転者が外れ、撮影された画像にユーザの身体が適切に映っていないことが起こり得る。
【0017】
そこで、本発明は、乗員の身体を適切に撮影する撮影装置などを提供する。
【0018】
本発明の一態様に係る撮影装置は、車両の車室内に設置される撮影装置であって、撮影により画像を生成する撮影部と、前記撮影部を、前記車両が備えるミラー部に対して固定的に支持する支持部であって、前記車室内においてユーザが位置すべき位置として定められている所定位置が前記撮影部の撮影画角内に含まれるような、位置および姿勢になるように、前記撮影部を支持する支持部と、前記撮影部が生成した前記画像に対する画像処理を用いて、前記画像に映っている前記ユーザについての判定を行う判定部と、前記判定部による前記判定の結果を提示する提示部とを備える撮影装置である。
【0019】
上記態様によれば、撮影装置は、撮影画角内にユーザの所定位置を含む画像に映っているユーザについての判定結果を提示する。ユーザは、提示された判定結果を見て撮影部が撮影する画像にユーザが映るようにすることができる可能性がある。よって、撮影装置は、ユーザの身体を適切に撮影することができる。
【0020】
例えば、前記判定部は、前記判定として、前記撮影部が生成した前記画像における適正位置に前記ユーザが映っているか否かを判定し、前記画像における前記適正位置に前記ユーザが映っていないと判定した場合に、前記撮影部が生成する画像における適正位置に前記ユーザが映るようにするために前記ミラー部の姿勢の変更を案内する案内情報を生成し、前記提示部は、前記判定部が生成した前記案内情報を前記判定の結果として提示してもよい。
【0021】
上記態様によれば、撮影装置は、画像における適正位置にユーザが映るようにするための案内情報を判定の結果として提示するので、提示を受けたユーザは、案内情報に従ってミラー部の姿勢を変更することができる。このようにミラー部の姿勢が変更された後、撮影部が撮影する画像における適正位置にユーザが映るようになる可能性がある。このようにして、撮影装置は、ユーザの身体を適切に撮影することができる。
【0022】
例えば、前記支持部は、前記撮影部を、前記ミラー部の下部に位置するように支持してもよい。
【0023】
上記態様によれば、撮影装置は、ミラー部の下部に位置する撮影部による撮影によって、ユーザの身体に、より近く、かつ、ユーザの身体の正面に、より近い位置からユーザを撮影することができる。よって、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0024】
例えば、前記支持部は、前記撮影部を、左右方向における前記ミラー部の中央よりも前記所定位置に近い側に位置にするように支持し、前記左右方向は、前記ミラー部のミラー面を含む面内において鉛直方向と直交する方向であってもよい。
【0025】
上記態様によれば、撮影装置は、ミラー部の中央より所定位置に近い側に位置する撮影部による撮影によって、ユーザの身体に、より近い位置であり、かつ、ユーザの身体の正面に、より近い位置からユーザを撮影することができる。よって、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0026】
例えば、前記ミラー部は、表示部を備える電子ミラーを有し、前記提示部は、前記表示部に前記判定の結果を表示する制御を行うことで、前記判定の結果を提示してもよい。
【0027】
上記態様によれば、撮影装置は、電子ミラーの表示部に判定結果(例えば案内情報)を提示するので、ユーザは、判定結果を容易に理解できる。そして、提示を受けたユーザは、案内情報に従ってミラー部の姿勢をより適切に変更することができ、撮影装置による適切な撮影に寄与する。このようにして、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0028】
例えば、前記ミラー部は、表示部を備える電子ミラーを有し、前記提示部は、前記撮影部が生成した画像を前記案内情報として含めた前記判定の結果を前記表示部に表示する制御を行うことで、前記判定の結果を提示してもよい。
【0029】
上記態様によれば、撮影装置は、電子ミラーの表示部に判定結果(例えば案内情報)として、撮影部が生成した画像を提示するので、ユーザは、撮影部により撮影されている画像を実際に視認することができる。そして、その画像が適切でないとユーザが判断した場合には、ユーザ自身の判断に基づいてミラー部の姿勢をより適切に変更することができ、撮影装置による適切な撮影に寄与する。このようにして、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0030】
例えば、前記ミラー部は、物理ミラーを有し、前記支持部は、前記撮影部を、上面視において、前記物理ミラーの法線に対して、前記撮影部の光軸が前記所定位置に近い側に傾いている姿勢で、支持してもよい。
【0031】
上記態様によれば、撮影装置は、ユーザの所定位置から車両後方の視界を得られるような物理ミラーの姿勢を維持しながら、撮影部によりユーザを撮影することができる。このようにして、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0032】
例えば、前記判定部は、前記撮影部が生成した前記画像に映っている前記ユーザが運転位置にいるか否かを判定し、前記ユーザが前記運転位置にいると判定した前記画像を用いて前記判定をしてもよい。
【0033】
上記態様によれば、撮影装置は、運転位置にユーザが映っていない画像を用いることを抑制し、言い換えれば、運転位置にいるユーザが映っている画像を用いて、判定を行うので、運転位置にユーザが映っていない画像を用いて誤った判定をすることが抑制される。よって、撮影装置は、ユーザの身体をより適切に撮影し、撮影した画像を用いてより適切な判定をすることができる。
【0034】
例えば、前記判定部は、前記判定において、前記車両が備えるハンドルの近傍に位置している、前記ユーザの手と、前記ユーザの胸部とが前記撮影部が生成した前記画像に映っていると判定した場合に、前記画像に映っている前記ユーザが運転位置にいると判定してもよい。
【0035】
上記態様によれば、撮影装置は、ユーザの手と胸部とが画像に映っていることに基づいて、より容易に、運転位置にユーザが映っている画像を判定することができる。よって、撮影装置は、ユーザの身体をより適切に撮影し、撮影した画像を用いてより適切な判定をすることができる。
【0036】
例えば、前記判定部は、前記撮影部が生成した前記画像に映っている前記ユーザが前記ミラー部の姿勢を変更する動作をしているか否かを判定し、前記ユーザが前記動作をしていると判定した前記画像が撮影されたときより所定時間以上まえに撮影された画像、または、所定時間以上あとに撮影された画像を用いて前記判定をしてもよい。
【0037】
上記態様によれば、撮影装置は、ミラー部の姿勢を変更する動作をしているユーザが映っている画像を用いることを抑制し、言い換えれば、ミラー部の姿勢を変更する動作をしていないユーザが映っている画像を用いて、判定を行うので、ミラー部の姿勢を変更する動作をしているユーザが映っている画像を用いて誤った判定をすることが抑制される。よって、撮影装置は、ユーザの身体をより適切に撮影し、撮影した画像を用いてより適切な判定をすることができる。
【0038】
本発明の一態様に係るミラー装置は、上記の撮影装置と、前記ミラー部とを備えるミラー装置である。
【0039】
上記態様によれば、ミラー装置は、上記撮影装置と同様に、ユーザの身体を適切に撮影することができる。
【0040】
例えば、前記ミラー装置は、さらに、前記ミラー部の位置または姿勢を変化可能に、前記ミラー部を支持する支持部と、前記ユーザによる遠隔操作を受け付け、前記遠隔操作に基づいて前記ミラー部の位置または姿勢を変化させる制御を前記支持部に対して行う制御部とを備えてもよい。
【0041】
上記態様によれば、ミラー装置は、ユーザによる遠隔制御に基づいて位置または姿勢を変化させることができる。よって、ミラー装置は、位置または姿勢を遠隔制御に基づいて変化させながら、ユーザの身体を適切に撮影することができる。
【0042】
例えば、前記制御部は、前記車両が備えるセンターパネルに対して前記ユーザが行った操作を、前記遠隔操作として受け付けてもよい。
【0043】
上記態様によれば、ミラー装置は、センターパネルに対してユーザが行った操作に基づいて位置または姿勢を変化させることができる。センターパネルに対するユーザの操作は、より容易になされ得る。よって、ミラー装置は、位置または姿勢を遠隔制御に基づいて容易に変化させながら、ユーザの身体を適切に撮影することができる。
【0044】
例えば、前記制御部は、前記ミラー装置にネットワークを介して接続されている通信端末に対して前記ユーザが行った操作を、前記遠隔操作として受け付けてもよい。
【0045】
上記態様によれば、ミラー装置は、通信端末に対してユーザが行った操作に基づいて位置または姿勢を変化させることができる。通信端末に対するユーザの操作は、より容易になされ得る。よって、ミラー装置は、位置または姿勢を遠隔制御に基づいて容易に変化させながら、ユーザの身体を適切に撮影することができる。
【0046】
また、本発明の一態様に係る情報処理方法は、車両の車室内に設置される撮影装置が実行する情報処理方法であって、前記撮影装置は、撮影により画像を生成する撮影部と、前記撮影部を、前記車両が備えるミラー部に対して固定的に支持する支持部であって、前記車室内においてユーザが位置すべき位置として定められている所定位置が前記撮影部の撮影画角内に含まれるような、位置および姿勢になるように前記撮影部を支持する支持部とを備え、前記情報処理方法では、前記撮影部による撮影により前記画像を生成し、前記撮影部が生成した前記画像に対する画像処理を用いて、前記画像に映っている前記ユーザについての判定を行い、前記判定の結果を提示する情報処理方法である。
【0047】
上記態様によれば、上記撮影装置と同様の効果を奏する。
【0048】
また、本発明の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるプログラムである。
【0049】
上記態様によれば、上記撮影装置と同様の効果を奏する。
【0050】
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0051】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0052】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0053】
(実施の形態)
本実施の形態において、ユーザの身体を適切に撮影する撮影装置および情報処理方法などについて説明する。
【0054】
図1は、本実施の形態における車両V、ミラー部20および撮影装置10の構成を模式的に示す説明図である。
【0055】
車両Vは、例えば自動車であり、人が乗車することができる。車両Vに乗車している人をユーザUという。ユーザUは、例えば車両Vの運転席に着座する運転者であり、この場合を例として説明するが、これに限られず、助手席または後部座席に乗車している乗員でもよい。
【0056】
車両Vは、ユーザUによって運転されて路面を走行する。車両Vは、乗員が乗車するための空間である車室Sを有する。車室Sには、ミラー部20、および、乗員が着座するためのシートなどが配置されている。
【0057】
ミラー部20は、車両Vが備えるルームミラーであり、ユーザUに車両Vの後方の視界を提供する。ミラー部20は、電子ミラーを有する場合と、物理ミラー(つまり、物理的なミラーであり、従来のミラー)を有する場合とがある。電子ミラーは、車両Vの後方を撮影する撮影装置(不図示)により撮影された画像を表示画面に表示することで、車両Vの後方の視界をユーザUに提供する。物理ミラーは、ミラーによって車両Vの後方から到来する光をユーザUに向けて反射することで、車両Vの後方の視界をユーザUに提供する。
【0058】
撮影装置10は、ユーザUを撮影することで、ユーザUが映っている画像を生成する。生成した画像は、車両V内または車両V外に配置されている情報処理装置(不図示)に通信によって送信され、ユーザUへ提供されるサービスに利用される。例えば、ユーザUが映っている画像に対する画像認識処理によって、画像に映っているユーザUの身体の位置または姿勢を認識し、ユーザUの状態の推定またはジェスチャ操作などに寄与する。
【0059】
なお、撮影装置10とミラー部20とを合わせてミラー装置30と呼ぶこともある。
【0060】
以降において、ミラー部20が、(1)電子ミラーを有するミラー部20Aである場合と、(2)物理ミラーを有するミラー部20Bである場合とのそれぞれについて、撮影装置10とミラー部20との構成を説明する。
【0061】
(1)ミラー部20が、電子ミラーを有するミラー部20Aである場合
図2は、本実施の形態における撮影装置10とミラー部20Aとの外観の第一例を模式的に示す説明図である。
図3は、本実施の形態における撮影装置10とミラー部20Aとの機能構成の第一例を模式的に示す説明図である。
【0062】
図2は、運転席に乗車しているユーザUから見た撮影装置10とミラー部20Aとの外観の例を示している。ここで、
図2に示されるように、鉛直方向を上下方向といい、ミラー部20Aのミラー面を含む面内において鉛直方向と直交する方向を左右方向という。
【0063】
図2および
図3に示されるように、撮影装置10は、撮影部11と支持部12と判定部13と提示部14とを備える。
【0064】
撮影部11は、撮影により画像を生成する。撮影部11は、ユーザUの身体(単にユーザUともいう)を撮影することにより、ユーザUが映っている画像を生成し、生成した画像を判定部13に提供する。
【0065】
支持部12は、撮影部11を支持する支持部材である。支持部12は、撮影部11を、車両Vが備えるミラー部20Aに対して固定的に支持する。また、支持部12は、車室S内の所定位置が撮影部11の撮影画角内に含まれるような、位置および姿勢になるように、撮影部11を支持する。上記所定位置は、車室S内においてユーザUが位置すべき位置として定められている位置である。所定位置は、ユーザUが車両Vの運転者である場合には運転席のシート上の位置であり、この場合を例として説明する。なお、ユーザUが助手席に着座する者である場合には所定位置は助手席であり、ユーザUが後部座席に着座する者である場合には所定位置はその後部座席である。
【0066】
例えば、支持部12は、撮影部11を、ミラー部20Aの下部に位置するように支持する。これにより、撮影装置10がミラー部20Aの下部に位置することとなる。また、例えば、支持部12は、撮影部11を、左右方向におけるミラー部20Aの中央よりも上記所定位置に近い側に位置するように支持する。「所定位置に近い側」は、右ハンドル車では右側でありこの場合を例として説明するが、左ハンドル車では左側である。これらにより、撮影装置10がミラー部20Aの中央よりも上記所定位置に近い側に位置にすることとなり、撮影部11が、ユーザUの身体に、より近く、かつ、ユーザUの身体の正面に、より近い位置から、撮影部11がユーザUを撮影することができる。
【0067】
判定部13は、撮影部11が生成した画像に対する画像処理を用いて、上記画像に映っているユーザUについての判定を行う。判定部13は、撮影装置10が備えるプロセッサ(例えばCPU(Central Processing Unit))(不図示)が、メモリ(不図示)を用いて所定のプログラムを実行することで実現され得る。
【0068】
提示部14は、判定部13による判定の結果を提示する。提示部14は、具体的には、ミラー部20Aの表示部21に判定部13による判定の結果を表示する制御を行うことで、判定の結果を提示する。提示部14は、上記制御として、判定の結果を示す画像の画像データをミラー部20Aに送信し、その画像データに示される画像をミラー部20Aに表示させる制御をする。提示部14は、撮影装置10が備えるプロセッサ(不図示)が、メモリ(不図示)を用いて所定のプログラムを実行することで実現され得る。
【0069】
例えば、判定部13は、上記判定として、撮影部11が生成した画像における適正位置にユーザUが映っているか否かを判定する。そして、判定部13は、上記画像における適正位置にユーザUが映っていないと判定した場合に、その後に撮影部11が生成する画像における適正位置にユーザUが映るようにするためにミラー部20Aの姿勢の変更を案内する案内情報を生成し、提示部14に提供する。提示部14は、判定部13が生成した案内情報を、判定の結果として提示する。適正位置は、例えば、画像の中央の位置である。
【0070】
案内情報は、ミラー部20Aの姿勢の変更する案内(例えば、「ミラーの右側部分を手前に引いてください」など)を文字で表現した画像であってもよいし、上記案内を図形で表現した画像であってもよい。提示部14は、撮影部11が生成した画像を案内情報として含めた判定の結果を表示部21に表示する制御を行うことで、判定の結果を提示してもよい。
【0071】
また、判定部13は、撮影部11が生成した画像に映っているユーザUが運転位置にいるか否かを判定し、ユーザUが運転位置にいると判定した画像を用いて、ユーザUについての判定をしてもよい。ユーザUが運転位置にいるか否かの判定については、後で詳しく説明する。
【0072】
また、判定部13は、撮影部11が生成した画像に映っているユーザUがミラー部20Aの姿勢を変更する動作をしているか否かを判定してもよい。そして、判定部13は、ユーザUが上記動作をしていると判定した画像が撮影されたときより所定時間以上まえに撮影された画像、または、所定時間以上あとに撮影された画像を用いて、ユーザUについての判定をしてもよい。ユーザUがミラー部20Aの姿勢を変更する動作をしているか否かの判定については、後で詳しく説明する。
【0073】
ミラー部20Aは、表示部21と制御部22とを備える。ミラー部20Aは、車室S内の天井に対して支持部23によって支持されている。
【0074】
表示部21は、表示画面を有し、表示画面に画像を表示する表示装置である。表示部21は、車両Vの後方を撮影する撮影装置(不図示)により撮影された画像を取得し、表示画面に表示する。表示部21は、取得した画像を加工する画像処理(左右反転処理または画像合成処理など)を施してから表示画面に表示してもよい。
【0075】
また、表示部21は、撮影装置10の提示部14による制御に基づいて、判定部13による判定の結果を表示画面に表示する。
【0076】
制御部22は、支持部23が制御部22による制御を受けることができる場合に、支持部23の姿勢を制御する。制御部22は、ミラー部20Aの位置または姿勢を変化させる制御を支持部23に対して行う。制御部22は、例えば、ユーザによる遠隔操作を受け付けたときに、受け付けた遠隔操作に基づいて上記制御を行う。なお、制御部22は必須ではない。
【0077】
制御部22は、車両Vが備えるセンターパネルに対してユーザUが行った操作を、遠隔操作として受け付けてもよい。また、制御部22は、ミラー部20Aにネットワークを介して接続されている通信端末(例えばスマートフォンまたはパーソナルコンピュータ)(不図示)に対してユーザUが行った操作を、遠隔操作として受け付けてもよい。
【0078】
支持部23は、ミラー部20Aを支持する支持部である。支持部23は、車室S内の天井に対して、ミラー部20Aの位置または姿勢を変化可能に、ミラー部20Aを支持する。例えば、支持部23は、可動部(例えば関節機構)を有し、ユーザUがミラー部20Aを把持してミラー部20Aの姿勢を変化させるときにその変化に追従して可動部を駆動させることで、ミラー部20Aの位置または姿勢を変化させる。また、支持部23は、制御部22による制御の下で、ミラー部20Aの位置または姿勢を変化させる制御をしてもよい。
【0079】
以降において、撮影装置10が撮影した画像の例を説明する。
【0080】
図4は、本実施の形態における撮影装置10が撮影した画像の第一例である画像41を示す説明図である。
【0081】
画像41は、撮影装置10が撮影した画像の一例であり、ユーザUが映っている。画像41に映っているユーザUは、車両Vを運転している運転者の位置として適切な位置(運転位置ともいう)にいる。運転位置は、運転席のシート上の位置である。
【0082】
判定部13は、ユーザUが運転位置にいるか否かの判定をするときには、運転席のシート上に着座しているユーザUが画像に映っているか否かを判定し、運転席のシート上に着座しているユーザUが画像に映っていると判定した場合に、ユーザUが運転位置にいると判定する。また、判定部13は、例えば、車両Vが備えるハンドルの近傍に位置している、ユーザUの手と、ユーザUの胸部とが画像に映っている場合に、ユーザUが運転位置にいると判定することができる。
【0083】
画像41には、運転席のシート上に着座しているユーザUが映っている。また、ハンドルの近傍に位置している、ユーザUの手が映っており、また、ユーザUの胸部が映っている。そのため、判定部13は、画像41においてユーザUが運転位置にいると判定することができる。
【0084】
図5は、本実施の形態における撮影装置10が撮影した画像の第二例である画像42を示す説明図である。
【0085】
画像42は、撮影装置10が撮影した画像の一例であり、ユーザUが映っている。画像42に映っているユーザUは、ミラー部20Aの姿勢を変える動作をしている。具体的には、ユーザUは、左腕をミラー部20Aに向けて延ばし、左手でミラー部20Aを把持して、ミラー部20Aの姿勢を変える動作をしている。また、ユーザUは、ミラー部20Aに表示されている画像を視認するためにミラー部20Aに視線を向けている。
【0086】
撮影部11がルームミラーの近傍に位置しているので、
図5に示される画像において、ユーザUの左腕が、比較的大きく映っていて、画像中央から右方向へ延びている。また、
図5に示される画像において、ユーザUは、ほぼ正面に視線を向けている。
【0087】
判定部13は、ユーザUがミラー部20Aの姿勢を変更する動作をしているか否かを判定するときには、例えば、ユーザUの左腕が比較的大きく映っていること、ユーザUの左腕が画像中央から右方向へ延びていること、または、ユーザUがほぼ正面に視線を向けていることなどを画像認識処理(具体的には視線検出処理)で認識した場合に、ユーザUがミラー部20Aの姿勢を変更する動作をしていると判定することができる。
【0088】
図6は、本実施の形態における撮影装置10が撮影した画像の第三例である画像43を示す説明図である。
【0089】
画像43は、撮影装置10が撮影した画像の一例であり、車両Vの運転席に、助手席側から乗り込もうとしているユーザUが映っている。画像に映っているユーザUは、運転位置にいない。
【0090】
図6に示される画像では、ユーザUの手が映っているが、ユーザUの手がハンドル付近に位置していない。つまり、
図6に示される画像には、「ハンドルの近傍に位置している、ユーザUの手」が映っていない。また、
図6に示される画像では、ユーザUの胸部が映っていない。そのため、判定部13は、画像43においてユーザUが運転位置にいないと判定することができる。
【0091】
次に、提示部14による提示について説明する。
【0092】
図7は、本実施の形態における撮影装置10が提示する案内情報の第一例である画像51を示す説明図である。
【0093】
画像51は、撮影部11が撮影した画像における比較的右側の部分にユーザUが映っていると判定部13が判定した場合に生成する案内画像の例であり、ミラー部20Aの姿勢の変更によって、画像に映っているユーザUを左方向つまり画像中央に移動させることに寄与する。
【0094】
画像51は、ミラー部20A内の比較的右側の部分に表示された、左向きの矢印を示す画像である。画像51は、ミラー部20Aの左右方向における右側部分を手前に引く操作をユーザUに促す画像である。画像51を視認したユーザUは、ミラー部20Aの左右方向における右側部分を手前に引く操作をすることで、ミラー部20Aの姿勢を変更することが想定される。
【0095】
なお、画像51は、矢印の形状に限られず、円形、多角形またはその他の図形であってよい。
【0096】
このようにして、ユーザUは、画像51を視認し、画像51に案内されながらミラー部20Aの姿勢の変更を行うことができる。
【0097】
図8は、本実施の形態における撮影装置10が提示する案内情報の第二例である画像53および54を示す説明図である。
【0098】
画像53および54は、画像51と同様に、撮影部11が撮影した画像における比較的右側の部分にユーザUが映っていると判定部13が判定した場合に生成する案内画像の例である。
【0099】
画像53は、ミラー部20A内の左右方向における中央に表示された、矩形の枠線を示す画像である。画像54は、ミラー部20A内の比較的左側の部分に表示された、プラス(+)の形状の図形を示す画像である。
【0100】
ユーザUがミラー部20Aの左右方向における右側部分を手前に引くことでミラー部20Aの姿勢を変更すると、判定部13は、画像53の表示位置を固定しながら、画像54が右方向へ移動するように制御する。また、判定部13は、撮影部11が撮影した画像における中央にユーザUが映っている場合に、画像53が示す枠線の内部に画像54が入るように制御する。
【0101】
ユーザUは、画像53および54を視認しながら、画像54が右方向へ移動して画像53が示す枠線の内部に入るように、ミラー部20Aの姿勢を変更することが想定される。
【0102】
なお、画像53および54は、矩形およびプラスの形状に限られず、円形、多角形またはその他の図形であってよい。
【0103】
このようにして、ユーザUは、画像53および54を視認し、画像53および54に案内されながらミラー部20Aの姿勢の変更を行うことができる。
【0104】
図9は、本実施の形態における撮影装置10が提示する案内情報の第三例である画像56を示す説明図である。
【0105】
画像56は、撮影部11が撮影により生成した画像である。なお、画像56は、撮影部11が撮影により生成した画像の縮小画像であってもよい。
【0106】
ユーザUがミラー部20Aの姿勢を変更すると、撮影部11がミラー部20Aに対して固定されているため、撮影部11の撮影画角が変化し、画像56に映っているユーザUの位置が移動する。例えば、ユーザUがミラー部20Aの左右方向における右側部分を手前に引くことでミラー部20Aの姿勢を変更すると、画像56に映っているユーザUは、左方向へ移動する。ユーザUは、画像56を視認しながら、画像56に映っているユーザUが画像中央に位置するように、ミラー部20Aの姿勢を変更する。
【0107】
このようにして、ユーザUは、画像56を視認し、画像56に案内されながらミラー部20Aの姿勢の変更を行うことができる。
【0108】
図10は、本実施の形態における撮影装置10が実行する処理を示すフロー図である。
【0109】
ステップS101において、撮影部11が、撮影により画像を生成する。
【0110】
ステップS102において、判定部13が、ステップS101で撮影部11が生成した画像にユーザが映っているか否かを判定する。
【0111】
ステップS103において、提示部14が、ステップS103での判定の結果を提示する。
【0112】
図10に示される一連の処理により、ユーザの身体を適切に撮影することができる。
【0113】
(2)ミラー部20が、物理ミラーを有するミラー部20Bである場合
図11は、本実施の形態における撮影装置10とミラー部20Bとの外観の第二例を模式的に示す説明図である。
図12は、本実施の形態における撮影装置10とミラー部20Bとの機能構成の第二例を模式的に示す説明図である。
【0114】
図11および
図12に示されるように、撮影装置10は、撮影部11と支持部12と判定部13と提示部14Aとを備える。撮影装置10が備える撮影部11と支持部12と判定部13とは、上記(1)の場合と同様であるが、提示部14Aの構成と提示の方法とが上記(1)における提示部14とは異なる。この点について主に説明する。
【0115】
提示部14Aは、ミラー部20Bの左右方向における中央より左側部分に配置される表示部61と、右側部分に配置される表示部62とを備える。
【0116】
表示部61および62は、それぞれ、提示部14Aによる制御により点灯または消灯をする。表示部61は、例えば、発光ダイオードである。表示部61および62は、既存のミラー部20Bに取り付けされたものであってもよい。
【0117】
提示部14Aは、表示部61および62それぞれの点灯または消灯を制御することで、判定部13による判定の結果、より具体的には案内情報を提示する。
【0118】
次に、ミラー部20Bの位置および姿勢について説明する。
【0119】
図13は、本実施の形態における撮影装置10とミラー部20Bとの位置および姿勢を模式的に示す説明図である。
図13には、車両V内の上面視で運転席周辺が示されている。
図13において、車両Vの進行方向をY軸プラス方向とし、車両Vの進行方向を向いた人にとっての右方向をX軸プラス方向とする。
【0120】
図13には、ミラー部20Bと、ミラー部20Bの法線71(より具体的には、ミラー部20Bのミラー面の法線71)とが示されている。また、撮影装置10と、撮影部11の撮影画角72および光軸73とが示されている。
【0121】
図13に示されるように、ミラー部20Bは、ミラー部20Bの法線71がY軸マイナス方向よりも運転席に近い側へ傾いている姿勢で設置されている。この姿勢は、ミラー部20Bによる光の反射を利用して、ユーザUが車両Vの後方を視認するのに適した姿勢である。
【0122】
また、撮影装置10は、ミラー部20Bの法線71に対して、撮影部11の光軸73が、運転席に近い側に傾いている姿勢を有する。言い換えれば、支持部12が、上面視において、ミラー部20Bの法線71に対して、撮影部11の光軸73が所定位置に近い側に傾いている姿勢で、支持している。撮影部11の光軸73は、撮影部11の撮影方向であるともいえる。
【0123】
撮影装置10がこのような姿勢で設置されていることにより、ミラー部20Bを、ユーザUがミラー部20Bを介して車両Vの後方を視認するのに適した姿勢としながら、撮影装置10によりユーザUを撮影することができる。
【0124】
次に、提示部14Aによる提示について説明する。
【0125】
図14は、実施の形態における撮影装置10が提示する案内情報の第四例を示す説明図である。
【0126】
図14において、表示部61が消灯しており、表示部62が点灯している。
【0127】
表示部61の消灯と表示部62の点灯は、画像51と同様に、撮影部11が撮影した画像における比較的右側の部分にユーザUが映っていると判定部13が判定した場合に生成する案内情報の例である。
【0128】
表示部61および62は、このような点灯および消灯により、ミラー部20Bの左右方向における右側部分を手前に引く操作をユーザUに促す。表示部61および62を視認したユーザUは、ミラー部20Bの左右方向における右側部分を手前に引く操作をすることで、ミラー部20Bの姿勢を変更することが想定される。
【0129】
このようにして、ユーザUは、表示部61および62を視認し、表示部61および62に案内されながらミラー部20Bの姿勢の変更を行うことができる。
【0130】
以上のように、本実施の形態の撮影装置は、撮影画角内にユーザの所定位置を含む画像に映っているユーザについての判定結果を提示する。ユーザは、提示された判定結果を見て撮影部が撮影する画像にユーザが映るようにすることができる可能性がある。よって、撮影装置は、ユーザの身体を適切に撮影することができる。
【0131】
また、撮影装置は、画像における適正位置にユーザが映るようにするための案内情報を判定の結果として提示するので、提示を受けたユーザは、案内情報に従ってミラー部の姿勢を変更することができる。このようにミラー部の姿勢が変更された後、撮影部が撮影する画像における適正位置にユーザが映るようになる可能性がある。このようにして、撮影装置は、ユーザの身体を適切に撮影することができる。
【0132】
また、撮影装置は、ミラー部の下部に位置する撮影部による撮影によって、ユーザの身体に、より近く、かつ、ユーザの身体の正面に、より近い位置からユーザを撮影することができる。よって、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0133】
また、撮影装置は、ミラー部の中央より所定位置に近い側に位置する撮影部による撮影によって、ユーザの身体に、より近い位置であり、かつ、ユーザの身体の正面に、より近い位置からユーザを撮影することができる。よって、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0134】
また、撮影装置は、電子ミラーの表示部に判定結果(例えば案内情報)を提示するので、ユーザは、判定結果を容易に理解できる。そして、提示を受けたユーザは、案内情報に従ってミラー部の姿勢をより適切に変更することができ、撮影装置による適切な撮影に寄与する。このようにして、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0135】
また、撮影装置は、電子ミラーの表示部に判定結果(例えば案内情報)として、撮影部が生成した画像を提示するので、ユーザは、撮影部により撮影されている画像を実際に視認することができる。そして、その画像が適切でないとユーザが判断した場合には、ユーザ自身の判断に基づいてミラー部の姿勢をより適切に変更することができ、撮影装置による適切な撮影に寄与する。このようにして、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0136】
また、撮影装置は、ユーザの所定位置から車両後方の視界を得られるような物理ミラーの姿勢を維持しながら、撮影部によりユーザを撮影することができる。このようにして、撮影装置は、ユーザの身体をより適切に撮影することができる。
【0137】
また、撮影装置は、運転位置にユーザが映っていない画像を用いることを抑制し、言い換えれば、運転位置にいるユーザが映っている画像を用いて、判定を行うので、運転位置にユーザが映っていない画像を用いて誤った判定をすることが抑制される。よって、撮影装置は、ユーザの身体をより適切に撮影し、撮影した画像を用いてより適切な判定をすることができる。
【0138】
また、撮影装置は、ユーザの手と胸部とが画像に映っていることに基づいて、より容易に、運転位置にユーザが映っている画像を判定することができる。よって、撮影装置は、ユーザの身体をより適切に撮影し、撮影した画像を用いてより適切な判定をすることができる。
【0139】
また、撮影装置は、ミラー部の姿勢を変更する動作をしているユーザが映っている画像を用いることを抑制し、言い換えれば、ミラー部の姿勢を変更する動作をしていないユーザが映っている画像を用いて、判定を行うので、ミラー部の姿勢を変更する動作をしているユーザが映っている画像を用いて誤った判定をすることが抑制される。よって、撮影装置は、ユーザの身体をより適切に撮影し、撮影した画像を用いてより適切な判定をすることができる。
【0140】
また、ミラー装置は、上記撮影装置と同様に、ユーザの身体を適切に撮影することができる。
【0141】
また、ミラー装置は、ユーザによる遠隔制御に基づいて位置または姿勢を変化させることができる。よって、ミラー装置は、位置または姿勢を遠隔制御に基づいて変化させながら、ユーザの身体を適切に撮影することができる。
【0142】
また、ミラー装置は、センターパネルに対してユーザが行った操作に基づいて位置または姿勢を変化させることができる。センターパネルに対するユーザの操作は、より容易になされ得る。よって、ミラー装置は、位置または姿勢を遠隔制御に基づいて容易に変化させながら、ユーザの身体を適切に撮影することができる。
【0143】
また、ミラー装置は、通信端末に対してユーザが行った操作に基づいて位置または姿勢を変化させることができる。通信端末に対するユーザの操作は、より容易になされ得る。よって、ミラー装置は、位置または姿勢を遠隔制御に基づいて容易に変化させながら、ユーザの身体を適切に撮影することができる。
【0144】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態のサーバなどを実現するソフトウェアは、次のようなプログラムである。
【0145】
すなわち、このプログラムは、コンピュータに、車両の車室内に設置される撮影装置が実行する情報処理方法であって、前記撮影装置は、撮影により画像を生成する撮影部と、前記撮影部を、前記車両が備えるミラー部に対して固定的に支持する支持部であって、前記車室内においてユーザが位置すべき位置として定められている所定位置が前記撮影部の撮影画角内に含まれるような、位置および姿勢になるように前記撮影部を支持する支持部とを備え、前記情報処理方法では、前記撮影部による撮影により前記画像を生成し、前記撮影部が生成した前記画像に対する画像処理を用いて、前記画像に映っている前記ユーザについての判定を行い、前記判定の結果を提示する情報処理方法を実行させるプログラムである。
【0146】
以上、一つまたは複数の態様に係る撮影装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0147】
本発明は、車両内のユーザを撮影した画像を用いてユーザの状態を判定する装置に利用可能である。
【符号の説明】
【0148】
10 撮影装置
11 撮影部
12、23 支持部
13 判定部
14、14A 提示部
20、20A、20B ミラー部
21、61、62 表示部
22 制御部
30 ミラー装置
41、42、43、51、53、54、56 画像
71 法線
72 撮影画角
73 光軸
S 車室
U ユーザ
V 車両