(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023061100
(43)【公開日】2023-05-01
(54)【発明の名称】システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230424BHJP
H04N 7/18 20060101ALI20230424BHJP
G09G 5/00 20060101ALI20230424BHJP
G09G 5/36 20060101ALI20230424BHJP
B60R 1/22 20220101ALI20230424BHJP
【ＦＩ】
H04N5/232 290
H04N7/18 J
G09G5/00 550C
G09G5/00 530D
G09G5/36 520B
G09G5/36 520P
B60R1/22
【審査請求】未請求
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2021170888
(22)【出願日】2021-10-19
(71)【出願人】
【識別番号】000116574
【氏名又は名称】愛三工業株式会社
(74)【代理人】
【識別番号】110000110
【氏名又は名称】弁理士法人 快友国際特許事務所
(72)【発明者】
【氏名】堀本 哲也
【テーマコード（参考）】
5C054
5C122
5C182
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC12
5C054FC14
5C054FE06
5C054GB01
5C054HA30
5C122DA14
5C122EA61
5C122FH11
5C122FH21
5C122FK23
5C122FK24
5C122HB01
5C182AA31
5C182AB25
5C182AB33
5C182BA14
5C182CB44
5C182CB47
(57)【要約】
【課題】正確な運転支援を実行するための画像を取得することができる技術を提供する。
【解決手段】システムは、運転者の頭部に装着され、運転者が自車内にいるときに自車内から外界を撮影する撮影部を備えているウェアラブル装置と、前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像をマスキング処理する画像処理部と、を備えている。
【選択図】図４
【解決手段】システムは、運転者の頭部に装着され、運転者が自車内にいるときに自車内から外界を撮影する撮影部を備えているウェアラブル装置と、前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像をマスキング処理する画像処理部と、を備えている。
【選択図】図４
【特許請求の範囲】
【請求項1】
運転者の頭部に装着され、運転者が自車内にいるときに自車内から外界を撮影する撮影部を備えているウェアラブル装置と、
前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像をマスキング処理する画像処理部と、を備えるシステム。
前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像をマスキング処理する画像処理部と、を備えるシステム。
【請求項2】
運転者の頭部に装着され、運転者が自車内にいるときに自車内から外界を撮影する撮影部を備えているウェアラブル装置と、
前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像に識別情報を付与する画像処理部と、を備えるシステム。
前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像に識別情報を付与する画像処理部と、を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示する技術は、ウェアラブル装置を備えるシステムに関する。
【背景技術】
【0002】
特許文献１に開示されている装置は、運転者の頭部に装着されるヘッドセットと、自車両の外部を撮影するカメラと、画像処理を実行する処理装置とを備えている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－４０１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の装置ではカメラとヘッドセット（ウェアラブル装置）が分離しているので、ヘッドセット（ウェアラブル装置）が装着されている運転者の頭部が動いたとしても、カメラの位置や撮影方向が変わることはない。しかしながら、仮に、カメラがヘッドセット（ウェアラブル装置）から分離しておらず、ヘッドセット（ウェアラブル装置）に取り付けられている場合には、運転者の頭部が動くことによりカメラの位置や撮影方向が変わることがある。そうすると、例えば、カメラの位置や撮影方向が変わることによりカメラの撮影範囲に自車両のミラー（例えば、バックミラーやサイドミラー）が入ることが考えられ、それによって、カメラの撮影画像に自車両のミラーの画像が含まれることが考えられる。この構成では、カメラの撮影画像を利用して運転者に対する運転支援を実行する際に不都合が生じる。例えば、ミラーに映る物体（例えば、後方車両や接近車両）が自車両の前方に存在する物体であると認識されてしまい、正確な運転支援を実行することができないことが考えられる。そこで本明細書は、正確な運転支援を実行するための画像を取得することができる技術を提供する。
【課題を解決するための手段】
【0005】
本明細書に開示するシステムは、運転者の頭部に装着され、運転者が自車内にいるときに自車内から外界を撮影する撮影部を備えているウェアラブル装置と、前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像をマスキング処理する画像処理部と、を備えている。
【0006】
この構成によれば、撮影部による撮影画像においてミラーの画像を覆い隠すことができる。撮影部による撮影画像は運転者に対する運転支援のために利用されることがあるが、撮影画像に自車両のミラーの画像が含まれていると、正確な運転支援の妨げになることが考えられる。上記の構成によれば、ミラーの画像を覆い隠すことにより、正確な運転支援を実行するための画像を取得することができる。
【0007】
本明細書に開示するシステムは、運転者の頭部に装着され、運転者が自車内にいるときに自車内から外界を撮影する撮影部を備えているウェアラブル装置と、前記撮影部が外界を撮影することにより取得される撮影画像に自車両のミラーの画像が含まれていると判断される場合に、ミラーの画像を区別し、ミラーの画像に識別情報を付与する画像処理部と、を備えている。
【0008】
この構成によれば、ミラーの画像に識別情報を付与することにより、正確な運転支援を実行するための情報を取得することができる。
【図面の簡単な説明】
【0009】
【図1】実施例のシステムを模式的に示す図。
【図2】実施例のシステムのブロック図。
【図3】実施例のカメラによる撮影画像を模式的に示す図。
【図4】実施例の画像処理のフローチャート。
【図5】実施例のマスキング処理のフローチャート。
【図6】マスキング処理前後の画像を模式的に示す図。
【発明を実施するための形態】
【0010】
実施例のシステム２について図面を参照して説明する。実施例のシステム２は、図１に示すように、ユーザ（運転者Ｄ）の頭部Ｈ（頸部Ｎよりも上側の部分）に装着されるウェアラブル装置１０を備えている。ウェアラブル装置１０は、ＨＭＤ（Head Mounted Display）と呼ばれることもある。ウェアラブル装置１０は、眼鏡型の装置であり、スマートグラスと呼ばれることもある。システム２のユーザ（運転者Ｄ）は、ウェアラブル装置１０を装着した状態で、自車両（例えば、ガソリン自動車や電気自動車等）を運転する。
【0011】
図１及び図２に示すように、ウェアラブル装置１０は、カメラ１２（撮影部の一例）と、レンズ１４と、フレーム１６とを備えている。また、ウェアラブル装置１０は、表示部１８と、制御部５０（画像処理部の一例）とを備えている。
【0012】
カメラ１２は、ウェアラブル装置１０のフレーム１６に固定されており、外界を撮影することができる。カメラ１２は、例えば、ウェアラブル装置１０の電源（図示省略）がオンになると撮影を開始する。カメラ１２は、ウェアラブル装置１０が運転者Ｄの頭部Ｈに装着されている状態で、自車内から外界を撮影することができる。例えば、カメラ１２は、図３に示すように、運転者Ｄが自車内にいるときに、自車内の空間や、自車内から視える自車外の景色を撮影することができる。カメラ１２が外界を撮影するときの位置や撮影方向は、運転者Ｄの頭部Ｈの位置や向きに応じて変わることがある。例えば、運転者Ｄが前方を視ているときは、カメラ１２は、前方の景色を撮影し、運転者Ｄが側方を視ているときは、カメラ１２は、側方の景色を撮影する。カメラ１２は、動画および／または静止画を撮影することができる。カメラ１２が外界を撮影することにより取得される撮影画像には、例えば、自車両のミラー（例えば、バックミラーＢやサイドミラーＳ）の画像が含まれていることがある（図３参照）。カメラ１２による撮影画像は、制御部５０に送信される。
【0013】
ウェアラブル装置１０のレンズ１４（図１参照）は、拡張現実の情報が表示されるように構成されている。運転者Ｄは、レンズ１４に表示される拡張現実の情報を視ることができる。また、運転者Ｄは、レンズ１４を通して現実世界を視ることもできる。拡張現実の情報は、例えば、自車両のスピードメーターに関する情報や、自車外の前方車両に関する情報等である。拡張現実の情報は、表示部１８によってレンズ１４に表示される。
【0014】
表示部１８は、ウェアラブル装置１０のフレーム１６に固定されている。表示部１８は、レンズ１４に拡張現実の情報を表示することができる。例えば、表示部１８は、光学的な技術により拡張現実の情報をレンズ１４に投影する。変形例では、レンズ１４の前方にプリズムが配置されており、表示部１８がそのプリズムに拡張現実の情報を投影する構成であってもよい。
【0015】
制御部５０は、例えば、ウェアラブル装置１０のフレーム１６に固定されている。制御部５０は、ＣＰＵとメモリ（図示省略）を備えており、システム２に関する様々な処理や制御を実行する。制御部５０が実行する処理や制御については後述する。
【0016】
（画像処理）
次に、制御部５０が実行する画像処理について説明する。図４は、実施例の画像処理のフローチャートである。図４に示す画像処理は、例えば、ウェアラブル装置１０の電源がオンになると開始される。図４に示すように、画像処理のＳ１０では、制御部５０が、カメラ１２による撮影画像を取得する。制御部５０は、取得した撮影画像をメモリに保存する。
次に、制御部５０が実行する画像処理について説明する。図４は、実施例の画像処理のフローチャートである。図４に示す画像処理は、例えば、ウェアラブル装置１０の電源がオンになると開始される。図４に示すように、画像処理のＳ１０では、制御部５０が、カメラ１２による撮影画像を取得する。制御部５０は、取得した撮影画像をメモリに保存する。
【0017】
続くＳ１２では、制御部５０が、Ｓ１０で取得する撮影画像に自車両のミラー（例えば、バックミラーＢやサイドミラーＳ）の画像が含まれているか否かを判断する。ミラーの画像が含まれている場合は（Ｓ１２でＹＥＳ）、処理はＳ１４に進み、ミラーの画像が含まれていない場合は（Ｓ１２でＮＯ）、画像処理が終了する。Ｓ１２の処理は、例えば、ＡＩ（Artificial Intelligence）を用いた機械学習により実行される。例えば、制御部５０は、Ｓ１０で取得する撮影画像を所定の学習済みモデルに入力することにより、ミラーの画像が含まれているか否かを判断する。これにより、制御部５０は、カメラ１２による撮影画像においてミラーの画像をそれ以外の画像から区別する。Ｓ１２でＹＥＳの後のＳ１４では、制御部５０が、撮影画像に含まれているミラーの画像を覆い隠すマスキング処理を実行する。
【0018】
図５は、マスキング処理のフローチャートである。図５に示すように、マスキング処理では、制御部５０が、上記のＳ１０で取得する撮影画像に含まれている自車両のミラーの画像の輪郭を追跡する（Ｓ２０）。例えば、制御部５０は、撮影画像を二値化し、二値の境界部分を特定することによりミラーの画像の輪郭を追跡する。続いて、制御部５０は、追跡したミラーの画像の輪郭の座標を算出する（Ｓ２２）。続いて、制御部５０は、算出した輪郭の座標に基づいてミラーの画像を抽出する（Ｓ２４）。その後、制御部５０は、抽出したミラーの画像を覆い隠すように疑似画像をマスキング表示する（Ｓ２６）。図５に示すマスキング処理により、図６に示すように、ミラー（例えば、バックミラーＢ）の画像が覆い隠される。なお、マスキング処理の具体的なアルゴリズムは特に限定されない。
【0019】
図４に示すように、Ｓ１４の後のＳ１６では、制御部５０が、マスキング処理前のミラーの画像およびマスキング処理後のミラーの画像にＩＤ（識別情報の一例）を付与する。また、制御部５０は、ＩＤが付されたミラーの画像をメモリに保存する。続くＳ１８では、制御部５０が、運転支援処理を実行する。運転支援処理は、運転者Ｄが自車両を運転する際にその運転を支援するための処理である。例えば、制御部５０は、運転支援処理において、拡張現実の情報をレンズ１４に表示するように表示部１８の動作を制御する。制御部５０は、マスキング処理後のミラーの画像をレンズ１４に表示するように表示部１８の動作を制御してもよい。
【0020】
（効果）
以上、実施例のシステム２について説明した。以上の説明から明らかなように、システム２は、運転者Ｄの頭部Ｈに装着されるウェアラブル装置１０を備えている。ウェアラブル装置１０は、外界を撮影するカメラ１２を備えている。制御部５０は、運転者Ｄに装着されたウェアラブル装置１０のカメラ１２が自車内から外界を撮影することにより取得される撮影画像に自車両のミラー（Ｂ、Ｓ）の画像が含まれると判断される場合に、そのミラー（Ｂ、Ｓ）の画像を覆い隠すマスキング処理を実行する（図４、図５参照）。
以上、実施例のシステム２について説明した。以上の説明から明らかなように、システム２は、運転者Ｄの頭部Ｈに装着されるウェアラブル装置１０を備えている。ウェアラブル装置１０は、外界を撮影するカメラ１２を備えている。制御部５０は、運転者Ｄに装着されたウェアラブル装置１０のカメラ１２が自車内から外界を撮影することにより取得される撮影画像に自車両のミラー（Ｂ、Ｓ）の画像が含まれると判断される場合に、そのミラー（Ｂ、Ｓ）の画像を覆い隠すマスキング処理を実行する（図４、図５参照）。
【0021】
この構成によれば、カメラ１２による撮影画像においてミラー（Ｂ、Ｓ）の画像を覆い隠すことにより、例えば、ミラー（Ｂ、Ｓ）に映る余分な物体（例えば、後方車両や接近車両）が運転支援に影響することを抑制することができる。これにより、正確な運転支援を行うための画像を取得することができる。ミラーに映る物体に起因して不正確な運転支援が実行されることを抑制することができる。また、ミラー（Ｂ、Ｓ）の画像にＩＤを付与することにより、正確な運転支援を行うための情報を取得することができる。
【0022】
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【0023】
（変形例）
上記の実施例では、制御部５０がウェアラブル装置１０のフレーム１６に固定されている構成であったが、この構成に限定されない。変形例では、制御部５０が、ウェアラブル装置１０とは異なる外部装置に設けられていてもよい。カメラ１２による撮影画像は、通信インターフェースを介してウェアラブル装置１０から外部装置の制御部５０に送信されてもよい。外部装置の制御部５０が画像処理を実行してもよい。
上記の実施例では、制御部５０がウェアラブル装置１０のフレーム１６に固定されている構成であったが、この構成に限定されない。変形例では、制御部５０が、ウェアラブル装置１０とは異なる外部装置に設けられていてもよい。カメラ１２による撮影画像は、通信インターフェースを介してウェアラブル装置１０から外部装置の制御部５０に送信されてもよい。外部装置の制御部５０が画像処理を実行してもよい。
【0024】
本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【0025】
２：システム、１０：ウェアラブル装置、１２：カメラ、１４：レンズ、１６：フレーム、１８：表示部、５０：制御部、Ｂ：バックミラー、Ｄ：運転者、Ｈ：頭部、Ｎ：頸部、Ｓ：サイドミラー
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】