特開 2023-29064 画像処理装置、画像処理方法、撮像装置、及び移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023029064

(43)【公開日】2023-03-03

(54)【発明の名称】画像処理装置、画像処理方法、撮像装置、及び移動体

(51)【国際特許分類】

   G06T 5/50 20060101AFI20230224BHJP

   H04N 7/18 20060101ALI20230224BHJP

   G06T 7/55 20170101ALI20230224BHJP

【ＦＩ】

G06T5/50

H04N7/18 J

H04N7/18 K

G06T7/55

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021135146

(22)【出願日】2021-08-20

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100173794

【弁理士】

【氏名又は名称】色部 暁義

(72)【発明者】

【氏名】永元 亮太

(72)【発明者】

【氏名】福井 康弘

(72)【発明者】

【氏名】原田 直樹

【テーマコード（参考）】

5B057

5C054

5L096

【Ｆターム（参考）】

5B057AA06

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD05

5B057CD12

5B057CD14

5B057CE08

5B057DA07

5B057DA12

5B057DA16

5B057DB02

5B057DB03

5B057DB09

5B057DC08

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FD03

5C054FD07

5C054FE05

5C054FE12

5C054HA30

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096EA26

5L096FA66

5L096FA67

5L096FA69

5L096FA77

5L096GA53

5L096KA04

(57)【要約】

【課題】歪みが軽減された視点変更画像を提供する。
【解決手段】画像処理装置１４は画像インタフェース１５とプロセッサ１８とを有する。プロセッサ１８は撮像画像の複数の箇所における深度を推定する。プロセッサ１８は複数の箇所における深度及び画像座標を複数の箇所それぞれに対応する三次元座標に変換する。プロセッサ１８は三次元座標に基づき撮像画像とは視点が異なる視点変更画像を生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

撮像画像を取得する画像インタフェースと、
前記撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するプロセッサと、を備える
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記プロセッサは、前記視点変更画像に、前記撮像画像において被写体で隠れた部分であることを示すように表示させた画像を生成する
画像処理装置。

【請求項3】

請求項１又は２に記載の画像処理装置において、
前記画像インタフェースが取得する前記撮像画像は、互いに一部の撮像範囲が重なり、それぞれ異なる位置から撮像した複数の撮像画像を含み、
前記プロセッサは、前記複数の撮像画像の中の一つの撮像画像における被写体の裏に位置する部分を、該一つの撮像画像以外の前記複数の撮像画像に基づいて補完する
画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記プロセッサは、前記複数の撮像画像別に、複数の前記視点変更画像を生成し、前記複数の視点変更画像を合成して単一の視点変更画像を生成する
画像処理装置。

【請求項5】

撮像画像を取得するステップと、
前記撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するステップと、を含む
画像処理方法。

【請求項6】

撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するプロセッサと、を備える
撮像装置。

【請求項7】

本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するプロセッサと、を備える
移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、撮像装置、及び移動体に関するものである。

【背景技術】

【0002】

カメラによって撮像された画像を、車両上方の仮想視点から俯瞰した座標に視点変換して表示手段に表示する技術が、提案されている（特許文献１参照）

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－１２５３９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の表示において、現実と相違する歪みが生じることがあった。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、歪みが軽減された視点変更画像を提供し得る画像処理装置、画像処理方法、撮像装置、及び移動体を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像画像を取得する画像インタフェースと、
前記撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するプロセッサと、を備える。

【0007】

第２の観点による画像処理方法は、
撮像画像を取得するステップと、
前記撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するステップと、を含む。

【0008】

第３の観点による撮像装置は、
撮像により画像信号を生成する撮像部と、
撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するプロセッサと、を備える。

【0009】

第４の観点による移動体は、
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、前記三次元座標に基づき前記撮像画像とは視点が異なる視点変更画像を生成するプロセッサと、を備える。

【発明の効果】

【0010】

上記のように構成された本開示に係る画像処理装置、画像処理方法、撮像装置、および移動体によれば、歪みが軽減された視点変更画像が提供され得る。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る画像処理装置を含む撮像装置の移動体における位置を概念的に例示する外観図である。

【図2】図１の撮像装置の概略構成を示すブロック図である。

【図3】図２のプロセッサが作成する視点変更画像を示す図である。

【図4】図２のプロセッサが、複数の視点変更画像を合成して単一の視点変更画像を生成する処理を説明する図である。

【図5】図２のプロセッサが実行する処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示を適用した画像処理装置の実施形態が、図面を参照して説明される。

【0013】

本開示では、画像処理装置をそれぞれ含む、少なくとも１つの撮像装置が、移動体１１の本体１２の異なる位置に設けられる。本実施形態では、４つの撮像装置１０ａ，１０ｂ，１０ｃ（図１及び４参照），１０ｄ（図４参照）が設けられる。撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄは、移動体１１の周辺を撮像可能に取り付けられている。以下の説明において、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに共通する説明に対しては撮像装置１０と記載することもある。

【0014】

移動体１１は、路面を移動可能な車両および航空機等を含んでよい。移動体１１は、自動運転機能を有してよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

【0015】

図２に示すように、撮像装置１０は、撮像部１３および画像処理装置１４を含んで構成される。

【0016】

撮像部１３は、移動体１１の周辺を撮像して撮像画像を生成し、画像処理装置１４に付与する。図１及び４に示すように、撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄは、移動体１１の本体１２の所定の位置に、所定の姿勢で固定されてよい。

【0017】

本実施形態においては、撮像装置１０ａは、本体１２の上下方向における屋根近傍で、前方の、幅方向における中央に位置してよい。撮像装置１０ｂは、本体１２の左方のサイドミラーの下側に位置してよい。撮像装置１０ｃは、本体１２の右方のサイドミラーの下側に位置してよい。撮像装置１０ｄは、本体１２の上下方向における屋根近傍で、後方の、幅方向における中央に位置してよい。

【0018】

撮像装置１０ａ，１０ｄは、光軸が本体１２のそれぞれ前方及び後方を向き、移動体１１を静止させた状態で水平となるように、固定されていてよい。撮像装置１０ｂ，１０ｃは、光軸が本体１２の幅方向外側を向き、移動体１１を静止させた状態で水平となるように、固定されていてよい。

【0019】

撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄには上下方向が定められており、撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄは、光軸から見て撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄの上下方向が本体１２の上下方向に重なるように、固定されてよい。

【0020】

撮像装置１０ａは、本体１２の前方周辺を撮像することにより撮像画像を生成する。撮像装置１０ｂは、本体１２の左側方周辺を撮像することにより撮像画像を生成する。撮像装置１０ｃは、本体１２の右側方周辺を撮像することにより撮像画像を生成する。撮像装置１０ｄは、本体１２の後方周辺を撮像することにより撮像画像を生成する。

【0021】

図４に示すように、撮像装置１０ａの視野Ｆａの一部と、撮像装置１０ｂの視野Ｆｂの一部及び撮像装置１０ｃの視野Ｆｃの一部とが重なってよい。撮像装置１０ｄの視野Ｆｄの一部と、撮像装置１０ｂの視野Ｆｂの一部及び撮像装置１０ｃの視野Ｆｃの一部とが重なってよい。

【0022】

図２に示すように、画像処理装置１４は、画像インタフェース１５およびプロセッサ１８を含む。画像処理装置１４は、更に、記憶部１６および送信部１７を含んでよい。

【0023】

画像インタフェース１５は、画像処理装置１４の外部機器１９からの多様な情報、および指令を受信する。画像インタフェース１５は、例えば、撮像部１３から撮像画像を取得する。

【0024】

記憶部１６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部１６は、プロセッサ１８を機能させる多様なプログラム、およびプロセッサ１８が用いる多様な情報を記憶する。

【0025】

記憶部１６は、二次元の画像座標及び深度からの、撮像部１３の位置を基準にした三次元座標への座標の変換式または変換表を記憶してよい。三次元座標は、本体１２の前後方向、幅方向、および上下方向を軸としてよい。画像座標は、撮像部１３の撮像画像における縦方向および横方向を軸としてよい。深度は、移動体１１の撮像部１３から撮像画像の各画素に対応する物点までの距離である。変換式または変換表は、撮像部１３を本体１２に固定する所定の位置および所定の姿勢に基づいて作成されていてよい。

【0026】

送信部１７は、後述するプロセッサ１８が画像処理により生成する情報を外部機器１９に送信する。

【0027】

プロセッサ１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。プロセッサ１８は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0028】

プロセッサ１８は、受信する画像に相当する単一の撮像画像の複数の箇所における深度を推定する。プロセッサ１８は、任意の方法によって深度推定を行ってよい。プロセッサ１８は、例えば、機械学習により構築された深度推定モデルを用いて、深度推定を行ってよい。プロセッサ１８は、例えば撮像画像の各画素に対応する物点の、移動体１１の撮像部１３からの深度ＤＥＰＴＨ＿Ｙを推定してもよい。プロセッサ１８は、深度推定を行う代わりに、LiDAR、超音波センサなどの測距センサを用いて検出する深度を用いてもよい。

【0029】

プロセッサ１８は、複数の箇所における前記深度及び画像座標を、複数の箇所それぞれに対応する三次元座標に変換する。具体的には、プロセッサ１８は、複数の各箇所、言換えると各画素の画像座標（ｕ，ｖ）及び複数の箇所それぞれに対して推定した深度を用いて、三次元座標に変換する。例えば、プロセッサ１８は、画像座標から、変換式を用いて三次元座標の単位ベクトル（ｅｘ，ｅｙ，ｅｚ）を算出する。プロセッサ１８は、三次元座標の単位ベクトルにおける奥行き方向成分座標ｅｙで、推定した深度ＤＥＰＴＨ＿Ｙを割ることにより、スケール（実距離）パラメータＫを算出する。Ｋは、三次元座標の単位ベクトルと位置ベクトルとの比を示す。プロセッサ１８は、Ｋを単位ベクトルの全成分（ｅｘ，ｅｙ，ｅｚ）に乗じることにより、三次元座標を算出する。

【0030】

プロセッサ１８は、三次元座標に基づき撮像画像とは視点が異なる視点変更画像を生成する。プロセッサ１８は、各画素の画素値を、算出した三次元座標に対応付ける。プロセッサ１８は、視点変更画像に対応する特定の方向から見た視点変更画像の二次元座標に、算出した三次元座標を変換する。プロセッサ１８は、三次元座標に対応付けられた画素値を、視点変更画像の二次元座標に配置することにより視点変更画像を生成する。視点変更画像の視点は、例えば、図３及び４に示すような移動体１１の鉛直上方から鉛直下方を向く。

【0031】

プロセッサ１８は、撮像画像において被写体３０で隠れた部分（以下、「不可視部分」という）を視点変更画像において、明示する態様で表示する。具体的には、上述のように、プロセッサ１８は、撮像画像を構成する各画素を、上面視画像で対応する位置に移動させる。プロセッサ１８は、上面視画像の一部に生じる、画像を構成する画素が存在しない領域Ｒａを、不可視部分と認定する。プロセッサ１８は、不可視部分に認定した領域Ｒａを色付け等により明示させる。

【0032】

プロセッサ１８は、不可視部分に認定した領域Ｒａを生じさせる被写体３０を正面上方から見た図を、拡大して表示してもよい。具体的に、図３を参照して、プロセッサ１８は、領域Ｒａにおいて移動体１１に最も近い部分及び当該部分の近傍３１を、拡大して表示する。当該部分の近傍３１には被写体３０が映る。それゆえ運転者は、拡大表示を見て、被写体３０の詳細を認識し得る。

【0033】

プロセッサ１８は、複数の撮像画像それぞれから複数の視点変更画像を生成してもよい。複数の視点変更画像の視点は同じであってよい。プロセッサ１８は、当該複数の視点変更画像を合成して、図４に示す単一の視点変更画像を生成してもよい。

【0034】

以下、プロセッサ１８が単一の視点変更画像を生成する処理の例が示される。プロセッサ１８は、上述したように、４つの撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄそれぞれの撮像画像から、同じ視点の４つの視点変更画像を生成する。プロセッサ１８は、４つの視点変更画像の中の、部分的に重複する２つの視点変更画像の重複部分については当該２つの視点変更画像の少なくとも一方の画素を用いて合成画像を作成する。プロセッサ１８は、重複部分について２つの視点変更画像のそれぞれの画素を用いる場合、２つの画素の画素値の平均値、重み付け平均値等を当該画素の画素値に定めてよい。

【0035】

図４に示すような、複数の視点変更画像を合成した画像においても、画像を構成する画素が存在しない領域Ｒ’が存在する。プロセッサ１８は、当該領域Ｒ’を不可視部分と認定し、上面視画像において、色付け等により明示させる。

【0036】

本実施形態では、撮像装置１０ａ，１０ｂ，１０ｃ，１０ｄの一つの撮像範囲が、他の撮像装置の撮像範囲と重複する。撮像位置が異なりながら撮像範囲が重複することで、プロセッサ１８は、ある撮像装置の撮像画像において被写体の裏に位置する部分を、他の撮像画像に基づいて補完し得る。具体的に、複数の視点変更画像の合成画像では、プロセッサ１８が上述のような合成を行うことにより、撮像装置１０ａの撮像画像において被写体３０の裏に位置する部分が、他の撮像装置１０ｂの撮像画像に基づいて補完され得る。撮像装置１０ａに対応する視点変更画像における、不可視部分に認定した領域Ｒａの一部の領域Ｒａｏは、撮像装置１０ｂに対応する視点変更画像により補完される。また、撮像装置１０ｂに対応する視点変更画像における不可視部分に認定した領域Ｒｆの一部の領域Ｒｂｏが、撮像装置１０ａに対応する視点変更画像により補完される。プロセッサ１８は、当該領域Ｒａｏ及びＲｂｏを、例えば不可視部分Ｒ’とは異なる色付けにより明示させてもよい。

【0037】

プロセッサ１８は、図４に示すような、不可視部分に認定した領域Ｒ’を生じさせる被写体３０を正面上方から見た図を生成する。具体的に、プロセッサ１８は、領域Ｒ’において移動体１１に最も近い部分及び当該部分の近傍３１を、拡大して表示する。

【0038】

プロセッサ１８は、撮像画像から路面の種類を認識してよい。路面は、例えば、車道及び歩道である。プロセッサ１８は、歩道を示す領域Ｒｆを、図３及び４の横縞模様のように、ユーザに示してもよい。路面の種類の認識は、任意の方法によって行われてよい。プロセッサ１８は、例えば、上述した三次元座標から得られる路面の高さ情報を利用して認識を行ってよい。一般に、車道と非車道路面との間には高低差が存在する。非車道路面は、車道よりも高いことが一般的である。プロセッサ１８は、車道と非車道路面との間の高低差を利用して、路面の種類の認識精度を向上し得る。

【0039】

次に、本実施形態においてプロセッサ１８により実行される、視点変更画像を生成する処理が、図５のフローチャートを用いて説明される。プロセッサ１８は、視点変更画像を生成する処理を、例えば撮像部１３から１フレームの画像を取得するたびに開始する。

【0040】

ステップＳ１００において、プロセッサ１８は、撮像部１３に画像を撮像させる。プロセッサ１８は、画像インタフェース１５を介して、撮像部１３に生成させた撮像画像を取得する。ステップＳ１０１において、プロセッサ１８は、受信した撮像画像に対して深度推定を行う。ステップＳ１０２において、プロセッサ１８は、撮像画像の各画素に対してステップＳ１０１において推定した深度を用いて、三次元座標変換を行う。ステップＳ１０３において、プロセッサ１８は、三次元座標に基づき撮像画像とは視点が異なる視点変更画像を生成する。ステップＳ１０４において、プロセッサ１８は、撮像画像から路面の種類を認識する。

【0041】

ステップＳ１０５において、プロセッサ１８は、複数の撮像画像別に、複数の視点変更画像を生成し、前記複数の視点変更画像を合成して単一の視点変更画像を生成する。ステップＳ１０６において、プロセッサ１８は、撮像画像における不可視部分を認定する。更に、プロセッサ１８は、視点変更画像において、不可視部分に認定した領域を色付ける。

【0042】

視点変更画像が二次元の画像座標のみに基づいて生成される構成では、高さの大きな物体は歪んで大きく表示されることがある。これに対し、本実施形態の画像処理装置１４は、撮像画像の複数の箇所における深度を推定し、複数の箇所における前記深度及び画像座標を前記複数の箇所それぞれに対応する三次元座標に変換し、三次元座標に基づき撮像画像とは視点が異なる視点変更画像を生成する。このような構成により、画像処理装置１４は、物体の高さに基づいて視点変更画像を生成する。それゆえ、画像処理装置１４は、歪みが軽減された視点変更画像を提供し得る。

【0043】

また、本実施形態の画像処理装置１４は、視点変更画像に、不可視部分であることを、すなわち撮像画像において被写体で隠れた部分であることを示すように表示させた画像を生成する。このような構成により、画像処理装置１４は、運転者に当該部分を注意させ得る。

【0044】

また、本実施形態の画像処理装置１４は、複数の撮像画像の中の一つの撮像画像における被写体の裏に位置する部分を、該一つの撮像画像以外の前記複数の撮像画像に基づいて補完する。それゆえに、画像処理装置１４は、歪みが軽減された視点変更画像同士で補完し、歪みが軽減された状態でより不可視領域の少ない画像を作成し得る。

【0045】

また、本実施形態の画像処理装置１４は、前記複数の撮像画像別に、複数の前記視点変更画像を生成し、前記複数の視点変更画像を合成して単一の視点変更画像を生成する。このような構成により、画像処理装置１４は、より広い領域を表示する視点変更画像を生成し得る。

【0046】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【符号の説明】

【0047】

１０ａ，１０ｂ，１０ｃ，１０ｄ 撮像装置
１１ 移動体
１２ 本体
１３ 撮像部
１４ 画像処理装置
１５ 画像インタフェース
１６ 記憶部
１７ 送信部
１８ プロセッサ
１９ 外部機器
３０ 被写体
３１ 拡大表示される部分
Ｆａ，Ｆｂ，Ｆｃ，Ｆｄ 視野
Ｒ１，Ｒ２，Ｒ’ 不可視領域に認識された領域
Ｒａｏ，Ｒｂｏ 補完された領域
Ｒｆ 歩道を示す領域

【図1】

【図2】

【図3】

【図4】

【図5】