特許 7169422 携帯機器および表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-01

(45)【発行日】2022-11-10

(54)【発明の名称】携帯機器および表示制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221102BHJP

   H04M 1/72439 20210101ALI20221102BHJP

   H04N 5/225 20060101ALI20221102BHJP

【ＦＩ】

H04N5/232 930

H04M1/72439

H04N5/232 380

H04N5/225 800

【請求項の数】 14

(21)【出願番号】P 2021206757

(22)【出願日】2021-12-21

(62)【分割の表示】P 2021003885の分割

【原出願日】2018-01-22

(65)【公開番号】P2022050443

(43)【公開日】2022-03-30

【審査請求日】2021-12-21

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】清水 宏

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】荒井 郁也

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】国際公開第２００８／０４４３０９（ＷＯ，Ａ１）

【文献】特開２０１４－２２０７２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｍ １／７２４３９

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

携帯機器であって、
当該携帯機器の周囲画像を取得する撮影部と、
前記周囲画像の少なくとも一部を表示するディスプレイと、
前記ディスプレイに表示する前記周囲画像の表示制御を行う表示制御部と、を備え、
前記表示制御部は、当該携帯機器の現在位置下の道路の延伸方向の画像を前記周囲画像から切り出して前記ディスプレイに表示するように制御すること、
を特徴とする携帯機器。

【請求項2】

請求項１記載の携帯機器であって、
前記表示制御部は、進行方向画像に基づいて前記道路の延伸方向を特定すること、
を特徴とする携帯機器。

【請求項3】

請求項２記載の携帯機器であって、
前記表示制御部は、ユーザ操作に基づいて前記道路の延伸方向を特定すること、
を特徴とする携帯機器。

【請求項4】

請求項３記載の携帯機器であって、
前記ユーザ操作は、前記進行方向画像へのタッチ操作であること、
を特徴とする携帯機器。

【請求項5】

請求項１から４のいずれか１項に記載の携帯機器であって、
前記表示制御部は、さらに、前記道路の延伸方向の画像と異なる画像または情報を前記ディスプレイに表示すること、
を特徴とする携帯機器。

【請求項6】

請求項１から５のいずれか１項に記載の携帯機器であって、
前記撮影部は、画角が１８０度以上の広角カメラを備え、当該広角カメラで前記周囲画像を取得すること、
を特徴とする携帯機器。

【請求項7】

請求項１から５のいずれか１項に記載の携帯機器であって、
前記撮影部は、前記ディスプレイと同一面および前記ディスプレイと異なる面に、それぞれ広角カメラを備え、当該広角カメラで前記周囲画像を取得すること、
を特徴とする携帯機器。

【請求項8】

周囲画像を取得する撮影部と、前記周囲画像の少なくとも一部を表示するディスプレイと、前記ディスプレイに表示する前記周囲画像の表示制御を行う表示制御部と、を備える携帯機器における当該表示制御部による表示制御方法であって、
当該携帯機器の現在位置下の道路の延伸方向の画像を前記周囲画像から切り出して前記ディスプレイに表示すること、
を特徴とする表示制御方法。

【請求項9】

請求項８記載の表示制御方法であって、
進行方向画像に基づいて前記道路の延伸方向を特定すること、
を特徴とする表示制御方法。

【請求項10】

請求項９記載の表示制御方法であって、
受け付けたユーザ操作に基づいて前記道路の延伸方向を特定すること、
を特徴とする表示制御方法。

【請求項11】

請求項１０記載の表示制御方法であって、
前記ユーザ操作は、前記進行方向画像へのタッチ操作であること、
を特徴とする表示制御方法。

【請求項12】

請求項８から１１のいずれか１項に記載の表示制御方法であって、
さらに、前記道路の延伸方向の画像と異なる画像または情報を前記ディスプレイに表示すること、
を特徴とする表示制御方法。

【請求項13】

請求項８から１２のいずれか１項に記載の表示制御方法であって、
前記撮影部は、画角が１８０度以上の広角カメラを備え、
前記周囲画像は、前記広角カメラで取得されること、
を特徴とする表示制御方法。

【請求項14】

請求項８から１２のいずれか１項に記載の表示制御方法であって、
前記撮影部は、前記ディスプレイと同一面および前記ディスプレイと異なる面に、それぞれ広角カメラを備え、
前記周囲画像は、当該広角カメラで取得されること、
を特徴とする表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯機器に関する。特に、携帯機器に進行方向の映像を表示する技術に関する。

【背景技術】

【0002】

携帯機器は、撮影装置と撮影した画像を表示する表示装置とを備える。これを利用し、進行方向を撮影した画像を、表示装置に表示する技術がある。例えば、特許文献１には、「撮影手段と、自機器の進行方向を特定する方向特定手段と、前記撮影手段に前記進行方向の映像を撮影させる撮影制御手段と、前記進行方向の映像と、ユーザの指示に基づいて表示された画像と、を表示する表示手段と、を備えることを特徴とする携帯機器（要約抜粋）。」が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－５３３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の技術によれば、携帯機器の表示画面に、ユーザの指示に基づいて表示される画像と撮影手段により撮影した映像とが同時に表示される。なお、ユーザの指示に基づいて表示される画像は、例えばゲーム等のアプリケーションの画面である。しかしながら、撮影手段は、携帯機器の正面、右４５度、左４５度の３方向にのみ配置され、ユーザの進行方向の変化に応じて、いずれかの撮影手段で取得した画像に切り換わる。４５度単位で表示映像が切り替わるため、ユーザにとって、見易いものとは言えない。また、これらのいずれかの撮影手段で取得した映像が表示されるため、必ずしも、ユーザの進行方向の映像とは限らない。従って、携帯機器の画面を見ながら移動するユーザにとって、必要な情報を適切に提供できていない。

【0005】

本発明は、上記事情に鑑みてなされたもので、携帯機器において、利便性を低下させることなく、ユーザに必要な周囲の情報を適切に提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、ユーザが保持する携帯機器であって、当該携帯機器の周囲全方向を最大値とする超広角度の画像を、第一の時間間隔で取得する撮影部と、当該携帯機器の進行方向を、第二の時間間隔で算出する進行方向算出部と、前記進行方向算出部が前記進行方向を算出する毎に、最新の前記画像から、当該進行方向を中心とする所定範囲の画像を進行方向画像として切り出す画像切出部と、前記進行方向画像を、当該携帯機器のディスプレイの予め定めた進行方向表示領域に表示する表示制御部と、を備え、前記表示制御部は、前記ディスプレイの、前記進行方向表示領域とは異なる第一表示領域に、ユーザが指定した映像を表示させることを特徴とする。

【発明の効果】

【0007】

携帯機器において、利便性を低下させることなく、ユーザに必要な周囲の情報を適切に提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】（ａ）および（ｂ）は、第一の実施形態の概要を説明するための説明図である。

【図2】第一の実施形態の携帯機器のハードウェア構成図である。

【図3】第一の実施形態の携帯機器の機能ブロック図である。

【図4】（ａ）および（ｂ）は、第一の実施形態の全周カメラを説明するための説明図である。

【図5】（ａ）は、一般のカメラの光学系構成を、（ｂ）および（ｃ）は、第一の実施形態の全周カメラの光学系構成を、それぞれ説明するための説明図である。

【図6】第一の実施形態の画素位置と撮影方向との関係を説明するための説明図である。

【図7】（ａ）および（ｂ）は、第一の実施形態の進行方向と画素位置との関係を説明するための説明図である。

【図8】第一の実施形態の進行方向画像表示処理のフローチャートである。

【図9】（ａ）および（ｂ）は、それぞれ、第二の実施形態の概要を説明するための説明図である。

【図10】第二の実施形態の携帯機器の機能ブロック図である。

【図11】（ａ）は、第二の実施形態の、進行方向算出処理のフローチャートであり、（ｂ）および（ｃ）は、それぞれ、第二の実施形態の進行方向算出処理を説明するための説明図である。

【図12】第二の実施形態の変形例を説明するための説明図である。

【図13】（ａ）～（ｃ）は、本発明の実施形態の変形例のカメラを説明するための説明図である。

【図14】（ａ）～（ｅ）は、本発明の実施形態の変形例のカメラを説明するための説明図である。

【図15】（ａ）および（ｂ）は、本発明の実施形態の変形例のカメラを説明するための説明図である。

【図16】（ａ）～（ｅ）は、本発明の実施形態の変形例のカメラを説明するための説明図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本発明の実施形態について説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り、同一の符号を付し、繰り返しの説明は省略する。また、以下、本明細書では、動画、静止画を併せて、画像と呼ぶ。

【0010】

＜＜第一の実施形態＞＞
まず、本発明の第一の実施形態の概要を説明する。本実施形態の携帯機器は、３次元面で全方向（３６０度全周（全天周））の画像を取得可能なカメラを備え、継続的に全周の画像を取得する。そして、その中から、ユーザの進行方向の画像を抽出し、携帯機器のディスプレイに表示する。ユーザの進行方向は、携帯機器に備えられたセンサにて決定する。

【0011】

図１（ａ）に示すように、本実施形態では、ユーザ１０１は、携帯機器１００を携帯し、そのディスプレイ１１０の表示を見ながら移動する。このとき、携帯機器１００では、所定のアプリケーションが稼動し、図１（ｂ）に示すように、当該アプリケーションの画像が、ディスプレイ１１０の一部の領域１１２に表示される。また、ディスプレイ１１０の他の領域１１１には、ユーザ１０１の進行方向の画像が表示される。

【0012】

以下、領域１１２を、第一表示領域１１２と呼ぶ。また、領域１１１を、進行方向表示領域１１１と呼ぶ。

【0013】

図１（ｂ）の例では、所定のアプリケーションとして、例えば、ゲームのアプリケーションが稼動する。従って、第一表示領域１１２には、ゲームのアプリケーションに関する画像が表示される。すなわち、第一の表示領域は、任意のアプリケーションの画像を表示する任意のアプリ画面である。

【0014】

また、進行方向表示領域１１１には、携帯機器１００が備えるカメラ１２０で撮影した画像から切り出した、ユーザ１０１の進行方向の画像が表示される。本実施形態では、カメラ１２０は、常時、携帯機器１００の周囲３６０度の画像を取得する。そして、携帯機器１００は、自身が備える各種のセンサ信号からユーザ１０１の進行方向を決定し、当該方向の画像を抽出し、進行方向表示領域１１１にその画像を表示する。

【0015】

これを実現する本実施形態の携帯機器１００のハードウェア構成を説明する。図２は、本実施形態のハードウェア構成図である。

【0016】

本図に示すように、携帯機器１００は、ディスプレイ１１０と、カメラ１２０と、ＣＰＵ１３０と、記憶装置１４０と、センサ１５０と、通信器１６０と、ハードウェアスイッチ（ハードＳＷ）１７０と、拡張インタフェース（Ｉ／Ｆ）１８０と、システムバス１３１と、を備える。

【0017】

ＣＰＵ１３０は、携帯機器１００全体を制御するマイクロプロセッサユニットである。システムバス１３１はＣＰＵ１３０と携帯機器１００内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。システムバス１３１は、ＣＰＵ１３０から伸びており、システムバス１３１にＣＰＵ１３０により制御されたり、情報を取得したりするハードウェアが接続される。

【0018】

記憶装置１４０は、フラッシュメモリ１４１と、ＳＤ－ＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４２と、外部メモリインタフェース（Ｉ／Ｆ）１４３と、を備える。

【0019】

フラッシュメモリ１４１は、ストレージとして機能する。フラッシュメモリ１４１には、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラム、動作プログラムの動作に必要な各種のデータ等が格納される。例えば、頻繁に更新されない、地図データ等も保存される。

【0020】

ＳＤ－ＲＡＭ１４２は、基本動作プログラムやその他の動作プログラム実行時のワークエリアである。

【0021】

外部メモリＩ／Ｆ１４３は、例えば、メモリカード等の外部メモリの接続インタフェースである。外部メモリには、音楽データや動画データ等、容量が嵩むが、アクセス速度が重視されないデータが格納される。外部メモリには、本実施形態では、例えば、カメラ１２０で撮影した画像ファイルやネットワークからダウンロードしたデータ等が格納される。

【0022】

なお、フラッシュメモリ１４１およびＳＤ－ＲＡＭ１４２は、ＣＰＵ１３０と一体構成であっても良い。また、フラッシュメモリ１４１に記憶された各動作プログラムは、例えば、ネットワーク１０５上の各配信サーバからのダウンロード処理により更新および機能拡張することができる。

【0023】

通信器１６０は、近接無線通信器１６１と、無線通信器１６２と、電話網通信器１６３と、無線ＬＡＮＩ／Ｆ１６４と、を備える。

【0024】

近接無線通信器１６１は、例えば、ＮＦＣタグリーダ等であり、例えば、買い物時等に、商品に貼り付けられているＮＦＣタグを読み取るために用いられる。無線通信器１６２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等のインタフェースである。電話網通信器１６３は、移動体電話通信網の基地局との無線通信により、通話およびデータの送受信を行うインタフェースである。無線ＬＡＮＩ／Ｆ１６４は、公共のＷｉ－Ｆｉステーション等を経由してネットワーク１０５に接続するＩ／Ｆである。

【0025】

なお、通信器１６０は、携帯機器１００の現在位置の測定にも応用して利用することができる。

【0026】

センサ１５０は、携帯機器１００の位置や状態を検出するためのセンサ群である。本実施形態では、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器１５１と、ジャイロセンサ１５２と、気圧計（高度計）１５３と、加速度センサ１５４と、地磁気センサ１５５と、を備える。

【0027】

加速度センサ１５４は、携帯機器１００の加速度を検出する。本実施形態では、携帯機器１００に設定された機器座標系のｘ、ｙ、ｚ各軸方向の加速度を検出する。検出される値の単位は、重力加速度を基準とした「Ｇ」（１．０Ｇは約９．８ｍ／ｓ２）である。測定した加速度は、一度積分することで、携帯機器１００の移動速度を、もう一度積分することで、携帯機器１００の移動距離を、それぞれ、算出することが出来る。算出された移動速度および移動距離は、他のセンサの検出結果と併せて、後述するように、携帯機器１００の進行方向や地図の上の位置の算出に利用することが出来る。

【0028】

ジャイロセンサ１５２は、携帯機器１００の姿勢（傾き）を検出する。本実施形態では、携帯機器１００に設定された機器座標系のｘ、ｙ、ｚ各軸を中心とした回転の速度（角速度）を検出する。検出される角速度の単位は、ｒａｄ／ｓ（ラジアン毎秒）である。

【0029】

ＧＰＳ受信器１５１は、ＧＰＳ衛星等の測位衛星からの信号を受信し、携帯機器１００の現在位置を測定する電波受信処理部である。気圧計（高度計）１５３は、気圧を計測し、計測した気圧から、現在の高度（標高）を算出する。地磁気センサ１５５は、地磁気の方向を検出し、携帯機器１００の方位を出力する。ＧＰＳ受信器１５１が検出する現在位置、気圧計１５３が計測する標高、地磁気センサ１５５が出力する方位は、例えば、経度、緯度、標高を、ｘ、ｙ、ｚ値とする座標系等の値として出力される。

【0030】

これらのセンサ群により、携帯機器１００の位置、傾き、方角、動き等を検出する。なお、位置情報は、上述のようにＧＰＳ受信器１５１により取得する。しかし、ＧＰＳ電波が入りにくい場所等では、電話網通信器１６３により基地局の位置情報および電話通信電波の伝搬遅延を用いた位置情報取得方法により取得してもよい。また、無線ＬＡＮＩ／Ｆ１６４を介してＷｉ－ＦｉのＡＰ（アクセスポイント）装置の位置情報を用いて取得してもよい。また、これらのセンサ群は、必ずしも全てを備えていなくてもよい。

【0031】

ディスプレイ１１０は、例えば、液晶パネル等の表示デバイスであり、ＣＰＵ１３０で処理した画像データを表示し、ユーザに提供する。なお、画像信号プロセッサを備える場合は、画像データは、この画像信号プロセッサで処理してもよい。いずれにしても、図示を省略したビデオＲＡＭを備え、ビデオＲＡＭに入力された画像データに基づいてディスプレイ１１０が駆動される。また、ＣＰＵ１３０または画像信号プロセッサは、必要に応じてフォーマット変換、メニューやその他のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）信号の重畳処理等を行う。

【0032】

また、本実施形態では、ディスプレイ１１０は、携帯機器１００に対する操作指示の入力を受け付ける操作器の機能も兼ねる。本実施形態では、ディスプレイ１１０に重ねて配置したタッチパネルである。

【0033】

なお、操作指示は、ハードＳＷ１７０を介しても受け付ける。また、拡張Ｉ／Ｆ１８０に接続されたキーボード等の操作器を介して携帯機器１００への操作指示を受け付けてもよい。また、有線通信または無線通信により接続された別体の携帯情報端末機器を介して携帯機器１００への操作指示を受け付けてもよい。なお、ハードＳＷ１７０は、携帯機器１００を操作するための電源ＳＷ等である。

【0034】

拡張Ｉ／Ｆ１８０は、携帯機器１００の機能を拡張するためのインタフェース群である。本実施形態では、映像／音声Ｉ／Ｆ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）Ｉ／Ｆ等を備える。映像／音声Ｉ／Ｆは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。ＵＳＢＩ／Ｆは、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の他の装置と接続してデータの送受信を行う。また、キーボードやその他のＵＳＢ機器の接続を行っても良い。

【0035】

カメラ１２０は、レンズを介して入射した光を電気信号（デジタル情報）に変換するイメージセンサを備える撮影装置である。イメージセンサは、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の電子デバイスである。なお、イメージセンサから出力される電気信号を、ＲＡＷデータと呼ぶ。

【0036】

本実施形態では、少なくとも、全周カメラ１２１を備える。全周カメラ１２１は、携帯機器１００の周囲全方向（３６０度）を撮影可能なカメラである。全周カメラ１２１の詳細は、後述する。また、携帯機器１００のディスプレイ１１０側の面に配置される前面カメラ１２２と、携帯機器１００のディスプレイ１１０と反対側の面に配置される背面カメラ１２３を備えていてもよい。前面カメラ１２２は、例えば、ユーザ自身を撮影する。また、背面カメラ１２３は、通常の撮影を行う。

【0037】

［機能ブロック］
次に、本実施形態の携帯機器１００の機能について説明する。図３は、本実施形態の携帯機器１００の機能ブロック図である。ここでは、特に進行方向撮影表示機能に係る構成に主眼をおいて説明する。

【0038】

携帯機器１００は、撮影部２１１と、進行方向算出部２１２と、画像切出部２１３と、表示制御部２１４と、動作制御部２１５と、通信処理部２１６と、を備える。また、画像記憶部２２１と、データ記憶部２２２とを備える。

【0039】

撮影部２１１は、所定の時間間隔で、カメラ１２０を介して取得したＲＡＷデータを、画像データとして画像記憶部２２１に記憶する画像処理エンジンである。画像記憶部２２１は、カメラ１２０の各イメージセンサに対応する画素メモリを備える。撮影部２１１は、ＲＡＷデータに各種の画像処理を施し、対応する画素メモリに書き込む。なお、本実施形態では、カメラ１２０から出力されたデータであるＲＡＷデータを使う他、一般にカメラセンサと共に搭載される信号処理ＬＳＩを通して得られるＪＰＥＧ等の一般的な画像データを用いて処理を行ってもよい。

【0040】

本実施形態では、撮影部２１１は、全周カメラ１２１により取得された、携帯機器１００の周囲３６０度のＲＡＷデータを、全周画像として、画像記憶部２２１に記憶する。各イメージセンサの配置位置と、当該イメージセンサで取得するＲＡＷデータの撮影方向との関係については、後述する。なお、画像記憶部２２１に記憶する際、取得時刻も対応づけて記憶してもよい。また、撮影部２１１は、カメラ１２０に含まれていてもよい。

【0041】

進行方向算出部２１２は、携帯機器１００のユーザ１０１の進行方向を決定する。進行方向は、センサ１５０の出力を用いて決定する。本実施形態では、加速度センサ１５４の出力と、ジャイロセンサ１５２の出力と、を用いて決定する。

【0042】

本実施形態では、例えば、加速度センサ１５４の、機器座標系のｘ、ｙ、ｚ、各軸方向の出力値（各軸の成分）を積算することにより、その時点の各軸方向の速度を得、各軸方向の速度ベクトルの合成値として進行方向を決定する。このとき、ジャイロセンサ１５２の出力値を用い、基準の姿勢からの各軸方向の傾き分を補正する。例えば、ジャイロセンサ１５２により携帯機器１００の保持方向の傾きベクトルを検出する。そして、この傾きベクトルを用い、加速度センサ１５４の出力積分値（速度）が、地上に対する進行方向の速度になるよう補正する。本実施形態では、進行方向は、例えば、機器座標系の各軸方向の成分を有する単位ベクトルとして算出する。決定した進行方向は、画像切出部２１３に出力する。

【0043】

画像切出部２１３は、進行方向算出部２１２が決定した進行方向に対応する画像を、画像記憶部２２１に記憶される最新の画像から切り出す。本実施形態では、例えば、機器座標で表される進行方向を中心として、所定のサイズ（切出サイズ）の画像を、切り出し、抽出する。抽出した画像（進行方向画像）は、表示制御部２１４に出力される。

【0044】

なお、切出サイズは、予め定めておく。また、加速度センサ１５４の出力を用いて、携帯機器１００の速度を算出し、速度に応じて切出サイズを決定してもよい。すなわち、速度が速いほど、切出サイズを大きくする。

【0045】

また、このように、本実施形態では、進行方向算出部２１２が算出する進行方向は、進行方向画像として切出す画像の中心を決定するために用いる。このため、撮影部２１１が、カメラ１２０で取得したＲＡＷデータを画像記憶部２２１に記憶するタイミングと、進行方向算出部２１２が進行方向を算出するタイミングとは、同期していることが望ましい。しかしながら、必ずしも同期している必要はない。カメラ１２０からは、常時所定のフレームレートで動画像（ＲＡＷデータ）が出力される。このため、進行方向算出部２１２が進行方向を算出したタイミングで、その時点の最新のＲＡＷデータを処理すればよい。

【0046】

動作制御部２１５は、上述の進行方向表示機能以外の、携帯機器１００の各種機能の動作を制御する。例えば、各種機能は、ゲーム機能、情報処理機能、通話機能、情報送受信機能、ネットワーク検索機能等である。このうち、表示に係る情報、画像データ、動画データは、表示制御部２１４に出力する。ユーザからの指示は、ディスプレイ１１０およびハードＳＷ１７０を介して入力される。

【0047】

通信処理部２１６は、通信器１６０を介した通信を制御する。本実施形態では、動作制御部２１５の指示に従って通信を制御する。また、動作制御部２１５が制御に必要な情報を、通信器１６０を介して取得する。

【0048】

表示制御部２１４は、ディスプレイ１１０への表示を制御する。本実施形態では、図１（ｂ）に示すように、ディスプレイ１１０の表示領域を２つに分割し、進行方向表示領域１１１には、全周カメラ１２１で取得したデータから得た画像を、第一表示領域１１２には、ユーザが指示した処理結果の画像を表示するよう制御する。すなわち、進行方向表示領域１１１に画像切出部２１３から受け取った進行方向画像を表示させ、第一表示領域１１２に動作制御部２１５から受け取った画像を表示させる。

【0049】

これらの各部は、ＣＰＵ１３０が、フラッシュメモリ１４１に予め格納されたプログラムを、ＳＤ－ＲＡＭ１４２にロードして実行することにより実現される。また、画像記憶部２２１と、データ記憶部２２２とは、フラッシュメモリ１４１に設けられる。

【0050】

なお、各部が処理を行う際に必要なデータは、データ記憶部２２２に記憶される。また、処理途中に算出される中間データ、処理により得られる最終データも、データ記憶部２２２に記憶される。

【0051】

［全周カメラ］
ここで、本実施形態の全周カメラ１２１について説明する。全周カメラ１２１の説明にあたり、以下、本明細書では、携帯機器１００固有の機器座標系を用いる。機器座標系は、携帯機器１００の例えば、重心を原点とし、ディスプレイ１１０に直交する軸をｚ軸とする。また、ディスプレイに平行な平面において、短手方向をｘ軸方向、長手方向をｙ軸方向とする。なお、原点は、重心に限定されない。例えば、後述するように、全周カメラ１２１の主点であってもよい。

【0052】

全周カメラ１２１は、図４（ａ）および図４（ｂ）に示すように、２つの広角カメラ１２１ａと１２１ｂとで構成される。各広角カメラ１２１ａは、例えば、ｘ軸方向およびｙ軸方向に、それぞれ、１８０度の画角を有する。

【0053】

次に、全周カメラ１２１の光学系を、図５（ａ）～図５（ｃ）を用いて説明する。

【0054】

図５（ａ）は、一般のカメラの光学系構成を説明する図である。一般に、レンズの中心とみなす点を主点Ｐと呼ぶ。主点Ｐから距離ｆの位置にイメージセンサ３２０が配置される。ｆは、光学レンズの焦点距離である。

【0055】

図５（ａ）に示すように、カメラの光学系において、撮影する対象物（被写体）３３０の全ての箇所からの光は、必ず主点Ｐを通過してイメージセンサ３２０に投射される。これは所定の口径を有する光学レンズを用いた場合でも、ピンホールレンズと呼称される、例えば薄い紙に限りなく径がゼロに近い穴を設けたものを主点に設置しても同様である。

【0056】

この光学系を用いて、被写体３３０の下端をレンズの光軸３１１に合わせた状態で撮影する。なお、被写体３３０の上端の点は、光軸３１１と成す角度である画角（入射角）θｖの角度でレンズに入射し、イメージセンサ３２０の位置ｙａに投射されるものとする。このとき、位置ｙａの値は、以下の式（１）で算出される。
ｙａ＝ｆ・ｔａｎθｖ ・・・（１）

【0057】

この光学系により撮影できる最大画角θｍａｘは、焦点距離ｆとイメージセンサ３２０の大きさとに依存する。例えば、最大画角θｍａｘを９０度に近づけるようにするには、焦点距離ｆを限りなく小さくするか、イメージセンサ３２０の大きさを限りなく大きくする必要がある。本方式による撮影画角は、大きくてもθｍａｘ＝５０度程度、上下合わせておよそ１００度程度までが実用範囲とされている。

【0058】

本実施形態の全周カメラ１２１は、上述のように、ｙ軸方向およびｘ軸方向に１８０度の画角を有する広角カメラ１２１ａおよび１２１ｂを背中合わせに２台設置する。主点Ｐを、機器座標系の原点とし、レンズの光軸３１１をｚ軸方向とし、以下、説明する。

【0059】

この場合、図５（ｂ）に示すように、ｙ軸方向の入射角θｖでレンズに入射する光は、半径ｆとする仮想曲面３２０ａ上に投射される。この場合の、被写体３３０の上端の、仮想曲面３２０ａ上の投射位置ｙｂは、以下の式（２）で算出される。
ｙｂ＝ｆ・θｖ ・・・（２）
すなわち、機器座標系においてｙ軸方向の入射角θｖで入射した光が、仮想曲面３２０ａ上の位置ｙｂに結像される。

【0060】

同様に、図５（ｃ）に示すように、ｘ軸方向の画角（入射角）θｈでレンズに入射する光は、半径ｆの仮想曲面３２０ａ上の位置ｘｂに結像する。この場合の、被写体３３０の上端の、仮想曲面３２０ａ上の投射位置ｘｂは、以下の式（３）で算出される。
ｘｂ＝ｆ・θｈ ・・・（３）

【0061】

従って、ｘ軸方向、ｙ軸方向の入射角、すなわち、撮影方向（θｈ、θｖ）と、仮想曲面３２０ａ上の結像座標（ｘｂ、ｙｂ）と、の関係は、以下の式（４）で表される。
（ｘｂ、ｙｂ）＝（ｆ・θｈ、ｆ・θｖ） ・・・（４）

【0062】

実際のイメージセンサは、球面ではなく、図５（ａ）に示すような平面で構成される。本実施形態の全周カメラ１２１では、例えば、図６に示すように、光軸３１１からの距離ｘｂ、ｙｂに応じた位置に結像するよう光学系を構成する（等距離射影方式）。

【0063】

撮影部２１１は、被写体３３０の方向（光の入射方向；ｘ軸方向の入射角θｈとｙ軸方向の入射角θｖ）に応じて、式（４）で算出される位置のイメージセンサで取得したＲＡＷデータを、対応する画素位置の画像メモリに書き込み、画像データとして保存する。

【0064】

なお、図５（ａ）に示す平面構造のイメージセンサ３２０を用いて、図５（ｂ）に示す光学系を実現するためには、例えば、魚眼レンズの置かれた原点から見える像をそのまま仮想の半球面に貼り付け、光線の入射する角度と像高とが比例するように結像面上に画像を形成する魚眼レンズを用いる。具体的には、例えば、特開２００９－０５８６４８号公報の図６に開示されるような複雑なレンズ構成を以て光学系を構築することにより、図５（ａ）に相当する平面構造のイメージセンサ３２０で上述の画像を取得できる。

【0065】

［切出中心画素算出手法］
次に、上記全周カメラ１２１で取得した画像から、進行方向の画像を切り出す手法について説明する。画像切出部２１３は、切出し時において、進行方向算出部２１２が算出した進行方向の、ｘ軸方向成分とｙ方向成分とｚ成分とから、θｖとθｈとを算出し、対応する画素（ｘｂ、ｙｂ）を、切出中心画素として特定する。そして、切出中心画素を中心に、所定範囲の画素群を進行方向画像として抽出する。抽出する画素群の範囲は、ディスプレイ１１０の解像度に合わせて、予め定めておく。

【0066】

進行方向算出部２１２は、進行方向ＴＤを、機器座標系の、例えば、単位ベクトルとして算出する。例えば、図７（ａ）に示すように、進行方向ＴＤが得られた場合、画像切出部２１３は、まず、ｘｚ平面に垂線をおろし、進行方向ＴＤの、ｘ軸方向の入射角θｈに相当する角度ＴＤｈを算出する。また、ｙｚ平面に垂線をおろし、進行方向ＴＤの、ｙ軸方向の入射角θｖに相当する角度ＴＤｖを算出する。

【0067】

なお、図７（ｂ）に示すように、進行方向ＴＤとして得られた単位ベクトルの各軸方向の成分を、ｘｐ、ｙｐ、ｚｐ、とすると、ＴＤｈ、ＴＤｖは、それぞれ、以下の式（５）、式（６）で表される。
ＴＤｈ＝ａｒｃｔａｎ（ｘｐ／ｚｐ） ・・・（５）
ＴＤｖ＝ａｒｃｔａｎ（ｙｐ／ｚｐ） ・・・（６）
従って、切出中心画素（ｘｂ、ｙｂ）の各成分は、以下の式（７）、式（８）で表される。
ｘｂ＝ｆ・ＴＤｈ＝ｆ・ａｒｃｔａｎ（ｘｐ／ｚｐ）・・・（７）
ｙｂ＝ｆ・ＴＤｖ＝ｆ・ａｒｃｔａｎ（ｙｐ／ｚｐ）・・・（８）

【0068】

画像切出部２１３は、進行方向算出部２１２が算出した進行方向の単位ベクトルの、各軸方向の成分から、上記手順で切出中心画素を求め、当該画素を中心に、所定範囲の画素群を切り出し、進行方向画像とする。

【0069】

［進行方向画像表示処理］
次に、本実施形態の携帯機器１００による、進行方向画像表示処理の流れを説明する。図８は、本実施形態の進行方向画像表示処理の処理フローである。本処理は、携帯機器１００の、進行方向表示機能の開始の指示を受け付けたことを契機に、所定の時間間隔で実行される。所定の時間間隔は、例えば、１秒ごと、１０秒ごと等、ごく短期間に設定される。なお、進行方向表示機能開始の指示は、ディスプレイ１１０を介して、または、ハードＳＷ１７０を介して受け付ける。

【0070】

なお、下記説明では、撮影部２１１による画像取得タイミング、すなわち、画像記憶部２２１への画像記憶タイミングと、進行方向算出部２１２による、進行方向算出タイミングとは、同期しているものとして説明する。

【0071】

まず、撮影部２１１が、カメラ１２０で取得した画像を、画像記憶部２２１に記憶する撮影を行う（ステップＳ１１０１）。この時、各撮影領域のデータは、上記式（４）で特定される画素位置に記憶する。

【0072】

また、進行方向算出部２１２は、センサ１５０で取得した信号から、携帯機器１００の進行方向ＴＤを算出する（ステップＳ１１０２）。算出結果は、機器座標系の各軸方向の成分で表される単位ベクトルとする。

【0073】

なお、撮影部２１１による画像取得処理と、進行方向算出部２１２による進行方向決定処理とは、どちらを先に行ってもよい。

【0074】

進行方向算出部２１２が進行方向を取得すると、画像切出部２１３は、進行方向ＴＤに対応する切出中心画素（ｘｂ、ｙｂ）を上記手法で特定し、進行方向画像を切り出す（ステップＳ１１０３）。

【0075】

表示制御部２１４は、進行方向算出部２１２が、進行方向画像を切り出すと、進行方向表示領域１１１に表示する画像を、新たに切出された画像に更新し（ステップＳ１１０４）、処理を終了する。

【0076】

この間、動作制御部２１５は、ユーザからの指示に従って、その他のアプリケーションを動作させ、第一表示領域１１２に、関連画像を表示させる。

【0077】

以上説明したように、本実施形態の携帯機器１００は、当該携帯機器１００の周囲全方向の画像を、第一の時間間隔で取得する撮影部２１１と、当該携帯機器１００の進行方向ＴＤを、第二の時間間隔で算出する進行方向算出部２１２と、進行方向算出部２１２が進行方向を算出する毎に、最新の画像から、当該進行方向ＴＤを中心とする所定範囲の画像を進行方向画像として切り出す画像切出部２１３と、進行方向画像を、当該携帯機器のディスプレイ１１０の予め定めた進行方向表示領域１１１に表示する表示制御部２１４と、を備える。なお、表示制御部２１４は、ディスプレイ１１０の、進行方向表示領域１１１とは異なる第一表示領域１１２に、ユーザが指定した映像を表示させる。

【0078】

このように、本実施形態によれば、携帯機器１００のディスプレイ１１０は、進行方向の映像を表示する進行方向表示領域１１１と、ユーザが実行しているアプリケーションに関する画像および／または情報を表示する第一表示領域１１２とを備える。そして、ユーザの進行方向を、ごく短い所定の時間間隔で算出し、当該進行方向を中心とする所定範囲の画像を、略リアルタイムで進行方向表示領域１１１に表示する。

【0079】

このため、ユーザは、アプリケーションの表示と同時に、進行方向の映像を、見ることができる。また、進行方向の映像は、ごく短い時間間隔で常に取得した全周画像から切出したものである。ユーザの進行方向の変化に追従して、滑らかに変化する。従って、利便性を低下させることなく、ユーザにとって必要な周囲の情報を、適切に提供できる。

【0080】

これにより、本実施形態の携帯機器１００では、他のアプリケーション起動時も、進行方向の画像がディスプレイ１１０に表示される。従って、ユーザ１０１は、他のアプリケーション実行時であっても、進行方向の状況を確認できる。このため、進行方向前方の障害物を事前に認識でき、例えば、他の人や物などの障害物への衝突を回避できる。

【0081】

＜＜第二の実施形態＞＞
次に、本発明の第二の実施形態を説明する。第一の実施形態では、進行方向を、携帯機器１００に搭載されたセンサからの信号のみを用いて算出している。これに対し、本実施形態では、進行方向の決定に、さらに、地図データの情報を加味する。

【0082】

本実施形態の携帯機器１００は、基本的に第一の実施形態と同様の構成および機能を有する。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。

【0083】

図９（ａ）に示すように、ユーザ１０１が歩行している道路４１９がカーブしていることがある。このような場合、携帯機器１００に搭載されているセンサのみで、進行方向を決定すると、進行方向ＴＤは、例えば、矢印４１１の方向と決定される。しかしながら、実際にユーザ１０１が進行する方向は、矢印４１２の方向である。本実施形態では、地図データを用いて、算出された進行方向を補正する。

【0084】

これを実現する、本実施形態の携帯機器１００のハードウェア構成は、第一の実施形態と同様である。本実施形態の携帯機器１００の機能ブロック図を図１０に示す。本実施形態の携帯機器１００の機能ブロックは、基本的に第一の実施形態と同様である。

【0085】

ただし、本実施形態では、第一の実施形態の構成に加え、進行方向補正部２１７をさらに備える。また、フラッシュメモリ１４１には、地図データを記憶する地図記憶部２２３をさらに備える。なお、地図記憶部２２３は、外部メモリ等に設けられてもよい。地図データは、例えば、通信器１６０を介して、ネットワーク上から取得される。

【0086】

地図データは、例えば、地物をポイントとラインとポリゴンとの３要素の座標、接続関係で表現したベクトル地図データとする。以下、地図データに用いられる座標には、例えば、ＵＴＭ座標系、平面直角座標系、ＷＧＳ８４座標系等がある。以下、本明細書では、基準点を設定して、各座標値を、緯度と経度と標高とで表現する座標系（地理座標系）を用いる。

【0087】

本実施形態の進行方向算出部２１２は、第一の実施形態と同様の手法で、携帯機器１００の進行方向ＴＤを特定する。以下、進行方向算出部２１２が、加速度センサ１５４およびジャイロセンサ１５２との出力を用いて算出する進行方向ＴＤを、算出進行方向と呼ぶ。

【0088】

進行方向補正部２１７は、算出進行方向を補正する。補正は、地図データと、ＧＰＳ受信器１５１が取得した、携帯機器１００の現在位置の情報とを用いて行う。補正後の進行方向を、補正進行方向と呼ぶ。

【0089】

［補正進行方向算出処理］
進行方向算出部２１２による補正進行方向算出処理の流れを、図１１（ａ）および図１１（ｂ）を用いて説明する。図１１（ａ）は、補正進行方向算出処理の処理フローである。

【0090】

まず、進行方向算出部２１２は、第一の実施形態の手法で、算出進行方向４２１を算出する（ステップＳ２１０１）。算出進行方向４２１は、図１１（ｂ）に示すように、携帯機器１００の機器座標系での単位ベクトルとして算出される。

【0091】

次に、進行方向補正部２１７は、ＧＰＳ受信器１５１からの信号により、携帯機器１００の現在位置４２２を決定する（ステップＳ２１０２）。現在位置は、図１１（ｃ）に示すように、地理座標系の値として算出される。

【0092】

そして、進行方向補正部２１７は、機器座標系の原点を現在位置４２２とし、算出進行方向４２１を、地理座標系の値に変換し、変換進行方向４２３を算出する（ステップＳ２１０３）。また、進行方向補正部２１７は、地理座標系での現在位置４２２の情報と、地図データとから、携帯機器１００のユーザ１０１が現在いる道路４２９を特定する（ステップＳ２１０４）。

【0093】

進行方向補正部２１７は、道路４２９を特定すると、地図データを用いて、進行方向候補を算出する（ステップＳ２１０５）。進行方向候補は、例えば、現在位置４２２上を通る道路４２９の伸びる方向、および、所定範囲内の分岐路の伸びる方向とする。例えば、図１１（ｃ）の例では、進行方向候補は、進行方向候補４２４と、進行方向候補４２５との２方向が抽出される。なお、進行方向候補を抽出する範囲は、予め定めておいてもよいし、加速度センサ１５４の出力から得られるユーザ１０１の速度に応じて決定するよう構成してもよい。

【0094】

そして、進行方向補正部２１７は、変換進行方向４２３について、抽出された各進行方向候補４２４、４２５の成分を算出する。成分は、正負も含めて算出する。そして、成分が最も大きい方向を、補正進行方向と決定する（ステップＳ２１０６）。例えば、図１１（ｃ）の例では、進行方向候補４２４方向の成分は正の値である。一方、進行方向候補４２５方向の成分は、負の値である。従って、進行方向候補４２４が、補正進行方向と決定される。

【0095】

そして、進行方向補正部２１７は、決定した補正進行方向を、機器座標系に変換し（ステップＳ２１０７）、処理を終了する。

【0096】

なお、進行方向を決定後の処理は、第一の実施形態と同様である。ただし、本実施形態では、算出進行方向４２１の代わりに、補正進行方向を用いて、画像切出部２１３は、画像を切り出す。

【0097】

以上説明したように、本実施形態の携帯機器１００は、第一の実施形態の構成に加え、地図データを用いて、算出した進行方向を補正する進行方向補正部２１７をさらに備える。すなわち、本実施形態によれば、地図データも用いて進行方向を決定する。このため、より高い精度で進行方向が決定され、移動中にユーザに必要な情報を提供することができる。

【0098】

また、本実施形態によれば、例えば、図９（ｂ）に示すように、進行方向の先で、道路４１９が道路４１７と道路４１８とに分岐している場合であっても、高い精度でユーザ１０１に、進行方向の情報を提供し続けることができる。

【0099】

携帯機器１００を保持するユーザ１０１は、分岐点４１６に近づくにつれて、進みたい道路の方向に進行方向を変えていく。本実施形態では、抽出される複数の進行方向候補の中から、算出進行方向（変換進行方向）４２３の成分の大きい進行方向候補が選択される。従って、補正進行方向として、ユーザが進みたい道路の方向が、補正進行方向として算出される可能性が高い。

【0100】

例えば、図９（ｂ）の例では、道路４１９上を歩いているユーザ１０１が、分岐点４１６から、道路４１７に進みたい場合、ユーザ１０１は、分岐点４１６までは、道路４１９に沿って移動する。このため、算出進行方向（変換進行方向）４２３の成分は、道路４１９の延伸方向の道路４１８方向が、大きくなる。このため、道路４１８の延伸方向が補正進行方向として算出され、対応する進行方向画像がディスプレイ１１０に表示される。

【0101】

分岐点４１６に近づくにつれ、ユーザ１０１は、進行方向を、道路４１７の方向に向ける。これにより、所定のタイミングで、算出進行方向（変換進行方向）４２３の成分が最も大きい進行方向候補として、道路４１７の延伸方向が選択される。そして、道路４１７の延伸方向が補正進行方向として決定され、対応する進行方向画像がディスプレイ１１０に表示される。

【0102】

なお、進行方向は、ユーザ１０１が指定可能なように構成してもよい。この場合、進行方向補正部２１７は、ディスプレイ１１０を介して、ユーザからの進行方向の指示を受け付ける。具体的には、例えば、図１２に示すように、ユーザ１０１は、画面に表示されている進行方向画像上で、所望の進行方向を、例えば、タッピング等により指定する。

【0103】

ユーザ１０１からの指定を受け、進行方向補正部２１７は、表示されている進行方向画像と地図データとを参照し、補正進行方向を決定する。

【0104】

＜変形例＞
なお、上記各実施形態では、進行方向画像を切り出す元となる画像として、全天球の画像を取得しているが、これに限定されない。周囲全方向を最大値とする超広角度画像であればよく、例えば、半天球の画像であってもよい。さらに、携帯機器１００の、例えば、ｙ軸を中心軸とする円筒面の画像であってもよい。

【0105】

例えば、図１３（ａ）に示すように、携帯機器１００の、背面側の所定範囲を撮像可能なカメラ１２４であってもよい。この場合、カメラ１２４は、携帯機器１００の先端（上端）に、その光学系の光軸１２４ａｘが、携帯機器１００の中心軸の１つであるｙ軸に対して、Δａｘだけ、携帯機器１００の背面側に傾くよう配置される。

【0106】

一般に、ユーザ１０１は、携帯機器１００を、ユーザ１０１に正対した垂直位置から、ディスプレイ１１０の画面が上に向く方向に少し傾いた角度で保持する。携帯機器１００のｙ軸と光軸１２４ａｘとを一致させると、カメラ１２４は、上空を向いた状態になり、有効撮影領域が減る。ユーザ１０１のこのような保持姿勢に対応して、本変形例では、地面側の撮影角度を増やすために、上述のようにカメラ１２４を配置する。

【0107】

図１３（ｂ）は、図１３（ａ）に示すようにカメラ１２４を配置した場合の、携帯機器１００を正面から見たときの撮影画角１２４ａｇを示す。撮影画角１２４ａｇは、１８０度を超える広角とする。このカメラ１２４の画角とセンサ画素数は、広角でありながら適度に解像度を確保できるバランスで選定される。

【0108】

カメラ１２４を、このような構成にすることにより、全周カメラ１２１でなくても、また、進行方向と、携帯機器１００の保持方向とが大きく異なる場合であっても、進行方向の画像を得ることができる。

【0109】

また、図１３（ｃ）に示すように、２つの広角のカメラ１２５と１２６とが、携帯機器１００の前面と背面とに、所定の角度を成して配置される構成のカメラを備えてもよい。２つの広角のカメラ１２５、１２６は、それぞれ、光軸１２５ａｘ、１２６ａｘが、携帯機器１００のｚ軸と、所定の角度を成すように配置される。図１３（ｃ）に示す例では、所定の角度は、θｂ（０°＜θｂ＜１８０°）である。この場合、例えば、２つの広角のカメラ１２５、１２６それぞれで取得した元データは、それぞれ、別の画素メモリに配置される。

【0110】

これにより、両カメラ１２５、１２６の画角が、それぞれ、１８０度以内であっても、両カメラ１２５、１２６の撮影画像を合成することで、相互のカメラ１２５、１２６の死角を補い、広範囲の画像を得ることができる。

【0111】

なお、全周カメラは、前面カメラ１２２および背面カメラ１２３にアタッチメントを取り付けて実現してもよい。この場合の構成例を、図１４（ａ）～図１４（ｅ）を用いて説明する。

【0112】

本変形例では、前面カメラ１２２および背面カメラ１２３それぞれに、超広角レンズアタッチメント５１１、５１２を取り付け、全周カメラを実現する。

【0113】

超広角レンズアタッチメント５１１、５１２は、図１４（ｃ）および図１４（ｄ）に示すように、通常の画角のカメラに被せ、超広角撮像を実現するアタッチメントである。例えば、ワイドコンバージョンレンズ等で構成される。図１４（ｅ）に示すように、超広角レンズアタッチメント５１１、５１２を、それぞれ、前面カメラ１２２および背面カメラ１２３のレンズの上から被せる。

【0114】

なお、例えば、携帯機器１００が、一般的なスマートフォンである場合、図１４（ａ）および図１４（ｂ）に示すように、前面カメラ１２２の取り付け位置のｘ座標およびｙ座標と、背面カメラ１２３の取り付け位置の同座標とは異なる。従って、両者の光軸は異なる。この違いを補正するため、超広角レンズアタッチメント５１１、５１２内に反射板群や補正レンズ群５１３を設けてもよい。

【0115】

図１４（ｅ）に示すように、反射板群や補正レンズ群５１３の配置位置を変化させることにより、視差ズレ調整を行い、超広角レンズアタッチメント５１１、５１２により実現される超広角レンズの光軸を一致させる。これにより、前面カメラ１２２および背面カメラ１２３により、全周撮影を実現する。なお、補正レンズ群５１３を構成するミラーは、４５度を成すよう配置する。これは、外光をセンサ（前面カメラ１２２および背面カメラ１２３）に正確に照射するためである。

【0116】

全周カメラ１２１の他の変形例を、図１５（ａ）および図１５（ｂ）に示す。

【0117】

本変形例では、外付けの全周カメラ５２１を、アタッチメントとして携帯機器１００に接続することにより、全周カメラ１２１を実現する。接続は、拡張Ｉ／Ｆ１８０として設けられるＵＳＢＩ／Ｆ等を介して行う。

【0118】

外付けの全周カメラ５２１は、例えば、伸縮可能な部材５２２を備えてもよい。これにより、あたかも首を伸ばしたように、高い位置から広範囲の撮影を行うことができる。

【0119】

さらに、別の例を図１６に示す。図１６（ａ）～図１６（ｅ）に示す変形例は、携帯機器１００を、３Ｄ撮影可能な仕様として構成する例である。

【0120】

本変形例では、携帯機器１００の前面、背面、および上面に、それぞれ、複数のカメラを搭載する。本変形例では、複数のカメラ５３２～５３７を備えるアタッチメント５３１を、ＵＳＢＩ／Ｆ等を介して接続することにより、実現する。

【0121】

図１６（ａ）～図１６（ｅ）の例では、携帯機器１００に接続されたアタッチメント５３１の前面部分に２個（カメラ５３２、５３３）、背面部分に２個（カメラ５３４、５３５）、上部に２個（カメラ５３６、５３７）の合計６個のカメラが配置される。

【0122】

各面にそれぞれ複数のカメラを備える場合、例えば、前面に１個、背面に１個の場合に比べ、各カメラの画角を絞ることができる。これにより、全周撮像の高解像度化を実現できる。つまり、カメラ２個で全周１８０度を撮像する場合に比べて、カメラ４個で同範囲を撮像すると、各カメラの解像度が同じであれば、約２倍の解像度をもって撮像が可能となる。この様にカメラ個数を増やすことで撮像映像の解像度を向上させることができる。

【0123】

なお、この場合、各カメラの設置位置を揃えないと、視点のずれ、いわゆる視差が生じやすくなる。このため、カメラの設置位置は、揃えることが望ましい。設置位置を揃えるとは、例えば、同じ面のカメラ群は、ｙ軸方向の座標値を揃え、異なる面のカメラ群は、ｘ軸方向の座標値を揃えることである。なお、このように配置位置を揃えなくても、撮影した画像データに対し、画像処理を施すことにより、上記のずれを補正してもよい。

【0124】

また、各面に配置する２つのカメラの間には、所定の間隔を設ける。すなわち、基線長を所定の距離に設定する。これにより、超広角３Ｄ映像の撮像ができる。この場合、前面のカメラ５３２、５３３と背面のカメラ５３４、５３５との間も、十分な基線長を得るため、アタッチメント５３１の厚さを基線長と同程度に設定してもよい。これにより、携帯機器１００のいずれの方向に対しても、十分な基線長を持った複数のカメラ配置を実現できる。

【0125】

なお、各カメラ間に十分な基線長を設定できない場合は、得られたデータに対して所定の画像処理を施すことにより、補正してもよい。

【0126】

本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は、本発明を分かりやすく説明するためのものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0127】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。

【0128】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0129】

１００：携帯機器、１０１：ユーザ、１０５：ネットワーク、１１０：ディスプレイ、１１１：進行方向表示領域、１１２：第一表示領域、１２０：カメラ、１２１：全周カメラ、１２１ａ：広角カメラ、１２１ｂ：広角カメラ、１２２：前面カメラ、１２３：背面カメラ、１２４：カメラ、１２４ａｇ：撮影画角、１２４ａｘ：光軸、１２５：カメラ、１２５ａｘ：光軸、１２６：カメラ、１２６ａｘ：光軸、１３０：ＣＰＵ、１３１：システムバス、１４０：記憶装置、１４１：フラッシュメモリ、１４２：ＳＤ－ＲＡＭ、１４３：外部メモリＩ／Ｆ、１５０：センサ、１５１：ＧＰＳ受信器、１５２：ジャイロセンサ、１５３：気圧計、１５４：加速度センサ、１５５：地磁気センサ、１６０：通信器、１６１：近接無線通信器、１６２：無線通信器、１６３：電話網通信器、１６４：無線ＬＡＮＩ／Ｆ、１７０：ハードＳＷ、１８０：拡張Ｉ／Ｆ、
２１１：撮影部、２１２：進行方向算出部、２１３：画像切出部、２１４：表示制御部、２１５：動作制御部、２１６：通信処理部、２１７：進行方向補正部、２２１：画像記憶部、２２２：データ記憶部、２２３：地図記憶部、
３１１：光軸、３２０：イメージセンサ、３２０ａ：仮想曲面、３３０：被写体、
４１１：進行方向、４１２：進行方向、４１６：分岐点、４１７：道路、４１８：道路、４１９：道路、４２１：算出進行方向、４２２：現在位置、４２３：変換進行方向、４２４：進行方向候補、４２５：進行方向候補、４２９：道路、
５１１：超広角レンズアタッチメント、５１２：超広角レンズアタッチメント、５１３：反射板、補正レンズ、５２１：全周カメラ、５２２：伸縮可能な部材、５３１：アタッチメント、５３２：カメラ、５３３：カメラ、５３４：カメラ、５３５：カメラ、５３６：カメラ、５３７：カメラ、
Ｐ：主点、ＴＤ：進行方向、ｆ：焦点距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】