特許 7604175 表示制御装置、表示制御方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】表示制御装置、表示制御方法、及び、プログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241216BHJP

   H04N 23/698 20230101ALI20241216BHJP

   H04N 23/60 20230101ALI20241216BHJP

   B61L 25/02 20060101ALI20241216BHJP

   B60R 11/04 20060101ALI20241216BHJP

【ＦＩ】

H04N23/63

H04N23/698

H04N23/60 500

B61L25/02 Z

B60R11/04

【請求項の数】 13

(21)【出願番号】P 2020181728

(22)【出願日】2020-10-29

(65)【公開番号】P2022072350

(43)【公開日】2022-05-17

【審査請求日】2023-10-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】田沖 伸也

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】国際公開第２０２０／１５３０１９（ＷＯ，Ａ１）

【文献】特開２０１１－１１９９１２（ＪＰ，Ａ）

【文献】特開２０１４－１９９５４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００８５１２１（ＵＳ，Ａ１）

【文献】特開２０１９－０４７４９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７、

２３／００、２３／４０－２３／７６、

２３／９０－２３／９５９

Ｂ６１Ｌ １／００－９９／００

Ｂ６０Ｒ １／００－１／３１

Ｇ０８Ｂ ２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

移動体の内部に設置される１又は複数の撮像装置によって撮像される複数の撮像画像の表示を制御する表示制御装置であって、
前記移動体の移動が停止したか判定する判定手段と、
少なくとも前記判定手段による判定結果に基づいて、前記複数の撮像画像の内の、前記移動体の内部から前記移動体における側面方向を撮像した画角の第１の撮像画像と、前記第１の撮像画像とは異なる第２の撮像画像とを、選択的に表示するよう、表示手段における前記複数の撮像画像の表示を制御する表示制御手段と
を有することを特徴とする表示制御装置。

【請求項2】

前記表示制御手段は、前記判定手段によって前記移動体の移動が停止したと判定された場合、前記第２の撮像画像が表示されている状態から、前記第１の撮像画像が表示されている状態へ変更するよう、前記複数の撮像画像の表示を制御する
ことを特徴とする請求項１記載の表示制御装置。

【請求項3】

移動体の内部に設置される１又は複数の撮像装置によって撮像される複数の撮像画像の表示を制御する表示制御装置であって、
前記移動体の移動が停止したか判定する判定手段と、
少なくとも前記判定手段による判定結果に基づいて、前記複数の撮像画像の内の、前記移動体の内部から前記移動体における側面方向を撮像した画角の第１の撮像画像と、前記第１の撮像画像とは異なる第２の撮像画像との内の一方が他方よりも大きく表示されるよう、表示手段における前記複数の撮像画像の表示を制御する表示制御手段と
を有することを特徴とする表示制御装置。

【請求項4】

前記表示制御手段は、前記判定手段によって前記移動体の移動が停止したと判定された場合、前記第２の撮像画像が前記第１の撮像画像よりも大きく表示されている状態から、前記第１の撮像画像が前記第２の撮像画像よりも大きく表示されている状態へ変更するよう、前記複数の撮像画像の表示を制御する
ことを特徴とする請求項３記載の表示制御装置。

【請求項5】

前記判定手段は、前記移動体の移動が所定の位置において停止したか判定する
ことを特徴とする請求項１～４のいずれか１項に記載の表示制御装置。

【請求項6】

前記移動体はバスであり、
前記所定の位置はバスの停留所である
ことを特徴とする請求項５記載の表示制御装置。

【請求項7】

前記移動体はバスであり、
前記第１の撮像画像は、前記バスにおける複数の側面の内のドアがある側面の方向を撮像した画角の画像である
ことを特徴とする請求項１～６のいずれか１項に記載の表示制御装置。

【請求項8】

前記第２の撮像画像は、前記移動体の内部から前記移動体における後方又は前方を撮像した画角の画像である
ことを特徴とする請求項１～７のいずれか１項に記載の表示制御装置。

【請求項9】

前記１又は複数の撮像装置は、魚眼レンズを用いる撮像装置であり、
前記第１の撮像画像は、前記魚眼レンズを用いて撮像された画像である魚眼画像を、バスの進行方向に沿う方向に対応する線分で分割し、その分割された画像に対して歪み補正処理を行うことで生成された画像である
ことを特徴とする請求項１～８のいずれか１項に記載の表示制御装置。

【請求項10】

前記１又は複数の撮像装置は、魚眼レンズを用いる撮像装置であり、
前記第２の撮像画像は、前記魚眼レンズを用いて撮像された画像である魚眼画像に対して、バスの進行方向に沿う方向と垂直な方向に対応する線分で分割し、その分割された画像に対して歪み補正処理を行うことで生成された画像である
ことを特徴とする請求項１～９のいずれか１項に記載の表示制御装置。

【請求項11】

移動体の内部に設置される１又は複数の撮像装置によって撮像される複数の撮像画像の表示を制御する表示制御方法であって、
前記移動体の移動が停止したか判定する判定工程と、
前記複数の撮像画像の内の、前記移動体の内部から前記移動体における側面方向を撮像した画角の第１の撮像画像と、前記第１の撮像画像とは異なる第２の撮像画像とを、少なくとも前記判定工程による判定結果に基づいて、選択的に表示するよう、表示手段における前記複数の撮像画像の表示を制御する表示制御工程と
を有することを特徴とする表示制御方法。

【請求項12】

移動体の内部に設置される１又は複数の撮像装置によって撮像される複数の撮像画像の表示を制御する表示制御方法であって、
前記移動体の移動が停止したか判定する判定工程と、
少なくとも前記判定工程による判定結果に基づいて、前記複数の撮像画像の内の、前記移動体の内部から前記移動体における側面方向を撮像した画角の第１の撮像画像と、前記第１の撮像画像とは異なる第２の撮像画像との内の一方が他方よりも大きく表示されるよう、表示手段における前記複数の撮像画像の表示を制御する表示制御工程と
を有することを特徴とする表示制御方法。

【請求項13】

コンピュータを、請求項１～１０のいずれか１項に記載の表示制御装置の各手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御技術に関するものである。

【背景技術】

【0002】

バスや鉄道の安全のために撮像装置が用いられている。特許文献１では、運転士が運転席に居ながらホームの状態を監視するための方法が記載されている。具体的には、ホームに設置された撮像装置によって、ホームと列車との境界付近を撮像する。そして、列車がホームに停止しているときに、撮像装置によって撮像された映像を無線通信により列車に送信することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－１０４１８９

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の特許文献に開示された従来技術では、車両の外に設置される撮像装置を想定している。よって、車両の内部に設置される撮像装置で撮像された撮像画像を適切に表示することができない。

【0005】

そこで、本発明の目的は、移動体の内部に設置される撮像装置で撮像された撮像画像を適切に表示することができる技術を提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある表示制御装置は以下の構成を備える。すなわち、移動体の内部に設置される１又は複数の撮像装置によって撮像される複数の撮像画像の表示を制御する表示制御装置であって、前記移動体の移動が停止したか判定する判定手段と、少なくとも前記判定手段による判定結果に基づいて、前記複数の撮像画像の内の、前記移動体の内部から前記移動体における側面方向を撮像した画角の第１の撮像画像と、前記第１の撮像画像とは異なる第２の撮像画像とを、選択的に表示するよう、表示手段における前記複数の撮像画像の表示を制御する表示制御手段とを有する。

【0007】

また、本発明のある表示制御装置は以下の構成を備える。すなわち、移動体の内部に設置される１又は複数の撮像装置によって撮像される複数の撮像画像の表示を制御する表示制御装置であって、前記移動体の移動が停止したか判定する判定手段と、少なくとも前記判定手段による判定結果に基づいて、前記複数の撮像画像の内の、前記移動体の内部から前記移動体における側面方向を撮像した画角の第１の撮像画像と、前記第１の撮像画像とは異なる第２の撮像画像との内の一方が他方よりも大きく表示されるよう、表示手段における前記複数の撮像画像の表示を制御する表示制御手段とを有する。

【発明の効果】

【0008】

本発明によれば、移動体の内部に設置される撮像装置で撮像された撮像画像を適切に表示することができる。

【図面の簡単な説明】

【0009】

【図1】各実施形態に係るシステム構成を図である。

【図2】各実施形態に係る機能ブロック図である。

【図3】各実施形態に係るバスを示す図である。

【図4】各実施形態に係る魚眼画像とパノラマ表示の関係について示した図である。

【図5】第１の実施形態に係るフローチャートである。

【図6】各実施形態に係る停車位置確認処理のサブルーチンを示すフローチャートである。

【図7】各実施形態に係る魚眼画像をパノラマ展開する場合の分割例を示した図である。

【図8】各実施形態に係る画像優先度確認処理のサブルーチンを示すフローチャートである。

【図9】各実施形態に係るクライアント装置におけるデワープ画像の表示例を示した図である。

【図10】各実施形態に係るダブルパノラマにおける表示例を示した図である。

【図11】第２の実施形態に係るフローチャートである。

【図12】各実施形態に係る魚眼画像の例を示した図である。

【図13】各実施形態に係る撮像画像の表示例を示した図である。

【図14】各実施形態における撮像装置及びクライアント装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は以下の実施形態で説明する構成に限定されるものではない。以下の説明では、撮像装置が設置される移動体としてバスを例に説明するが、電車や普通の乗用車等の他の移動体であってもよい。いずれにしても、撮像装置は、移動体の内部に設置され、少なくとも移動体の内部を撮像可能であればよい。

【0011】

また、各実施形態において、撮像装置によって撮像される画像は動画であってもよいし、静止画であってもよい。

【0012】

また、各実施形態において、監視カメラを例に説明するが監視目的以外のカメラにも応用可能である。例えば、放送目的の映像や映画、個人的な目的の映像を撮像する撮像装置と表示制御装置にも応用可能である。例えば、監視目的ではなく、放送目的の映像や映画、個人的な目的の映像を撮像する撮像装置にも応用可能である。

【0013】

また、以下の実施形態では、全方位ミラーや魚眼レンズを用いて撮像を行う全方位画像（Ｏｍｎｉ Ｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ）と呼ばれる画像を撮像可能な撮像装置を一例に挙げて説明する。このような撮像装置は、周囲を広範囲に撮影することが可能な撮像装置であり、一台の撮像手段でほぼ１８０度分の円環あるいは円形の画像（魚眼画像とも称する）を撮影することができる。しかし、全方位画像は一例であり、以下で説明するように魚眼レンズを用いない、通常の監視カメラでも本発明は適用可能である。また、全方位という語句は必ずしも当該撮像装置が設置される全ての空間を撮像するものに限定されるわけではない。「全方位画像」や「全方位カメラ」、「魚眼画像」という語句は一般的に用いられている語句であるため、各実施形態でも適宜、これらの語句を用いる。各実施形態において、「全方位カメラ」とは、全方位ミラーや魚眼レンズを用いて撮像する撮像装置であればよい。「全方位画像（魚眼画像）」とはその撮像装置によって撮像された撮像画像であればよい。

【0014】

＜第１実施形態＞
まず、図１２を用いて、本実施形態の概要について説明する。図１２における、１２００は、魚眼画レンズを用いる撮像装置によって、バス内部を撮像した魚眼画像の例を示す。また、１２０４はバスの進行方向（前方向）を示す。魚眼画像をデワープしたパノラマ画像によりバス内の監視を行う場合、バスの運用状況によって監視すべき領域の優先度は異なるため、その都度、ユーザーがバスの運行状態に応じて、生成するパノラマ画像の位置を手動で調整することは難しい。

【0015】

例えば、バス停に停車した時には、乗客の乗降の様子を監視するため、図１２の１２０１で示す領域のようなバスの出入り口（ドア）を含む、バス内部からバスの側面方向を撮像した画角の撮像画像（第１の画像）を表示するとよい。逆に、バスが走行しているときは、客席の監視を行いたいため、バス内部からバスの後方又は前方を撮像した撮像画像（第２の画像）を表示するとよい。特に、少なくともバス内の中央付近、又は、中央よりも前寄りの位置から後方を撮像した画角の撮像画像であるとよい。例えば、図１２において、１２０３で示す領域のようなバスの後方を中心とした画像である。また、バスが走行しているときは、客席の監視を行いたいため、バス内の中央付近、又は、中央よりも後ろよりから前方を撮像した撮像画像を表示することが好ましいこともある。例えば、図１２において、１２０２で示す領域のようなバスの前方を中心とした画像を監視したいケースである。

【0016】

これらの撮像画像は魚眼レンズを用いた撮像装置で撮像してもよいし、魚眼レンズを用いない通常の撮像装置で撮像してもよい。ただし、魚眼レンズを用いない場合は、複数の撮像装置を用いた方がよい場合が多い。以下の第１の実施形態の説明では、魚眼レンズを用いる撮像装置の例と、魚眼レンズを用いない撮像装置の例との２つの例について説明する。

【0017】

なお、バスの進行方向（前方）、後方、側面方向がどちらの方向であるかについては、図３に示す通りである。図３（ａ）はバス内部を真上から見たときの図である。図３（ｂ）はバスを側面方向から見たときの図である。

【0018】

まず、図１を参照して、本実施形態に係るシステム構成について説明する。

【0019】

図１（ａ）において、撮像装置（ネットワークカメラ）１００は魚眼レンズを用いて撮像を行う撮像装置である。これによって、１８０度分の略円状の魚眼画像を撮像することができる。本実施形態では、撮像装置１００は、バスや電車の車内の天井部分に、下方向又は斜め下方向にその撮像方向が向けられて設置されるものとする。なお、図１（ａ）では、１台の全方位カメラを用いる例について説明しているが、複数の全方位カメラを用いてもよい。１台の全方位カメラを用いる場合は、車両内の中央付近に設置するとよい。

【0020】

魚眼レンズを用いた撮像装置においては、撮像された撮像画像は円形となる。しかし、ユーザーが視認し易いように、魚眼画像の一部を切出し、その部分画像に対して歪み補正を行って展開し、パノラマ画像を生成することがある。この際、魚眼画像の円周方向の任意の線分で魚眼画像を分割する。そして、魚眼画像の円周方向を補正後の画像の垂直方向に沿うように歪み補正処理（デワープ）を施して、被写体が正立した状態の画像（以下、適宜、パノラマ画像と称する）を生成する機能がある。また、このパノラマ画像を２つの領域にそれぞれ表示するダブルパノラマ機能もある。

【0021】

次に、図１（ｂ）は、魚眼レンズを用いない撮像装置（ネットワークカメラ）１００を用いたシステム構成例である。この例では２台の撮像装置１００を用いているが、３台以上の撮像装置１００を用いてもよい。２台の撮像装置１００を用いる場合、その内の１台は、図１２の１２０１で示す領域のようなバスの出入り口（ドア）を含む、バス内部からバスの側面方向を撮像した画角の撮像画像を撮像する。また、もう１台は、少なくともバス内の中央、又は、中央付近よりも前寄りの位置から後方を撮像した画角の撮像画像を撮像する。また、バス内の中央付近、又は、中央よりも後ろ寄りから前方を撮像した画角の撮像画像を撮像する更なる撮像装置１００を設けるようにしてもよい。

【0022】

図１（ａ）及び（ｂ）において、撮像装置１００と、クライアント装置（表示制御装置）２００とは、ネットワーク３００を介して相互に通信可能な状態に接続される。

【0023】

クライアント装置２００は、撮像装置１００に対して、撮像装置１００で撮像する画像の画質や、画像を切出す領域の位置等を指定するコマンドを送信する。撮像装置１００は、それらのコマンドに対応する動作を実行したり、それらのコマンドに対するレスポンスをクライアント装置２００に送信したりする。それらの通信は、例えば、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）規格に準拠して実行することができるが、通信方法はそれに限られず、種々の通信方法を用いることができる。有線ケーブルを用いた通信方法でもよいし、無線方式の通信方法でもよい。

【0024】

なお、各実施形態においてクライアント装置２００が表示制御装置としての機能を実行する例について説明するが、撮像装置１００が表示制御装置としての機能の一部又は全部を実行してもよい。つまり、撮像装置１００とクライアント装置２００とが共同して表示制御装置としての機能を実行してもよい。

【0025】

図２は、本発明の第１の実施形態に係る撮像装置１００とクライアント装置２００、地図情報データベース４００の機能ブロック図及びシステム構成図である。図２を参照して、撮像装置１００の各部構成と機能について説明する。

【0026】

撮像装置１００は、撮像部１０１、画像処理部１０２、システム制御部１０３、レンズ駆動部１０４、レンズ制御部１０５、音声入力部１０６、及び通信部１０８を有している。

【0027】

撮像部１０１は、レンズを通して結像した光を撮像素子において受光して、その受光した光を電荷に変換して撮像信号を生成する。撮像素子には、例えば、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ ＳｅｍｉｃＯＮｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を用いることができる。また、撮像素子にはＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）を用いてもよい。

【0028】

画像処理部１０２は、撮像部１０１で変換された撮像信号をデジタル化して画像データを生成する。その際、画像処理部１０２は画質を補正するための種々の画像処理も行う。画像処理部１０２は、更に、画像データを圧縮符号化し、圧縮符号化された画像データを生成するようにしてもよい。

【0029】

通信部１０８は、画像処理部１０２によって生成された画像データをクライアント装置２００に送信する。なお、ここでの画像データは一例として動画の画像データである。また、通信部１０８は、クライアント装置２００から送信されるコマンドを受信し、システム制御部１０３へ伝送する。またコマンドに対するレスポンスをシステム制御部１０３の制御に従ってクライアント装置２００へ送信する。このようにシステム制御部１０３は、通信制御手段としても機能する。

【0030】

また、撮像装置１００のシステム制御部１０３は、通信部１０８が受信したコマンドを解析し、コマンドに応じた処理を行う。

【0031】

例えば、システム制御部１０３は、コマンドに応じて、画像処理部１０２に対して画質の調整を実行させる。画像処理部１０２に対して画質調整の指示や、レンズ制御部１０５に対してズームやフォーカス制御の指示を行う。

【0032】

レンズ制御部１０５は伝達された指示に基づいて、レンズ駆動部１０４の制御を行う。

【0033】

レンズ駆動部１０４は、フォーカスレンズ及びズームレンズの駆動系及びその駆動源のモータにより構成され、その動作はレンズ制御部１０５により制御される。

【0034】

音声入力部１０６は、マイクロフォンなどの音声入力デバイスから音声データを収音する。これらのデバイスは、例えば、ＭＥＭＳマイクロフォンやコンデンサマイクロフォン、音声コーデックデバイスである。カメラ内蔵のものから、外付けのデバイスも含む。

【0035】

次に、図２を参照してクライアント装置２００の各部構成と機能について説明する。

【0036】

クライアント装置２００はパーソナルコンピュータなどのコンピュータを用いて実現できる。また、ナビゲーション装置等の車載装置に特定のソフトウェアをインストールすることで実現してもよい。また、スマートフォンやタブレット端末に特定のソフトウェアをインストールすることで実現してもよい。

【0037】

表示部２０１は、撮像装置１００から受信した画像データに基づく画像を表示する。また、表示部２０１は、カメラ制御を行うためのグラフィックユーザインターフェース（以下、ＧＵＩと称する）を表示する。これらの表示は、システム制御部２０３による制御に従って行われる。つまり、システム制御部２０３は表示制御手段としての機能も有している。表示部２０１は、液晶パネルや有機ＥＬパネル等を用いた表示デバイスで実現することができる。表示部２０１は、一例としてバスの運転手が視認できる位置に設置される。なお、撮像装置１００とクライアント装置２００とを無線方式の通信方法で接続する場合は、クライアント装置２００は、車両外部の監視センターに設置するようにしてもよい。

【0038】

入力部２０２は、キーボードやマウスなどのデバイスで実現することができ、クライアント装置２００のユーザーは、入力部２０２を介してＧＵＩに対する操作を行う。入力部２０２はタッチパネルを用いて実現してもよい。

【0039】

クライアント装置２００のシステム制御部２０３は、ユーザーの操作に応じてコマンドを生成し、通信部２０４から撮像装置１００へと送信させる。また、システム制御部２０３は、通信部２０４を介して受信した撮像装置１００からの画像データも表示部２０１に表示させる。このようにシステム制御部２０３は、通信制御手段や表示制御手段としても機能する。

【0040】

センサ入力部２０７は、加速度センサや位置を検出するセンサのためのエンコーダや、ＧＰＳ等のセンサデバイスからの入力を取得する。ＧＰＳ等の位置情報取得手段は、クライアント装置２００の内部に設けるようにしてもよい。また、バスが有するナビゲーション装置等からバスの位置情報を取得するようにしてもよい。センサ入力部２０７は、その他にもバスを制御する各種電子機器からバスのブレーキを操作した情報やバスの速度等の制御情報を取得するようにしてもよい。

【0041】

以上のようにクライアント装置２００は、ネットワーク３００を介して、撮像装置１００から画像データを取得して、それを表示することができる。また、クライアント装置２００は、ネットワーク３００を介して、コマンドを送信することで撮像装置１００を制御することができる。

【0042】

地図情報データベース４００は、撮像装置１００やクライアント装置２００からネットワーク３００を介してアクセスされ、撮像装置１００、クライアント装置２００に対して、地図情報を提供する。なお、地図情報データベース４００は、クライアント装置２００の内部に設けるようにしてもよい。

【0043】

ここで、図４は、図１（ａ）の例に係る、魚眼画像とパノラマ表示の関係について示した図である。図２において、１２００は魚眼画像、４０４はパノラマ画像に展開する際の魚眼画像上の分割線を示す。魚眼分割線４０４により分割された、４０２で示される領域と、４０３で示される領域とがパノラマ展開領域となる。４０５は、魚眼画像を２分割展開したダブルパノラマの表示例を示す。４０６は、４０３の領域をデワープ（歪み補正）して生成されたパノラマ画像を示す。また４０７は、４０２の領域をデワープして生成されたパノラマ画像を示す。

【0044】

次に、図５を参照して、本発明の実施形態による画像取得方法のフローについて説明する。なお、以下の説明でクライアント装置のシステム制御部２０３の動作は、その一部又は全部を撮像装置１００のシステム制御部１０３が実行するようにすることも可能である。

【0045】

また、図５（ａ）と図５（ｂ）とは、ステップ（以下Ｓと略記）５０７、Ｓ５１０、及びＳ５１１のみが異なり、それ以外のステップは同様である。図５（ａ）は、魚眼レンズを用いた撮像装置１００を用いた場合の例である。図５（ｂ）は、魚眼レンズを用いない撮像装置１００を複数用いた場合の例である。

【0046】

まず、図５（ａ）の例について説明する。ステップ５０１で、システム制御部２０３は、センサ入力部２０７から得られた情報から、撮像装置１００が設置されたバスの進行方向を検出する。なお、バスは基本的に前方に進むため、Ｓ５０１は省略することも可能である。

【0047】

Ｓ５０２で、システム制御部２０３は、センサ入力部２０７から得られた情報から、撮像装置１００が設置されたバスが停車（移動が停止）しているかどうかを判定する。バスの速度が所定の速度（例えば時速５ｋｍ）以下であれば、バスが停車していると判定してよい。停車している場合は、Ｓ５０３へ進む。停車していない場合は、Ｓ５０６へ進む。このようにシステム制御部２０３は、バスが停車しているかどうか判定する判定手段としても機能する。

【0048】

Ｓ５０３では、システム制御部２０３は、バスがどこに停車しているかを確認するための停車位置確認処理を行う。

【0049】

ここで、図６のフローチャートを用いて、停車位置確認のサブルーチンについて説明する。

【0050】

Ｓ６０１で、システム制御部２０３は、センサ入力部２０７から得られたバスの現在の位置を示す位置情報と、地図情報データベース４００から得られた地図情報を用い、地図上のバスの位置を特定する。

【0051】

次に、Ｓ６０２で、システム制御部２０３は、Ｓ６０１で得られたバスの停車位置が停留所（所定の位置）付近かどうかを判定する。例えば、システム制御部２０３は、現在のバスの位置が地図情報から特定される停留所から所定の範囲（例えば１０ｍ内）であれば、バスは停留所付近に停車していると判定する。バスの停車位置が停留所付近と判定した場合は、Ｓ６０３へ進み、現在のバスの停車位置は停留所であると判定する。バスの停車位置が停留所付近ではないと判定した場合は、Ｓ６０４へ進み、現在のバスの停車位置は停留所ではないと判定する。

【0052】

なお、Ｓ６０２で、システム制御部２０３は、音声入力部１０６から得られた音声から、バスの停車位置を特定してもよい。例えば、ドアの開閉音や放送音など、バスが停留所に停車した時に発生する音声を学習した学習済みモデルと、現在の音声信号とを照合して、現在のバスの位置が停留所であるか否かを判定する方法を用いても構わない。

【0053】

また、Ｓ６０２で、システム制御部２０３は、画像認識処理を行い、バス停車時に見える画像との照合を行う方法を用いることで、バスの停車位置を特定してもよい。例えば、バス停の画像等のバスが停留所に停車した時に発生する画像を学習した学習済みモデルと、現在のバスの外部を撮像した撮像画像とを照合して、現在のバスの位置が停留所であるか否かを判定する方法を用いても構わない。

【0054】

なお、停車位置確認のサブルーチンは省略してもよい。つまり、バスの停車位置に関わらずに、バスが停車しているか否かに応じて、後述の表示制御を行うようにしてもよい。

【0055】

図５の説明（Ｓ５０４）に戻り、図６で説明した判定の結果に従って、バスの停車位置が停留所の場合はＳ５０５へ進み、バスの停車位置が停留所ではない場合はＳ５０６へ進む。

【0056】

Ｓ５０５で、システム制御部２０３は、通信部２０４を介してコマンドを撮像装置１００に送信し、魚眼画像をバスの進行方向に沿う方向の線分７０１で分割して生成されるパノラマ画像を撮像装置１００に生成させる。図７で示すように、線分７０１で分割された画像は、バス内部からバスの側面方向（右方向）を撮像した画角の画像と、逆の側面方向（左方向）を撮像した画角の画像とに分割される。以下、これらの画像を、適宜、側面方向画像（右）、側面方向画像（左）と称することとする。

【0057】

一方、Ｓ５０６では、システム制御部２０３は、通信部２０４を介してコマンドを撮像装置１００に送信し、魚眼画像をバスの進行方向と垂直な線分で分割して生成されるパノラマ画像を撮像装置１００に生成させる。図７で示すように、線分７０２で分割された画像は、バス内部からバスの後方を撮像した画角の画像と、前方を撮像した画角の画像とに分割される。以下、これらの画像を、適宜、後方画像、前方画像と称することとする。

【0058】

Ｓ５０７で、次に、システム制御部２０３は、撮像装置１００は、分割した魚眼画像をデワープ（歪補正）し、パノラマ画像を作成する。

【0059】

なお、ここでは、Ｓ５０５で説明した方法によるパノラマ画像と、Ｓ５０６で説明した方法によるパノラマ画像とを排他的に生成する例について説明した。しかし、Ｓ５０５で説明した方法によるパノラマ画像と、Ｓ５０６で説明した方法によるパノラマ画像との両方を生成するようにしてもよい。その場合は、クライアント装置２００側で優先して表示すべき画像について選択することとなる。

【0060】

Ｓ５０９で、システム制御部２０３は、Ｓ５０７で生成されたパノラマ画像を、通信部２０４を介して取得する。なお、現在地が停留所であると判定された場合は、複数のパノラマ画像の内、バスの出入口が含まれるほうの画像のみを取得するようにしてもよい。出入口がある側の画像の方が、他の側面方向画像よりも重要度が高いからである。

【0061】

また、現在地が停留所ではないと判定された場合は、バス内部からバスの後方を撮像した画角の画像のみを生成するようにしてもよい。後方を撮像した画角の方が、前方画像よりも重要度が高いからである。

【0062】

また、Ｓ５０６において、魚眼画像をバスの進行方向と垂直な線分で分割して、パノラマ画像を生成させた場合は次のようにしてもよい。つまり、後方画像と前方画像のどちらかを優先的に選択して、撮像装置１００から取得するようにしてもよい。この優先度を決める方法を、図８を用いて説明する。

【0063】

Ｓ８０１で、システム制御部２０３は、バック走行中かどうかを判定する。バスがバック走行中であれば、Ｓ８０２へ進む。バスがバック走行中でなければ、Ｓ８０３へ進む。

【0064】

Ｓ８０２で、システム制御部２０３は、デワープしたパノラマ画像のうち、後方画像の方が優先度高いと判定する。

【0065】

Ｓ８０３で、システム制御部２０３は、デワープしたパノラマ画像のうち、前方画像の方が優先度高いと判定する。

【0066】

図８の画像優先度情報確認処理では、パノラマ画像に対して画像認識を行い、優先度の判定を行う方法を用いても構わない。例えば、ドアの画像が含まれるパノラマ画像を優先度が高いと判定してもよい。また、パノラマ画像において、人物等の所定の物体が検知された場合に優先度が高いと判定してもよい。ドアの有無を判定する場合は、Ｓ５０６の処理によって生成されるパノラマ画像（各側面方向画像）にも応用可能である。つまり、ドアが含まれる方の画像の優先度を高くすればよい。

【0067】

この図８の処理を行う場合、優先度が高いと判定された方の画像の方が優先的に表示されることとなる。また、優先度が低いと判定された撮像画像は、撮像装置１００から取得しないようにしてもよい。

【0068】

図８の処理を行う場合は、図１０で示すような表示を行ってもよい。図１０は、ダブルパノラマで前方画像と後方画像とを表示した例である。

【0069】

１０００は魚眼画像を２分割展開したダブルパノラマの表示枠を示す。魚眼画像１２００をパノラマ展開における魚眼画像上の分割線７０２により分割し、魚眼画像上の１００１、１００２がパノラマ画像として展開される領域となる。１００５は、バス後方を撮像した後方画像１００１をデワープして生成されたパノラマ画像の表示領域を示す。また１００４は、バス前方を撮像した前方画像である１００２をデワープして生成されたパノラマ画像の表示領域を示す。図８の処理によって、前方画像の優先度が高いと判定された場合、枠１００３のように優先度の高いパノラマ表示領域１００４を太線で強調して表示する。この例のように優先度の高いパノラマ表示を強調して表示する。強調方法は枠を強調する方法に限らず、ＧＵＩの配置や優先度の高いパノラマ表示枠の大きさを変更して表現してもよい。

【0070】

次に、魚眼レンズを用いない撮像装置１００を複数用いた場合の例である図５（ｂ）のフローチャートについて説明する。また、図５（ａ）と図５（ｂ）とは、Ｓ５１０及びＳ５１１のみが異なり、それ以外のステップは同様である。なお、ここでは、一例として、以下の４台の撮像装置１００がバスに設置されているものとする。つまり、側面方向画像（右）を撮像する撮像装置１００、側面方向画像（左）を撮像する撮像装置１００、後方画像を撮像する撮像装置１００、及び、前方画像を撮像する撮像装置１００の４台である。

【0071】

図６で説明した判定の結果に従って、バスの停車位置が停留所の場合はＳ５１０へ進み、バスの停車位置が停留所ではない場合はＳ５１１へ進む。

【0072】

Ｓ５１０で、システム制御部２０３は、通信部２０４を介して、バス内部からバスの側面方向（右方向）を撮像する撮像装置１００に撮像画像を生成させる。また、システム制御部２０３は、バス内部からバスの側面方向（左方向）を撮像する撮像装置１００にも撮像画像を生成させる。なお、ドアを含む側を撮像している方の撮像装置１００のみに撮像を実行させてもよい。

【0073】

一方、Ｓ５１１では、システム制御部２０３は、通信部２０４を介して、バス内部からバスの後方を撮像する撮像装置１００に撮像画像を生成させる。また、システム制御部２０３は、バス内部からバスの前方を撮像する撮像装置１００に撮像画像を生成させる。なお、後方を撮像する撮像装置１００のみに撮像を実行させてもよい。

【0074】

そして、クライアント装置２００のシステム制御部２０３は、Ｓ５０９にて、Ｓ５１０又はＳ５１１で撮像された撮像画像を、取得することとなる。なお、側面方向画像（右）、側面方向画像（左）、後方画像、及び前方画像の全てをＳ５０９にて取得するようにしてもよい。その場合は後述のように各画像の優先度に従って、クライアント装置２００のシステム制御部２０３が表示する画像を選択することとなる。

【0075】

次に図１３を参照して、本実施形態における、画像の表示制御方法について説明する。

【0076】

図１３（ａ）は、Ｓ５０４において、バスが停留所に停車していないと判定された場合における表示例である。図１３（ａ）に示すように、システム制御部２０３は、バスが停留所に停車していないと判定された場合、少なくとも後方画像を取得して、それを表示部２０１に表示させる。なお、前方画像も表示させてもよい。また、バスの停車位置に関わらず、停車していない場合は、図１３（ａ）のような表示を行ってもよい。

【0077】

図１３（ｂ）は、Ｓ５０４において、バスが停留所に停車していると判定された場合における表示例である。図１３（ｂ）に示すように、システム制御部２０３は、バスが停留所に停車していると判定された場合、少なくともドアが含まれる方の側面方向画像を取得して、表示部２０２に表示させる。なお、両方の側面方向画像を表示させてもよい。また、バスの停車位置に関わらず、停車している場合は、図１３（ｂ）のような表示を行ってもよい。このように、図１３（ａ）と図１３（ｂ）とでは、側面方向画像と、後方画像／前方画像とを、選択的に表示している。

【0078】

図１３（ｃ）は、Ｓ５０４において、バスが停留所に停車していないと判定された場合における他の表示例である。図１３（ｃ）に示すように、システム制御部２０３は、後方画像の方を側面方向画像（他方の画像）よりも大きく表示させる。また、バスの停車位置に関わらず、停車していない場合は、図１３（ｃ）のような表示を行ってもよい。

【0079】

図１３（ｄ）は、Ｓ５０４において、バスが停留所に停車していると判定された場合における他の表示例である。図１３（ｄ）に示すように、システム制御部２０３は、側面画像の方を後方画像（他方の画像）よりも大きく表示させる。また、バスの停車位置に関わらず、停車している場合は、図１３（ｄ）のような表示を行ってもよい。

【0080】

以上のように、システム制御部２０３はバスが停車しているか否かの判定結果に応じて、表示の優先度を決定し、その優先度に従って各画像の表示制御を行っている。更には、システム制御部２０３はバスが停留所に停車しているか否かの判定結果に応じて、表示の優先度を決定し、その優先度に従って各画像の表示制御を行っている。なお、全ての撮像画像をクライアント装置２００が受信する場合は、各画像を表示させるか否か、また、どのように表示するかは、システム制御部２０３によって判断されることとなる。

【0081】

次に図９を用いて、表示部２０２に表示される画像がどこを撮像した画像なのかをわかり易くするための方法について説明する。

【0082】

一例として、後方画像９００を例に説明する。アイコン９０１は、後方画像であることを示すアイコンである。後方に対応する部分がハッチングで示されている。また、アイコン９０２も同様に、カメラを模したアイコンが後方に対応する部分を向いているアイコンである。

【0083】

表示する画像が、側面方向画像（右）、側面方向画像（左）後方画像、及び、前方画像の内のいずれかであるかに応じて、アイコンが変更される。アイコンは撮像画像上に重畳してもよい。またアイコンに限らず、表示画面のＧＵＩ上での表示位置を示す情報を表示することで、表示される撮像画像がバス内のどの位置に該当しているかを示してもよい。

【0084】

以上、説明したように、本実施形態によれば、移動体が走行しているかどうかに応じて表示を制御するため、移動体の内部に設置される撮像装置で撮像された撮像画像を適切に表示することができる。

【0085】

＜第２実施形態＞
第２の実施形態では、移動体が走行しているかどうかに加え、異常が検知されたかどうかに応じて表示を制御する例について説明する。なお、第１実施形態と同様な部分については、適宜、説明を省略する。

【0086】

図１１を参照して、第２の実施形態のフローチャートについて説明する。Ｓ１１０１のみが第１の実施形態とは異なる。

【0087】

Ｓ１１０１において、システム制御部２０３は、センサ入力部２０７から入力される加速度センサ等からの出力に従って、急ブレーキが行われたかどうか判定する。

【0088】

図１１（ａ）では、急ブレーキが発生していれば、Ｓ５０６へ進む。そして、後方画像及び前方画像が、側面画像よりも優先的に表示されることとなる。また、急ブレーキが起きていなければ、Ｓ５０３へ進む。

【0089】

図１１（ｂ）では、急ブレーキが発生していれば、Ｓ５１１へ進む。そして、後方画像及び前方画像が、側面画像よりも優先的に表示されることとなる。また、急ブレーキが起きていなければ、Ｓ５０３へ進む。

【0090】

このように、急ブレーキが発生している場合は、後方画像及び前方画像が、側面画像よりも優先的に表示させることができる。特に後方画像を優先的に表示させるとよい。

【0091】

（その他の実施例）
次に、図１４を用いて、各実施形態のクライアント装置２００や撮像装置１００を実現するためのハードウェア構成を説明する。

【0092】

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２１が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２２２は、通信インターフェース２２４を介して外部から取得したデータ（コマンドや画像データ）などを一時的に記憶する。また、ＲＡＭ２２２は、ＣＰＵ２２１が各種の処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２２２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0093】

ＣＰＵ２２１は、ＲＡＭ２２２に格納されるコンピュータプログラムを実行する。ＣＰＵ以外にも、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を用いてもよい。

【0094】

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２２３は、オペレーティングシステムのプログラムや画像データを記憶する。また、ＨＤＤ２２３は、コンピュータプログラムを記憶する。

【0095】

ＨＤＤ２２３に保存されているコンピュータプログラムやデータは、ＣＰＵ２２１による制御に従って、適宜、ＲＡＭ２２２にロードされ、ＣＰＵ２２１によって実行される。ＨＤＤ以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。バス２２５は、各ハードウェアを接続する。バス２２５を介して各ハードウェアがデータをやり取りする。以上が各実施形態におけるハードウェア構成である。

【0096】

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0097】

また、図２に示す各機能ブロックは、図１４に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0098】

また、本発明は以上説明した各実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更が可能である。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0099】

１００ 撮像装置
２００ クライアント装置
１０３，２０３ システム制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】