特許 6389765 表示制御システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6389765

(24)【登録日】2018年8月24日

(45)【発行日】2018年9月12日

(54)【発明の名称】表示制御システム、方法およびプログラム

(51)【国際特許分類】

   G06F 3/14 20060101AFI20180903BHJP

   G06F 3/0481 20130101ALI20180903BHJP

【ＦＩ】

   G06F3/14 370A

   G06F3/0481 170

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2015-1372(P2015-1372)

(22)【出願日】2015年1月7日

(65)【公開番号】特開2016-126640(P2016-126640A)

(43)【公開日】2016年7月11日

【審査請求日】2017年7月19日

(73)【特許権者】

【識別番号】000100768

【氏名又は名称】アイシン・エィ・ダブリュ株式会社

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ 特許業務法人

(74)【代理人】

【識別番号】100117466

【弁理士】

【氏名又は名称】岩上 渉

(72)【発明者】

【氏名】神谷 和宏

(72)【発明者】

【氏名】加藤 裕康

(72)【発明者】

【氏名】田中 靜一

【審査官】 ▲高▼橋 徳浩

(56)【参考文献】

【文献】 特開平１１−１１９７２２（ＪＰ，Ａ）

【文献】 特開２００６−１２６００２（ＪＰ，Ａ）

【文献】 特開２００７−２９３６３１（ＪＰ，Ａ）

【文献】 特開２０１２−１３３２４５（ＪＰ，Ａ）

【文献】 特開２００４−１２６６３７（ＪＰ，Ａ）

【文献】 特開２００８−０９９２５４（ＪＰ，Ａ）

【文献】 特開２００９−０６５６８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ３／０３−Ｇ０６Ｆ３／０４８９

Ｇ０６Ｆ３／１４−Ｇ０６Ｆ３／１５３

Ｇ０６Ｔ１／００−Ｇ０６Ｔ９／４０

Ｇ０９Ｇ５／００−Ｇ０９Ｇ５／４０

Ｈ０４Ｎ９／４４−Ｈ０４Ｎ９／７８

(57)【特許請求の範囲】

【請求項1】

画面の合成条件が満たされない場合に、利用者によって選択されるアイコンであって、選択された場合には選択されていない状態の前記アイコンから透過部位が広がることによって構成される前記アイコンを含む第１画面の画像を生成し、前記合成条件が満たされた場合に、透過部位を有していない前記アイコンと、特定の色の領域とを含む前記第１画面の画像を生成する第１画面生成手段と、
前記特定の色の領域に第２画面の画像を合成する第２画面合成手段と、
前記第１画面を表示部に表示させる表示制御手段と、
を備える表示制御システム。

【請求項2】

前記第１画面生成手段は、第１の制御手段によって実現され、
前記第２画面合成手段は、前記第１の制御手段と異なる第２の制御手段によって実現される、
請求項１に記載の表示制御システム。

【請求項3】

前記第１画面生成手段は、
前記第２画面合成手段が指定した領域を前記特定の色の領域とする、
請求項１または請求項２のいずれかに記載の表示制御システム。

【請求項4】

前記特定の色の領域は、クロマキー合成の対象となる領域である、
請求項１〜請求項３のいずれかに記載の表示制御システム。

【請求項5】

画面の合成条件が満たされない場合に、利用者によって選択されるアイコンであって、選択された場合には選択されていない状態の前記アイコンから透過部位が広がることによって構成される前記アイコンを含む第１画面の画像を生成し、前記合成条件が満たされた場合に、透過部位を有していない前記アイコンと、特定の色の領域とを含む前記第１画面の画像を生成する第１画面生成工程と、
前記特定の色の領域に第２画面の画像を合成する第２画面合成工程と、
前記第１画面を表示部に表示させる表示制御工程と、
を含む表示制御方法。

【請求項6】

画面の合成条件が満たされない場合に、利用者によって選択されるアイコンであって、選択された場合には選択されていない状態の前記アイコンから透過部位が広がることによって構成される前記アイコンを含む第１画面の画像を生成し、前記合成条件が満たされた場合に、透過部位を有していない前記アイコンと、特定の色の領域とを含む前記第１画面の画像を生成する第１画面生成機能と、
前記特定の色の領域に第２画面の画像を合成する第２画面合成機能と、
前記第１画面を表示部に表示させる表示制御機能と、
をコンピュータに実現させることを特徴とする表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御システム、方法およびプログラムに関する。

【背景技術】

【0002】

従来、ユーザインタフェース画面にポインタとアイコンとを表示し、ポインティングデバイスによってポインタを操作することによってアイコンを選択する構成が知られている。また、クロマキーによって２種類の画面を合成してユーザインタフェース画面を生成する構成も知られている。例えば、特許文献１においては、クロマキーの色がマウスカーソルの色と一致しないように選択され、マウスカーソルがオーバーレイ画像と重なってもマウスカーソルの表示が消えない構成が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１３７４３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来技術においては、クロマキーの色とポインタ（マウスカーソル）の色とが一致しないように構成されているが、クロマキーの色と重なり得るオブジェクト（アイコンやポインタ）を優れた意匠にするために、透過性のあるオブジェクトが採用されることがある。透過性のあるオブジェクトにおいて、透過はオブジェクトの色と背景の色とを混合するなどの処理によって実現されるため、透過性のあるオブジェクトがクロマキーと重なるとクロマキーの色が変化する。従って、重なった部分においてはクロマキー合成が行われない。また、重なった部分においてはオブジェクトからクロマキーの色に類似する色（通常の画面での使用が想定されない特殊な色に類似する色）が出力される状態となる。従って、従来の技術においては、クロマキー合成を行う構成において、クロマキーの色と類似する色が残存し、透過性のあるオブジェクトを適正に合成することができなかった。
本発明は、前記課題にかんがみてなされたもので、クロマキー合成を行う構成において、クロマキーの色と類似する色が残存することを防止することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記の目的を達成するため、画面の合成条件が満たされない場合に、透過部位を有するアイコンを含む第１画面の画像を生成し、合成条件が満たされた場合に、透過部位を有していないアイコンと、特定の色の領域とを含む第１画面の画像を生成する第１画面生成手段と、特定の色の領域に第２画面の画像を合成する第２画面合成手段と、第１画面を表示部に表示させる表示制御手段と、を備える表示制御システムが構成される。

【0006】

また、上記の目的を達成するため、画面の合成条件が満たされない場合に、透過部位を有するアイコンを含む第１画面の画像を生成し、合成条件が満たされた場合に、透過部位を有していないアイコンと、特定の色の領域とを含む第１画面の画像を生成する第１画面生成工程と、特定の色の領域に第２画面の画像を合成する第２画面合成工程と、第１画面を表示部に表示させる表示制御工程と、を含む表示制御方法が構成される。

【0007】

さらに、上記の目的を達成するため、画面の合成条件が満たされない場合に、透過部位を有するアイコンを含む第１画面の画像を生成し、合成条件が満たされた場合に、透過部位を有していないアイコンと、特定の色の領域とを含む第１画面の画像を生成する第１画面生成機能と、特定の色の領域に第２画面の画像を合成する第２画面合成機能と、第１画面を表示部に表示させる表示制御機能と、をコンピュータに実現させることを特徴とする表示制御プログラムが構成される。

【0008】

すなわち、画面の合成が行われない場合には透過部位を有するアイコンを含む第１画面の画像が生成され、画面の合成が行われる場合には透過部位を有していないアイコンと特定の色の領域を含む第１画面の画像が生成される。そして、画面の合成が行われる場合に、第１画面の特定の色の領域に第２画面が合成されて表示される。以上の構成によれば、特定の色の領域（クロマキー合成の対象となる領域）に透過部位を有するアイコンが重なることはないため、透過によって特定の色が変化することはなく、特定の色に類似する色が合成後に残存することを防止することができる。

【図面の簡単な説明】

【0009】

【図1】表示制御システムを示すブロック図である。

【図2】（２Ａ）（２Ｃ）（２Ｄ）はユーザインタフェース画面の例を示す図、（２Ｂ）はアイコンを示す図である。

【図3】（３Ａ）は第１画面生成処理を示すフローチャート、（３Ｂ）は第２画面合成処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示制御システムの構成：
（２）第１画面生成処理：
（３）第２画面合成処理：
（４）他の実施形態：

【0011】

（１）表示制御システムの構成：
図１は、本発明の一実施形態である表示制御システムを実現する外部画像制御システム１００とナビゲーションシステム１０の構成を示すブロック図である。本実施形態にかかる表示制御システムは、車両に搭載されたシステムが協働することによって実現される。

【0012】

外部画像制御システム１００は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える外部画像制御部２００を備えており、外部画像制御部２００は、当該ＲＯＭや記録媒体３００に記録された所望のプログラムを実行することができる。本実施形態において、外部画像制御部２００は、外部画像制御プログラム２１０を実行することができる。当該外部画像制御プログラム２１０を実行することにより、外部画像制御部２００は、図示しない外部カメラを制御して車両の外部を撮影した画像である外部画像を取得し、表示させるための処理を行う。

【0013】

ナビゲーションシステム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるナビゲーション制御部２０を備えており、ナビゲーション制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。本実施形態において、ナビゲーション制御部２０は、ナビゲーションプログラム２１を実行することができ、当該ナビゲーションプログラム２１を実行することにより、図示しないＧＰＳ信号受信部の出力等に基づいてナビゲーションシステム１０が搭載された車両を指定の目的地まで誘導する。

【0014】

以上のように、外部画像制御システム１００は外部画像に関する制御を行い、ナビゲーションシステム１０は誘導案内に関する制御を行う。本実施形態においては、これらの異なる種類の制御についてのユーザインタフェースを１個の表示部４００上でのユーザインタフェース画面および１個のポインティングデバイス４１０で実現している。このため、ナビゲーションシステム１０には表示部４００とポインティングデバイス４１０とが接続され、外部画像制御システム１００には表示部４００が接続されている。

【0015】

すなわち、ナビゲーションシステム１０は、ポインティングデバイスによってポインタの表示位置を決定するとともに誘導案内に関するユーザインタフェース画面を生成し、表示部４００に出力して表示することができる。本実施形態においては、これらの処理を実行するため、ナビゲーションプログラム２１に、指示位置取得部２１ａと第１画面生成部２１ｂとが備えられている。すなわち、ナビゲーションシステム１０のナビゲーション制御部２０は、指示位置取得部２１ａおよび第１画面生成部２１ｂの処理により、誘導案内に関するユーザインタフェース画面を生成するための処理を行う。

【0016】

一方、本実施形態においては、当該ユーザインタフェース画面に外部画像を合成して出力することも可能であり、合成が行われる場合、外部画像制御システム１００は、ナビゲーションシステム１０が生成した誘導案内のためのユーザインタフェース画面に外部画像を合成し、単一のユーザインタフェース画面として表示部４００に表示する。本実施形態においては、これらの処理を実行するため、外部画像制御プログラム２１０に、第２画面合成部２１０ａが備えられている。すなわち、外部画像制御システム１００の外部画像制御部２００は、第２画面合成部２１０ａの処理により、誘導案内のためのユーザインタフェース画面に外部画像を合成する処理を行う。なお、本実施形態においては、合成が行われ得るユーザインタフェース画面を第１画面と呼び、ユーザインタフェース画面上で外部画像が占める部位を第２画面と呼ぶ。

【0017】

表示部４００は、任意の画像を表示するディスプレイであり、表示制御部４００ａによって制御される。表示部４００は図示しないインタフェースによってナビゲーション制御部２０および外部画像制御部２００と接続されており、表示制御部４００ａは、ナビゲーション制御部２０または外部画像制御部２００が出力する画像を示す情報を取得し、取得した情報に基づいて表示部４００にユーザインタフェース画面を表示する。

【0018】

ポインティングデバイス４１０はレバーを備えており、利用者がポインティングデバイス４１０のレバーを操作すると、ポインティングデバイス４１０は直交する２方向についてのレバーの傾斜角に応じた２個の出力値を出力する。すなわち、利用者は、ポインティングデバイス４１０を利用して、２次元座標系内の座標を指定することができる。ナビゲーション制御部２０は、指示位置取得部２１ａの処理により、ポインティングデバイス４１０の出力値から、ユーザインタフェース画面上でのポインタの指示位置を取得することができる。

【0019】

本実施形態において、誘導案内のためのユーザインタフェース画面には、アイコンと誘導案内に関する情報と上述のポインタとが含まれる。本実施形態において、誘導案内のためのユーザインタフェース画面はナビゲーション制御部２０が生成する。具体的には、ナビゲーションシステム１０の記録媒体３０には、地図情報３０ａおよびアイコン情報３０ｂが記録されている。地図情報３０ａはノードによって区切られた道路区間毎の情報であり、ナビゲーション制御部２０は、当該地図情報３０ａに基づいて、ナビゲーションシステム１０の現在地を含む現在地周辺の地図を示す画像を生成することができる。

【0020】

アイコン情報３０ｂは、ナビゲーションシステムの機能の実行指示等を行う際に利用者が選択するアイコンの画像を示す情報である。本実施形態において、アイコンは長方形の内部に文字列が表示されるアイコンであり、アイコン情報３０ｂには、アイコンがユーザインタフェース画面で占める位置を特定するための情報および文字列を示す情報が対応づけられている。なお、ユーザインタフェース画面で占める位置を特定するための情報は、例えば、長方形のアイコンの対角点の座標等である。すなわち、当該ユーザインタフェース画面で占める位置にポインタの指示位置が含まれる場合に、アイコンが選択されたと、ナビゲーション制御部２０が判定できるように構成されている。

【0021】

また、本実施形態においては、ポインタによってアイコンが選択された状態と選択されていない状態とで当該アイコンが変化するように構成される。このため、アイコン情報３０ｂにおいては、アイコンが選択された状態と選択されていない状態とのそれぞれについての画像を示す状態が定義されている。

【0022】

ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、ＲＡＭに確保された領域に地図情報３０ａが示す現在地周辺の地図の画像を配置し、当該地図上の所定位置にアイコン情報３０ｂが示すアイコンの画像を配置する。さらに、ナビゲーション制御部２０は、ポインティングデバイス４１０の出力値から取得された指示位置を指示するように、ＲＡＭに確保された領域にポインタの画像を配置する。なお、ポインタの指示位置が、アイコンがユーザインタフェース画面上で占める領域に含まれる場合（ポインタによってアイコンが選択されている場合）、ナビゲーション制御部２０は、選択された状態を示すアイコンの画像をアイコン情報３０ｂから抽出してＲＡＭに確保された領域に配置する。

【0023】

このようにして誘導案内のためのユーザインタフェース画面を示す情報が生成されると、ナビゲーション制御部２０は、当該情報を表示制御部４００ａに受け渡す。この結果、ユーザインタフェース画面が表示部４００に表示される。図２Ａは、表示部４００上に表示されるユーザインタフェース画面の例を示しており、同図２Ａにおいては、ユーザインタフェース画面Ｉｍに、誘導案内に関する情報としての地図が表示されているとともに、ポインタＩｃｐと複数のアイコンＩｃｎとが表示されている。

【0024】

一方、外部画像の合成条件が満たされた場合には誘導案内に関するユーザインタフェース画面に外部画像が合成される。当該合成はクロマキー合成によって実現されており、合成条件が満たされた場合、ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、予め決められた領域を特定の色とした第１画面の画像を生成する。図２Ｃは、ユーザインタフェース画面Ｉｍに特定の色の領域Ｒｃが形成された状態の例を示す図である。

【0025】

特定の色の領域を含む第１画面が生成されると、ナビゲーション制御部２０は、第１画面を示す情報を外部画像制御部２００に受け渡す。この結果、外部画像制御部２００は、受け渡された情報から特定の色の領域を抽出し、当該領域を外部画像で置換することにより、第１画面上に第２画面を合成する。合成が行われると、外部画像制御部２００は、合成後の画像を示す情報を表示制御部４００ａに受け渡す。この結果、合成後のユーザインタフェース画面が表示部４００に表示される。図２Ｄにおいては、ユーザインタフェース画面Ｉｍ上に外部画像Ｉｏが合成された例を示している。

【0026】

なお、外部画像の合成条件としては、種々の条件を採用が可能であるが、本実施形態においては、外部画像制御部２００が図示しない外部カメラの出力画像を監視し、出力画像に着目すべきオブジェクト（例えば、人物の像の特徴量を有するオブジェクト）が現れた場合に合成条件が満たされたと見なす。このように、合成条件が満たされた場合、外部画像制御部２００は、合成条件が満たされたことを示す情報を第１画面生成部２１ｂに受け渡す。この結果、ナビゲーション制御部２０が、第１画面生成部２１ｂの処理により、第１画面に特定の色の領域を形成するなど、合成のための処理が行われることになる。なお、着目すべきオブジェクトが現れている状態からオブジェクトが消失した状態に移行した場合、外部画像制御部２００は合成条件が満たされないと見なし、外部画像制御部２００は、合成条件が満たされていないことを示す情報を第１画面生成部２１ｂに受け渡す。この結果、ナビゲーション制御部２０が、第１画面生成部２１ｂの処理により、第１画面に特定の色の領域を形成せず、第１画面を示す情報を表示部４００に出力することで、合成を行わないことになる。

【0027】

以上のようにクロマキー合成を行う構成において、透過部位を有するアイコンが特定の色の領域に重なると、特定の色が変化し、本来合成が行われるべき部位において合成が行われず、クロマキーの色と類似する色が残存する場合がある。図２Ｂは、選択された状態を示すアイコンＩｃｎ2の模式図である。本実施形態において、選択された状態を示すアイコンＩｃｎ2は、選択されていない状態における長方形のアイコンＩｃｎにおいて、透過性のある透過部位が破線で示す境界まで広がるようにして構成されたアイコンである。

【0028】

すなわち、選択された状態を示すアイコンＩｃｎ2においては、アイコンの中央から破線で示す境界に向けて透過性が徐々に高くなるように透過性が定義されている。本実施形態においては、破線で示すアイコンＩｃｎ2の境界が、選択されていない状態のアイコンＩｃｎの境界（長方形の辺）よりも広がっており、アイコンＩｃｎ2の大きさは、図２Ｃに示すように、特定の色の領域Ｒｃまで達し得る大きさである。従って、仮に、図２Ｃに示すように第１画面に特定の色の領域Ｒcが表示された状態でアイコンが選択された場合に、図２Ｂに示すアイコンＩｃｎ2が表示されるように構成すると、アイコンＩｃｎ2の透過部位が特定の色の領域Ｒｃに重なってしまう。

【0029】

透過部位においては、アイコンの画像の色とアイコンの背景にある画像の色とが混合されるため、透過部位が特定の色の領域と重なると特定の色が変化する。例えば、図２Ｃにおいて、アイコンＩｃｎ2の上方の境界と特定の色の領域Ｒｃとは重なっているため、アイコンＩｃｎ2が透過する性質により、重なっている部分Ｚの色が特定の色ではなくなってしまう。従って、このような第１画面の情報が外部画像制御部２００に受け渡された場合に、部分Ｚには第２画面が合成されない。また、部分ＺにおいてはアイコンＩｃｎ2の色と特定の色とが混合された色であるため、特定の色に類似する色（通常の画面での使用が想定されない特殊な色に類似する色）になる。

【0030】

そこで、本実施形態においては、合成が行われる場合に特定の色に類似する色が残存することを防止できるように構成されている。具体的には、第１画面生成部２１ｂは、画面の合成条件が満たされない場合に、透過部位を有するアイコンを含む第１画面の画像を生成し、合成条件が満たされた場合に、透過部位を有していないアイコンと、特定の色の領域とを含む第１画面の画像を生成する機能をナビゲーション制御部２０に実行させるように構成されている。具体的には、ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、第１画面を生成する際に合成条件が満たされているか否かを判定する。合成条件が満たされていない場合、ナビゲーション制御部２０は、ポインタの指示位置に基づいて各アイコンが選択された状態であるか否かを判定する。選択されたアイコンが存在する場合、ナビゲーション制御部２０は、透過部位を有するアイコンの画像を選択されたアイコンの画像（図２Ｂに示す画像）として第１画面を生成する。

【0031】

一方、合成条件が満たされている場合、ナビゲーション制御部２０は、ポインタの指示位置に基づいて各アイコンが選択された状態であるか否かを判定する。選択されたアイコンが存在する場合、ナビゲーション制御部２０は、透過部位を有していないアイコンの画像を選択されたアイコンの画像として第１画面を生成する。なお、図２Ｄにおいては、ユーザインタフェース画面Ｉｍ上の左から２個目のアイコンが透過部位を有していないアイコンＩｃｎ3である。当該アイコンＩｃｎ3においては、選択されていない状態のアイコンＩｃｎの周囲を囲む線がアイコンＩｃｎに追加されたような形状である。

【0032】

本実施形態においては、ポインタによってアイコンが選択された場合に、アイコンが選択されたことを示すために、通常は、透過部位を有するアイコンＩｃｎ2が表示される構成になっている。そこで、合成が行われ、透過部位を有するアイコンＩｃｎ２が透過部位を有していないアイコンＩｃｎ3で代替される場合であっても、アイコンが選択されているという意味は利用者に伝達されるように、アイコンＩｃｎを線で囲む形状によってアイコンＩｃｎ3が構成される。

【0033】

いずれにしても、ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、第１画面を示す情報を生成し、合成条件が満たされていない場合は、生成した情報を表示制御部４００ａに対して出力する。合成条件が満たされている場合、ナビゲーション制御部２０は、生成した情報を外部画像制御部２００に対して出力する。

【0034】

第１画面を示す情報が外部画像制御部２００に対して出力された場合、外部画像制御部２００は、第２画面合成部２１０ａの処理により、図示しない外部カメラの出力信号に基づいて外部画像を生成する。さらに、外部画像制御部２００は、第１画面を示す情報から特定の色の領域を抽出し、当該領域を外部画像で置換することで第１画面上に第２画面を合成する。合成が行われると、外部画像制御部２００は、合成後の画像を示す情報を表示制御部４００ａに対して出力する。

【0035】

以上の処理によれば、合成条件が満たされていない場合に表示部４００に図２Ａに示すようなユーザインタフェース画面Ｉｍが表示され、合成条件が満たされている場合に表示部４００に図２Ｄに示すようなユーザインタフェース画面Ｉｍが表示される。図２Ｄに示す画面において、アイコンが選択されていることは、透過部位を有していないアイコンによって示されるため、第１画面が生成される際に特定の色の領域に透過部位を有するアイコンが重なることはない。従って、透過によって特定の色が変化することはなく、特定の色に類似する色が合成後に残存することを防止することができる。

【0036】

さらに、本実施形態において、表示制御システムは、ナビゲーションシステム１０、外部画像制御システム１００、表示部４００という３個の制御部によって構成される。また、第１画面の生成はナビゲーション制御部２０で行われ、第２画面の合成は外部画像制御部２００で行われ、第１画面の生成と第２画面の合成は異なる制御部によって行われている。

【0037】

そして、第１画面の生成と第２画面の合成が異なる制御部によって行われる構成において、外部画像制御部２００は、ナビゲーション制御部２０が生成した画像の情報から特定の色の領域を検出するのみで第２画面の合成位置を特定することができる。従って、第１画面生成手段と第２画面合成手段との連携が画像の情報の転送という最小限の連携であっても、合成条件に応じて異なるアイコンが表示される第１画面に第２画面を合成することができる。このため、ナビゲーションシステム１０と外部画像制御システム１００とが異なる製造者によって製造されたとしても、合成条件に応じて第１画面に第２画面を合成するとともに、合成が行われる場合に特定の色に類似する色を残存させないようにする構成を容易に実現することができる。

【0038】

（２）第１画面生成処理：
次に、第１画面生成処理について詳細に説明する。図３Ａは、第１画面生成処理のフローチャートである。第１画面生成処理は、ナビゲーション制御部２０や外部画像制御部２００が表示部４００にユーザインタフェース画面を表示させる処理を実行している状態において、ユーザインタフェース画面の画面構成を変化させるトリガが発生した場合に実行される。なお、本実施形態において、画面構成を変化させるトリガは、外部画像制御システム１００が備える外部カメラの出力画像に着目すべきオブジェクトが現れた場合と、消失した場合に発生する。

【0039】

第１画面生成処理において、ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、変化後の画面は合成画面であるか否かを判定する（ステップＳ１００）。すなわち、ナビゲーション制御部２０が、外部画像制御部２００から合成条件が満たされたことを示す情報を受け取った場合、ナビゲーション制御部２０は変化後の画面が合成画面であると判定する。一方、ナビゲーション制御部２０が、外部画像制御部２００から合成条件が満たされていないことを示す情報を受け取った場合、ナビゲーション制御部２０は変化後の画面が合成画面でないと判定する。

【0040】

ステップＳ１００において、変化後の画面は合成画面であると判定された場合、ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、透過部位を有していないアイコンを取得する（ステップＳ１０５）。すなわち、ナビゲーション制御部２０は、アイコン情報３０ｂを参照し、ポインタによって選択された状態を示すアイコンの画像として、透過部位を有していないアイコンを選択し、取得する。

【0041】

次にナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、アイコンと特定の色の領域を含む第１画面を生成する（ステップＳ１１０）。すなわち、ナビゲーション制御部２０は、ＲＡＭに確保された領域に地図情報３０ａが示す現在地周辺の地図の画像を配置し、予め決められた画面上の領域を特定の色とした第１画面の画像を生成する。さらに、ナビゲーション制御部２０は、当該画面上の所定位置にアイコン情報３０ｂが示すアイコンの画像を配置する。ポインタによって選択された状態のアイコンが存在する場合、ナビゲーション制御部２０は、当該ポインタによって選択された状態のアイコンの画像として、ステップＳ１０５で取得したアイコンの画像を使用する。

【0042】

次に、ナビゲーション制御部２０は、第１画面を示す情報を外部画像制御部２００に出力する（ステップＳ１１５）。すなわち、ナビゲーション制御部２０は、外部画像制御部２００が第２画面を合成できるようにするため、第１画面を示す情報を外部画像制御部２００に出力する。なお、ステップＳ１１５まで処理が行われると、ナビゲーション制御部２０は、次に画面構成を変化させるトリガが発生するまで、ステップＳ１０５〜Ｓ１１５と同様の処理を一定期間（例えば、１００ｍｓ）毎に繰り返すことでユーザインタフェース画面を表示する。

【0043】

一方、ステップＳ１００において、変化後の画面は合成画面であると判定されない場合、ナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、透過部位を有するアイコンを取得する（ステップＳ１２０）。すなわち、ナビゲーション制御部２０は、アイコン情報３０ｂを参照し、ポインタによって選択された状態を示すアイコンの画像として、透過部位を有するアイコンを選択し、取得する。

【0044】

次にナビゲーション制御部２０は、第１画面生成部２１ｂの処理により、アイコンを含む第１画面を生成する（ステップＳ１２５）。すなわち、ナビゲーション制御部２０は、ＲＡＭに確保された領域に地図情報３０ａが示す現在地周辺の地図の画像を配置して第１画面の画像を生成する。さらに、ナビゲーション制御部２０は、当該画面上の所定位置にアイコン情報３０ｂが示すアイコンの画像を配置する。ポインタによって選択された状態のアイコンが存在する場合、ナビゲーション制御部２０は、当該ポインタによって選択された状態のアイコンの画像として、ステップＳ１２０で取得したアイコンの画像を使用する。

【0045】

次に、ナビゲーション制御部２０は、第１画面を示す情報を表示制御部４００ａに出力する（ステップＳ１３０）。この結果、表示制御部４００ａは、第１画面を表示部４００に表示する。また、当該第１画面において、ポインタで選択されたアイコンは、透過部位を有するアイコンであるが、第１画面には第２画面は合成されないため、特定の色に類似する色が第１画面上に表示されることはない。なお、ステップＳ１３０まで処理が行われると、ナビゲーション制御部２０は、次に画面構成を変化させるトリガが発生するまで、ステップＳ１２０〜Ｓ１３０と同様の処理を一定期間（例えば、１００ｍｓ）毎に繰り返すことでユーザインタフェース画面を表示する。

【0046】

（３）第２画面合成処理：
次に、第２画面合成処理について詳細に説明する。図３Ｂは、第２画面合成処理のフローチャートである。第２画面合成処理は、ナビゲーション制御部２０から外部画像制御部２００に対して第１画面を示す情報が出力された場合に実行される。第２画面合成処理において、外部画像制御部２００は、第２画面合成部２１０ａの処理により、特定の色の領域に第２画面を合成する（ステップＳ２００）。すなわち、外部画像制御部２００は、図示しない外部カメラが出力する外部画像を取得する。また、外部画像制御部２００は、第１画面を示す情報を参照して特定の色の領域を抽出し、当該領域を外部画像で置換することで第１画面上に第２画面を合成する。

【0047】

次に、外部画像制御部２００は、第２画面合成部２１０ａの処理により、合成後の画面を示す情報を表示制御部４００ａに出力する（ステップＳ２０５）。この結果、表示制御部４００ａは、合成後の画面を表示部４００に表示する。また、当該合成後の画面において、ポインタで選択されたアイコンは、透過部位を有していないアイコンであるため、仮に、アイコンが第２画面と重なっていたとしても、合成後の画面にはアイコンが本来のアイコンの色で表示され、特定の色に類似する色が表示されることはない。

【0048】

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、合成条件が満たされた場合に、透過部位を有していないアイコンと特定の色の領域とを第１画面上に配置し、第１画面上の特定の色の領域に第２画面を合成する限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示制御システムを構成する手段は、１個または２個の装置で実現されてもよいし、４個以上の装置に分かれて存在していても良い。

【0049】

さらに、ユーザインタフェース画面を生成する制御部は、外部画像の制御を行うための制御部、ナビゲーションシステムの制御を行うための制御部以外にも、種々の制御部を想定可能である。例えば、オーディオ再生に関する制御を行う制御部や、携帯端末や無線通信システム等で外部機器と通信するための制御を行う制御部等でユーザインタフェース画面を合成する際に本発明を適用してもよい。むろん、各制御部は、表示部４００と離れた場所に設置さていてもよく、図１に挙げられた第１画面生成部２１ｂ等の各制御部または各制御部の一部が離れた場所に設置されたサーバで実現される構成であってもよい。むろん、各制御部は、車両に搭載されていなくてもよい。

【0050】

さらに、第１画面生成手段は、画面の合成条件が満たされない場合に、透過部位を有するアイコンを含む第１画面の画像を生成し、合成条件が満たされた場合に、透過部位を有していないアイコンと、特定の色の領域とを含む第１画面の画像を生成することができればよい。すなわち、第１画面生成手段は、第１画面に対して第２画面が合成されるか否かに応じて、表示対象となるアイコンの透過性がない状態と透過性がある状態とを変化させ、特定の色の領域の有無を制御することができればよい。

【0051】

合成条件は種々の態様で決定されることが可能であり、表示制御システムが任意の処理を実行する過程で、例えば、割込処理の発生や各種の機能を実行する処理の開始等によって第１画面に第２画面を合成する処理を実行する条件が満たされる構成を採用可能である。むろん、表示制御システム以外の他の制御部において所定の処理が発生した場合に、表示制御システムで合成条件が満たされたと見なす構成であってもよい。例えば、通信の制御部の処理によって着信が発生した場合や、各種のセンサによる監視を制御する制御部の処理によって監視対象の画像を表示すべきトリガが発生した場合等に、表示制御システムが合成条件を満たしたと判定してもよい。

【0052】

アイコンは、第１画面上で表示される任意の形状のアイコンであってよい。また、アイコンは、合成条件が満たされたか否かによって透過性がない状態と透過性がある状態とが変化する。従って、透過性がない状態においては、透過性がある状態において透過部位によって示された意味が、非透過な部位で代替されていることが好ましい。例えば、ポインタ等によってアイコンが選択された場合に選択前のアイコンよりもアイコンが拡大し、少なくとも拡大した部位が透過部位となり、内側から外側に向けて透過性が徐々に大きくなるアイコンが第１画面に表示される構成を想定する。この場合、透過性を有するアイコンが表示されたことは、アイコンが選択されたことを意味しているため、透過性を有しないアイコンを表示する場合であっても、例えば、選択前のアイコンを強調するなどして選択されたことを意味することが好ましい。

【0053】

特定の色の領域は、第２画面を合成する領域であればよい。従って、特定の色は、通常の画像において使用される確率が小さい色であることが好ましい。このような色としては、例えば、画素の色を色成分（例えば、Ｒ，Ｇ，Ｂ）毎の階調値の組み合わせで表現する画像情報において、全色成分が階調値の上限値または下限値となっている色が挙げられ、２５６階調の情報において、（Ｒ，Ｇ，Ｂ）＝（２５５，０，２５５）等の色を特定の色とすることができる。

【0054】

第２画面合成手段は、特定の色の領域に第２画面の画像を合成することができればよい。すなわち、第２画面合成手段は、第１画面生成手段が生成した第１画面の画像を示す情報を参照して特定の色の領域の位置を取得し、当該領域に第２画面の画像を重畳した情報を生成することができればよい。第２画面は、第１画面に合成される任意の内容であってよい。すなわち、第２画面は、通常は利用者が第１画面を利用するシステムにおいて、必要が生じた場合に表示される内容の画面であればよい。

【0055】

表示制御手段は、第１画面を表示部に表示させることができればよい。すなわち、合成が行われなかった場合、第１画面生成手段によって生成された第１画面の画像を表示部に表示することができればよい。また、合成が行われた場合、第２画面合成手段によって生成された、第１画面に第２画面が合成された後の画像を表示部に表示することができればよい。

【0056】

以上の構成において、表示制御システムは、１個の制御部（または装置）で実現されてもよいし、２個以上の制御部（装置または装置）で実現されてもよい。このような構成の例として、第１画面生成手段が、第１の制御手段によって実現され、第２画面合成手段が、第１の制御手段と異なる第２の制御手段によって実現される構成を採用してもよい。

【0057】

すなわち、第１画面生成手段と、第２画面合成手段とが異なる制御部によって実現される。制御部は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ等からなるプログラム実行環境等によって実現可能であり、第１画面生成手段と、第２画面合成手段とが異なる制御部によって実現される構成は、第１画面生成手段としての制御部で生成した画像の情報を第２画面合成手段としての制御部に転送し、第２画面合成手段としての制御部で合成を行う構成等を採用可能である。このような構成であれば、第１画面生成手段と第２画面合成手段とが、異なる製造者によって製造された後、表示制御システムとして組み立てられる構成等に本発明を適用することができる。

【0058】

また、このように、第１画面生成手段と、第２画面合成手段とが異なる制御部によって実現される構成において、第２画面合成手段は、第１画面生成手段が生成した画像の情報から特定の色の領域を検出するのみで第２画面の合成位置を特定することができる。従って、第１画面生成手段と第２画面合成手段との連携が画像の情報の転送という最小限の連携であっても、合成条件に応じて異なるアイコンが表示される第１画面に第２画面を合成することができる。このため、第１画面生成手段と第２画面合成手段とが、異なる製造者によって製造された後、表示制御システムとして組み立てられる構成等であっても本発明を容易に適用することができる。

【0059】

さらに、第１画面生成手段が、第２画面合成手段が指定した領域を特定の色の領域とする構成を採用してもよい。すなわち、第１画面生成手段は、第２画面合成手段の指示によって特定の色の領域を決定する。この構成においては、第２画面合成手段が主体になって第２画面の大きさや形状、位置を決定することができる。従って、第２画面に関する制御を行う第２画面合成手段が可換あるいは複数個存在し得る構成において、第２画面合成手段がどのような第２画面を合成する場合であっても、第１画面生成手段の構成を変更する必要はない。このため、第１画面生成手段と第２画面合成手段とが、異なる製造者によって製造された後、表示制御システムとして組み立てられる構成等であっても本発明を容易に適用することができる。

【0060】

例えば、図１に示す構成において、外部画像制御システム１００が備える外部カメラの出力画像に着目すべきオブジェクトが現れることによって、合成条件が満たされた場合に、外部画像制御部２００が第２画面合成部２１０ａの処理により、特定の色の領域を示す情報（位置、大きさ、形状等を示す情報）をナビゲーション制御部２０に対して出力する構成とする。ナビゲーション制御部２０は、当該特定の色の領域を示す情報に基づいて、特定の色の領域を決定（（位置、大きさ、形状等を決定）し、第１画面上に当該特定の色の領域を形成する。この後、ナビゲーション制御部２０が、特定の色の領域を含む第１画面を示す情報を外部画像制御部２００に対して出力することにより、第２画面合成部２１０ａの処理によって指定された領域に第２画面が合成され、表示部４００に表示されることになる。

【0061】

さらに、本発明のように、合成条件が満たされた場合に、透過部位を有していないアイコンと特定の色の領域とを第１画面上に配置し、第１画面上の特定の色の領域に第２画面を合成する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0062】

１０…ナビゲーションシステム、２０…ナビゲーション制御部、２１…ナビゲーションプログラム、２１ａ…指示位置取得部、２１ｂ…画面生成部、３０…記録媒体、３０ａ…地図情報、３０ｂ…アイコン情報、１００…外部画像制御システム、２００…外部画像制御部、２１０…外部画像制御プログラム、２１０ａ…画面合成部、３００…記録媒体、４００…表示部、４００ａ…表示制御部、４１０…ポインティングデバイス

【図1】

【図2】

【図3】