特許 7163407 衝突制御方法及び装置、電子機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-21

(45)【発行日】2022-10-31

(54)【発明の名称】衝突制御方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221024BHJP

   B60W 30/08 20120101ALI20221024BHJP

   B60W 40/04 20060101ALI20221024BHJP

   B60W 50/14 20200101ALI20221024BHJP

   B60W 60/00 20200101ALI20221024BHJP

【ＦＩ】

G08G1/16 C

B60W30/08

B60W40/04

B60W50/14

B60W60/00

【請求項の数】 12

(21)【出願番号】P 2020555288

(86)(22)【出願日】2019-04-26

(65)【公表番号】

(43)【公表日】2021-03-25

(86)【国際出願番号】 CN2019084527

(87)【国際公開番号】W WO2019206272

(87)【国際公開日】2019-10-31

【審査請求日】2020-06-30

(31)【優先権主張番号】201810404555.0

(32)【優先日】2018-04-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520237166

【氏名又は名称】深▲セン▼市商▲湯▼科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000062

【氏名又は名称】特許業務法人第一国際特許事務所

(72)【発明者】

【氏名】▲トォン▼ 源洋

(72)【発明者】

【氏名】毛 ▲寧▼元

(72)【発明者】

【氏名】▲劉▼ 文志

【審査官】久保田 創

(56)【参考文献】

【文献】特開２０１４－０５２８８３（ＪＰ，Ａ）

【文献】特開２０１５－００５１８７（ＪＰ，Ａ）

【文献】特開２０１８－０４５４８２（ＪＰ，Ａ）

【文献】特開２０１４－０５９８４１（ＪＰ，Ａ）

【文献】国際公開第２００８／０６５７２９（ＷＯ，Ａ１）

【文献】特開２００９－２７１７６６（ＪＰ，Ａ）

【文献】特開２０１５－０２４７１３（ＪＰ，Ａ）

【文献】特開２００８－０９０７４８（ＪＰ，Ａ）

【文献】国際公開第２０１６／０８４１４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ３０／０８

Ｂ６０Ｗ ４０／０４

Ｂ６０Ｗ ５０／１４

Ｂ６０Ｗ ６０／００

(57)【特許請求の範囲】

【請求項1】

走行対象物が撮像した画像中の目標対象物を検出することと、
前記走行対象物の前方衝突危険領域を決定することと、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行することと、を含み、
前記走行対象物の前方衝突危険領域を決定することは、
危険距離と、前記走行対象物自体の幅と、前記走行対象物が位置する道路の幅とに基づいて、前記走行対象物の前方衝突危険領域を決定し、または、前記危険距離と、前記走行対象物が位置する道路の幅とに基づいて、前記走行対象物の前方衝突危険領域を決定することを含み、
前記危険距離は前記走行対象物前方の最遠境界と前記走行対象物との距離であることを特徴とする衝突制御方法。

【請求項2】

前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突制御を実行することは、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定することと、
前記走行対象物に対して前記危険レベルに対応する衝突制御を実行することとを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定することは、
前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、
前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することとを含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記危険レベルはさらに第３の危険レベルを含み、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定することは、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定することを含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突制御を実行することは、
前記目標対象物と前記走行対象物との間の距離を決定することと、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行することとを含む、及び／又は、
前記目標対象物と前記走行対象物との間の衝突時間を決定することと、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行することとを含むことを特徴とする請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合に前記走行対象物に対して実行される衝突制御は、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合に前記走行対象物に対して実行される衝突制御と異なる、又は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合に前記走行対象物に対して実行される衝突制御は、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合に前記走行対象物に対して実行される衝突制御と異なることを特徴とする請求項５に記載の方法。

【請求項7】

前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合に前記走行対象物に対して実行される衝突制御は、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合に前記走行対象物に対して実行される衝突制御と異なる、又は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合に前記走行対象物に対して実行される衝突制御は、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合に前記走行対象物に対して実行される衝突制御と異なることを特徴とする請求項５に記載の方法。

【請求項8】

走行対象物が撮像した画像中の目標対象物を検出することは、
ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出することを含むことを特徴とする請求項１～７のいずれか１項に記載の方法。

【請求項9】

走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュールと、
前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュールと、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュールと、を含み、
前記走行対象物の前方衝突危険領域を決定することは、
危険距離と、前記走行対象物自体の幅と、前記走行対象物が位置する道路の幅とに基づいて、前記走行対象物の前方衝突危険領域を決定し、または、前記危険距離と、前記走行対象物が位置する道路の幅とに基づいて、前記走行対象物の前方衝突危険領域を決定することを含み、
前記危険距離は前記走行対象物前方の最遠境界と前記走行対象物との距離であることを特徴とする衝突制御装置。

【請求項10】

プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって請求項１～８のいずれか１項に記載の方法を実行することを特徴とする電子機器。

【請求項11】

コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～８のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。

【請求項12】

プロセッサによって実行されると、請求項１～８のいずれか１項に記載の方法を実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１８年４月２８日に中国特許局に提出された、出願番号２０１８１０４０４５５５．０、発明名称が「衝突制御方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

【技術分野】

【0002】

本開示はコンピュータビジョンの技術分野に関し、特に衝突制御方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

車両のインテリジェントドライブの場合、コンピュータビジョン技術を使用して歩行者、他の車両などの目標を検知し、検知した目標をインテリジェントドライブの制御に用いる必要がある。

【発明の概要】

【0004】

本開示は衝突制御の技術的解決手段を提供する。

【0005】

本開示の一方面によれば、走行対象物が撮像した画像中の目標対象物を検出することと、前記走行対象物の前方衝突危険領域を決定することと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行することと、を含む衝突制御方法を提供する。

【0006】

本開示の一方面によれば、走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュールと、前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュールと、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュールと、を含む衝突制御装置を提供する。

【0007】

本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器を提供する。

【0008】

本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記衝突制御方法を実行させるコンピュータ読取可能な記憶媒体を提供する。

【0009】

本開示の一方面によれば、プロセッサによって実行されると、上記衝突制御方法を実行させるコンピュータプログラムを提供する。

【0010】

本開示の実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことで、走行対象物に対する衝突制御はより適切で、より効率的で、より正確になる。

【0011】

本開示の他の特徴及び方面は、以下、図面を参照しながら例示的な実施例について詳細に説明することにより明らかになる。

【図面の簡単な説明】

【0012】

明細書の一部として明細書に含まれる図面は、明細書と共に本開示の例示的な実施例、特徴及び方面を示し、本開示の原理を解釈するために用いられる。

【図1】本開示の一実施例による衝突制御方法のフローチャートを示す。

【図2】本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。

【図3】本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。

【図4】本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。

【図5】本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。

【図6】本開示の一例示的な実施例による衝突制御装置のブロック図を示す。

【図7】本開示の一例示的な実施例による電子機器のブロック図を示す。

【図8a】本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。

【図8b】本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。

【図8c】本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。

【図8d】本開示の一例示的な実施例による衝突制御方法における前方衝突危険領域の模式図を示す。

【発明を実施するための形態】

【0013】

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

【0014】

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。

【0015】

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。

【0016】

図１は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図１に示すように、前記衝突制御方法は、以下のステップを含む。

【0017】

ステップＳ１０、走行対象物が撮像した画像中の目標対象物を検出する。

【0018】

可能な実施形態では、目標対象物はいかなるタイプの対象物であってもよい。例えば、目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含むことができる。

【0019】

目標対象物は、単一の対象物タイプの一つまたは複数の目標対象物であってもよく、複数の対象物タイプの複数の目標対象物であってもよい。例えば、車両だけを目標対象物としてもよく、目標対象物は１つの車両であってもよく、複数の車両であってもよい。また、車両および歩行者をともに目標対象物としてもよい。目標対象物は複数の車両および複数の歩行者である。必要に応じて、設定された対象物タイプを目標対象物としてもよく、設定された対象物個体を目標対象物としてもよい。

【0020】

走行対象物は、移動可能な対象物、例えば自動車、非自動車及びロボットなどを含んでもよい。走行対象物は、人によって携帯または着用されるデバイスであってもよい。

【0021】

走行対象物が車両である場合、本開示の実施例は自動運転、支援運転などの技術分野に応用され得る。必要に応じて走行対象物を決定することができる。本開示はこれを限定しない。

【0022】

走行対象物に撮像装置を配置し、設定方向の画像を撮像することができる。走行対象物は、その前方、後方、側方など任意の１つまたは複数の方向の画像を撮像することができる。本開示はこれを限定しない。

【0023】

走行対象物が撮像した画像は、撮像装置によって撮像された単一フレームの画像を含んでもよく、撮像装置によって撮像されたビデオストリーム内のフレーム画像を含んでもよい。

【0024】

走行対象物は、単眼カメラ、ＲＧＢカメラ、赤外線カメラ、双眼カメラなどの様々なビジョンセンサによって画像を撮像することができる。単眼カメラを使用する場合、システムコストが低く、応答が速い。ＲＧＢカメラまたは赤外線カメラを使用する場合、特別な環境で画像を撮像することができる。双眼カメラを使用する場合、目標対象物のより豊かな情報を取得することができる。衝突防止の要求、環境、走行対象物のタイプおよびコストなどに応じて、異なる撮像装置を選択することができる。本開示はこれを限定しない。

【0025】

走行対象物が撮像した画像中の目標対象物を検出した結果は、目標対象物の特徴を含んでもよく、目標対象物の状態などを含んでもよい。本開示はこれを限定しない。

【0026】

例えば、検出した結果は、目標対象物の特徴（例えば、歩行者は高齢者である）、位置（例えば、目標対象物の走行対象物に対する相対位置）、距離（例えば、目標対象物の走行対象物に対する距離）、速度（例えば、目標対象物の走行対象物に対する相対速度）、加速度、移動方向（例えば、目標対象物の走行対象物に対する移動方向）などを含んでもよい。

【0027】

Ｓ２０、前記走行対象物の前方衝突危険領域を決定する。

【0028】

可能な実施形態では、前方衝突危険領域は、走行対象物の前方への移動中に、衝突の可能性がある領域、または衝突の確率が予め設定された条件を満たす領域であってもよい。前方衝突危険領域は実際の要求および／または検出条件に応じて決定することができる。例えば、矩形、扇形、台形などの様々な形状であってもよいが、これらに限定されない。本出願はこれを限定しない。図８ａ、図８ｂ、図８ｃ、図８ｄは前方衝突危険領域の模式図を示し、そのうち、図８ａ、図８ｃ、図８ｄは矩形の前方衝突危険領域であり、図８ｂは扇形の前方衝突危険領域である。

【0029】

Ｓ３０、前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行する。

【0030】

可能な実施形態では、目標対象物と前方衝突危険領域との相対関係は、目標対象物が前方衝突危険領域内または前方衝突危険領域外にあることと、目標対象物が前方衝突危険領域に入る傾向があること（例えば、目標対象物が前方衝突危険領域外にあり、且つ目標対象物が前方衝突危険領域内へ移動する）などを含んでもよい。目標対象物と前方衝突危険領域との相対関係は、目標対象物と走行対象物が衝突する危険度を反映することができる。

【0031】

本実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことで、走行対象物に対する衝突制御はより適切で、より効率的で、より正確になる。

【0032】

図２は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図２に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するステップＳ３１と、
前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するステップＳ３２と、を含む。

【0033】

可能な実施形態では、目標対象物の危険レベルは危険、安全などのように区分けしてもよく、第１の危険レベル、第２の危険レベル、第３の危険レベルなどのように区分けしてもよい。

【0034】

可能な実施形態では、衝突制御は衝突警告および／または運転制御を含み、運転制御は、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含んでもよい。

【0035】

目標対象物と前記前方衝突危険領域との相対関係に基づいて、対応する衝突警告を行って、危険を報知することができる。衝突警告は、例えば音声警告（警報音、音声報知など）、視覚的警告（指示灯、画面表示など）、振動警告など様々な形態の警告を含んでもよい。異なる相対関係に対して異なる衝突警告、例えば異なる音声または表示内容、異なる音量レベル、異なる振動強度などを設定することができる。特定された相対関係に基づいて、対応する衝突警告をトリガすることにより、走行対象物の使用者が種々の目標対象物の危険度を容易に区別することができる。

【0036】

例えば、相対関係は目標対象物が前方衝突危険領域内にあり、危険度が高い場合、該相対関係に対応して実行される衝突警告は、「近くに歩行者がいて、直ちに避けてください！」という音声放送であってもよく、大音量の警報音であってもよい。相対関係は目標対象物が前方衝突危険領域内にあり、危険度が低い場合、該相対関係に対応して実行される衝突警告は「歩行者を避けてください」という音声放送であってもよく、小音量の警報音であってもよい。

【0037】

異なるタイプの衝突警告は、単独で実行されてもよく、組み合わせて実行されてもよい。

【0038】

また、前記相対関係に対応する運転制御を実行することもできる。例えば、相対関係に基づいて、対応する運転制御方式を特定し、該運転制御方式に対応する運転コマンドを車両の制御システムに伝送して、運転制御を実現することができる。

【0039】

例えば、相対関係は目標対象物が前方衝突危険領域外にあり、危険度が低い場合、該相対関係に対応して実行される運転制御は、速度低減であって、例えば速度を１０％低下させてもよい。相対関係は目標対象物が前方衝突危険領域内にあり、危険度が高い場合、該相対関係に対応して実行される運転制御は、より大幅な速度低減であって、例えば速度を５０％低下させて、またはブレーキしてもよい。

【0040】

衝突警告と運転制御は、いずれか一つが実行されてもよく、ともに実行されてもよい。目標対象物と前方衝突危険領域との異なる相対関係を異なる危険レベルに対応させて、異なる危険レベルに応じて、異なる衝突制御で警告するまたは危険を回避することができる。

【0041】

本実施例では、相対関係と、危険レベルと、衝突制御との間の対応関係を確立することによって、目標対象物に対する正確且つ適切な衝突制御を達成する。

【0042】

可能な実施形態では、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、ステップＳ３１は、
前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することとを含む。

【0043】

第１の危険レベルは第２の危険レベルよりも高いようにしてもよい。目標対象物が前方衝突危険領域内にある場合、目標対象物の危険レベルは高く、目標対象物が前方衝突危険領域外にある場合、目標対象物の危険レベルは低い。第１の危険レベルの危険度は第２の危険レベルの危険度よりも高く、第１の危険レベルに対応する衝突制御レベルも第２の危険レベルに対応する衝突制御レベルよりも高いようにしてもよい。例えば、第１の危険レベルに対応して、大幅な速度低減および高音量の音声報知を行って、一方、第２の危険レベルに対応して、小幅な速度低減および低音量の音声報知を行うか、または音声報知のみを行うことができる。このように、前方衝突危険領域内、前方衝突危険領域外の目標対象物を異なる危険レベルに区分け、より正確な衝突制御を行うことができる。

【0044】

可能な実施形態では、前記危険レベルはさらに第３の危険レベルを含み、ステップＳ３１は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定することを含む。

【0045】

第３の危険レベルの危険度は上記第１の危険レベルよりも低く、且つ上記第２の危険レベルよりも高いようにしてもよい。また、第３の危険レベルに対応する衝突制御レベルも第２の危険レベルに対応する衝突制御レベルよりも高く、且つ第１の危険レベルに対応する衝突制御レベルよりも高いようにしてもよい。例えば、第３の危険レベルに対応して、中程度の速度低減および中等音量の音声報知を行うことができる。このように、前方衝突危険領域に入る傾向がある目標対象物に対して適正な危険レベルを設定することにより、衝突制御はより正確になる。

【0046】

本実施例では、目標対象物と前記前方衝突危険領域との相対関係に基づいて特定された前記目標対象物の危険レベルは、走行対象物に対するより適切な衝突制御に用いられる。それにより、走行対象物に対する衝突制御はより正確になる。

【0047】

図３は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図３に示すように、前記衝突制御方法におけるステップＳ２０は、
危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するステップＳ２１を含む。

【0048】

可能な実施形態では、前方衝突危険領域は、走行対象物のパラメータ、環境パラメータなどの因子に基づいて決定されることができる。

【0049】

可能な実施形態では、危険距離は、前方衝突危険領域における、走行対象物前方の最遠境界と走行対象物との距離を示すことができる。例えば、図８ａにおける距離Ｄである。衝突制御の要求、走行対象物が位置する環境および走行対象物自身の特徴に基づいて危険距離を決定することができる。例えば、走行対象物が位置する環境の危険度が高いほど、なるべく早く衝突制御を行うように、危険距離を長くする。

【0050】

危険距離は、走行対象物の性能パラメータ、例えば車両の走行速度、ブレーキ距離などに基づいて決定することができる。性能パラメータは、走行対象物に対してリアルタイム検出を行うことによって得られるか、または走行対象物のプリセットパラメータによって得られる。危険距離は、現在の環境因子、例えば地面の積雪の度合い、積水の度合い、可視性などに基づいて決定してもよい。環境因子は、リアルタイム検出によって得られてもよく、インターネットなどの手段を介して外部のデータベースから得られてもよい。

【0051】

例えば、車両の走行速度が速いほど、危険距離は長く、ブレーキ距離が長いほど、危険距離は長く、環境状況が悪いほど（例えば積雪や積水が多く、可視性が低いなど）、危険距離は長い。本開示は危険距離の具体的な決定方式を限定しない。

【0052】

例えば、危険距離および走行対象物自体の幅に基づいて前方衝突危険領域を決定することができる。

【0053】

例えば、車両のプリセットパラメータに基づいて車両自体の幅Ｗを得ることができる。図８ａにおける破線に示すように、Ｗを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。該矩形領域を適切に広げてもよく、例えば、図８ａにおける実線に示すように、矩形の前方衝突危険領域の幅をＷ＋２Ｌまで広げる。ここで、車両の両側にそれぞれＬの幅を広げ、Ｌは走行対象物のパラメータまたは環境パラメータなどの因子に基づいて決定されることができる。

【0054】

さらなる例として、図８ｂに示すように、車両前部のある点Ｏを原点とし、危険距離Ｄを半径とし、扇形の前方衝突危険領域を形成してもよい。ここで、扇形の角度は車両自体の幅Ｗによって決定され、Ｗが広いほど、扇形の角度は大きいようにしてもよい。

【0055】

また、危険距離および走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定することもできる。

【0056】

例えば、計測またはインターネットからのデータによって、車両が位置する道路の幅Ｍを得ることができる。２車線の車線を例とすると、図８ｃに示すように、Ｍ／２－Ｎを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。ここで、Ｍ／２は車両が位置する走行方向の道路の幅、例えば左側の車線の幅である。Ｎは道路状況、天気などの因子に基づいて決定され、例えば、道路渋滞時にＮは大きいようにしてもよい。

【0057】

また、危険距離、走行対象物自体の幅および走行対象物が位置する道路の幅の三者に基づいて前方衝突危険領域を決定することもできる。例えば、車両自体の幅をＷとし、車両が位置する道路の幅をＭとすると、図８ｄに示すように、Ｍ－２Ｎを幅とし、危険距離Ｄを長さとし、車両の前輪郭線を一辺として、矩形の前方衝突危険領域を決定することができる。ここで、Ｍは車両が位置する走行方向の道路の幅であり、ＮはＷに関係している。Ｎは道路状況、天気などの因子に基づいて決定されてもよく、例えば、道路渋滞時にＮは大きいようにしてもよい。

【0058】

本実施例では、危険距離、走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて決定された走行対象物の前方衝突危険領域は、走行対象物自身のパラメータ、および走行対象物が位置する環境のパラメータなどの因子により合って、それにより、走行対象物に対する衝突制御がより正確になる。

【0059】

図４は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。如図４に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記走行対象物との間の距離を決定するステップＳ３３と、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するステップＳ３４と、を含む。

【0060】

可能な実施形態では、上述したように、走行対象物が撮像した画像中の目標対象物を検出することによって、目標対象物と走行対象物との間の距離を決定することができる。

【0061】

可能な実施形態では、衝突制御は第１の衝突制御および第２の衝突制御を含んでもよい。ステップＳ３４は、
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行すること、を含んでもよい。

【0062】

第１の衝突制御のレベルは第２の衝突制御のレベルよりも高く、前方衝突危険領域内にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第１の衝突制御は大幅な速度低減および高音量の音声報知を含んでもよく、第２の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよい。

【0063】

可能な実施形態では、前記衝突制御は第３の衝突制御および第４の衝突制御を含んでもよい。ステップＳ３４は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行すること、を含む。

【0064】

第３の衝突制御のレベルは第４の衝突制御のレベルよりも高く、前方衝突危険領域内外にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第３の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよく、第４の衝突制御は小幅度な速度低減および低音量の音声報知を含んでもよい。

【0065】

第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。前方衝突危険領域外の目標対象物は、その危険性が低いため、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。

【0066】

本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の距離に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。

【0067】

図５は本開示の一例示的な実施例による衝突制御方法のフローチャートを示す。図５に示すように、前記衝突制御方法におけるステップＳ３０は、
前記目標対象物と前記走行対象物との間の衝突時間を決定するステップＳ３５と、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するステップＳ３６とを含む。

【0068】

可能な実施形態では、目標対象物と走行対象物との相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と走行対象物との間の衝突時間Ｔを決定することができる。目標対象物と走行対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。

【0069】

可能な実施形態では、前記衝突制御は第５の衝突制御および第６の衝突制御を含んでもよい。ステップＳ３６は、
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行すること、を含む。

【0070】

可能な実施形態では、前記衝突制御は第７の衝突制御および第８の衝突制御を含んでもよい。ステップＳ３６は、
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または
前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行すること、を含む。

【0071】

第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。

【0072】

本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の衝突時間に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。

【0073】

可能な実施形態では、前記衝突制御方法におけるステップＳ１０は、ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出することを含んでもよい。

【0074】

様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。

【0075】

ニューラルネットワークは、ＲＦＣＮ（Ｒｅｇｉｏｎ―ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、領域ベースの完全畳み込みネットワーク）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ、シングルショットマルチボックス検出器）、ＲＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔＲＣＮＮ（Ｆａｓｔ ＲＣＮＮ、高速の領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔｅｒＲＣＮＮ（Ｆａｓｔｅｒ ＲＣＮＮ、より高速の領域ベースの畳み込みニューラルネットワーク）、ＳＰＰＮｅｔ（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、空間ピラミッドプーリング畳み込みネットワーク）、ＤＰＭ （Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌｓ、変形可能パーツモデル）、ＯｖｅｒＦｅａｔ（同じ畳み込みネットワークに基づく複数のタスク）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ
Ｌｏｏｋ Ｏｎｃｅ、画像を１度だけ見る）などの構築方式に基づいたものであってもよいが、本開示はこれを限定しない。

【0076】

例えば、ＢＰ（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ、バックプロパゲーション）などのタイプのニューラルネットワークに基づく画像追跡技術によって、連続した複数フレームのビデオ画像中の同一の目標対象物を追跡することで、目標対象物の運動状態および行動状態を検出することができ、例えば目標対象物が走行対象物の左前方から右前方へ移動し、前方を目視することなどを検出した。

【0077】

さらなる例として、ＲＣＮＮ （Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）などのタイプのニューラルネットワークに基づく双眼測距技術によって、双眼カメラによって撮像された画像を使って目標対象物と走行対象物との距離を決定することができる。

【0078】

本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。

【0079】

本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。

【0080】

また、本開示は衝突制御装置、電子機器、コンピュータ読取可能な記憶媒体及びプログラムをさらに提供し、それらはいずれも本開示で提供される衝突制御方法のいずれか１つを実現するために利用可能であり、それに対応する技術的解決手段及び説明は、方法部分の対応する記載を参照すればよく、ここで省略する。

【0081】

図６は本開示の一例示的な実施例による衝突制御装置のブロック図を示す。図６に示すように、前記衝突制御装置は、
走行対象物が撮像した画像中の目標対象物を検出するための目標対象物検出モジュール１０と、
前記走行対象物の前方衝突危険領域を決定するための前方衝突危険領域決定モジュール２０と、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記走行対象物に対して衝突警告および／または運転制御を含む衝突制御を実行するための衝突制御実行モジュール３０と、を含む。

【0082】

本実施例では、検出された目標対象物と走行対象物の前方衝突危険領域との間の関係に基づいて、走行対象物に対して衝突制御を行うことにより、走行対象物に対する衝突制御はより適切で、より効率的で、且つより正確になる。
可能な実施形態では、前記衝突制御実行モジュール３０は、
前記目標対象物と前記前方衝突危険領域との相対関係に基づいて、前記目標対象物の危険レベルを特定するための危険レベル特定サブモジュールと、前記走行対象物に対して前記危険レベルに対応する衝突制御を実行するための第１の衝突制御実行サブモジュールとを含む。

【0083】

本実施例では、相対関係と、危険レベルと、衝突制御との間の対応関係を確立することで、目標対象物に対する正確且つ適切な衝突制御を達成する。

【0084】

可能な実施形態では、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記危険レベル特定サブモジュールは、前記目標対象物が前記前方衝突危険領域内にある場合、前記目標対象物の危険レベルを前記第１の危険レベルとして特定することと、前記目標対象物が前記前方衝突危険領域外にある場合、前記目標対象物の危険レベルを前記第２の危険レベルとして特定することに用いられる。

【0085】

このように、前方衝突危険領域内、前方衝突危険領域外の目標対象物を異なる危険レベルに区分け、より正確な衝突制御を行うことができる。

【0086】

可能な実施形態では、前記危険レベルはさらに第３の危険レベルを含み、前記危険レベル特定サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記目標対象物が前記前方衝突危険領域内へ移動する場合、前記目標対象物の危険レベルを第３の危険レベルとして特定するために用いられる。

【0087】

本実施例では、目標対象物と前記前方衝突危険領域との相対関係に基づいて特定された前記目標対象物の危険レベルは、走行対象物に対するより適切な衝突制御に用いられる。それにより、走行対象物に対する衝突制御はより正確になる。

【0088】

可能な実施形態では、前記前方衝突危険領域決定モジュール２０は、危険距離、前記走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて、前記走行対象物の前方衝突危険領域を決定するための第１の前方衝突危険領域決定サブモジュールを含む。

【0089】

本実施例では、危険距離、走行対象物自体の幅および／または走行対象物が位置する道路の幅に基づいて決定された走行対象物の前方衝突危険領域は、走行対象物自身のパラメータ、および走行対象物が位置する環境のパラメータなどの因子により合って、それにより、走行対象物に対する衝突制御がより正確になる。

【0090】

可能な実施形態では、前記衝突制御実行モジュール３０は、前記目標対象物と前記走行対象物との間の距離を決定するための距離決定サブモジュールと、
前記目標対象物と前記前方衝突危険領域との相対関係、および前記距離に基づいて、前記走行対象物に対して衝突制御を実行するための第２の衝突制御実行サブモジュールと、を含む。

【0091】

可能な実施形態では、上述したように、走行対象物が撮像した画像中の目標対象物を検出することによって、目標対象物と走行対象物との間の距離を決定することができる。

【0092】

可能な実施形態では、前記衝突制御は第１の衝突制御および第２の衝突制御を含み、前記第２の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値以下である場合、前記走行対象物に対して第１の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記距離が第１の距離閾値よりも大きい場合、前記走行対象物に対して第２の衝突制御を実行することに用いられる。

【0093】

第１の衝突制御のレベルは第２の衝突制御のレベルよりも高く、前方衝突危険領域内にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第１の衝突制御は大幅な速度低減および高音量の音声報知を含んでもよく、第２の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよい。

【0094】

可能な実施形態では、前記衝突制御は第３の衝突制御および第４の衝突制御を含み、前記第２の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値以下である場合、前記走行対象物に対して第３の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記距離が第２の距離閾値よりも大きい場合、前記走行対象物に対して第４の衝突制御を実行することに用いられる。

【0095】

第３の衝突制御のレベルは第４の衝突制御のレベルよりも高く、前方衝突危険領域内外にある目標対象物が走行対象物に近いほど、走行対象物に対して実行する衝突制御のレベルは高いようにしてもよい。例えば、第３の衝突制御は中程度の速度低減および中等音量の音声報知を含んでもよく、第４の衝突制御は小幅度な速度低減および低音量の音声報知を含んでもよい。

【0096】

第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。

【0097】

本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の距離に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。

【0098】

可能な実施形態では、前記衝突制御実行モジュール３０は、前記目標対象物と前記走行対象物との間の衝突時間を決定するための衝突時間決定サブモジュールと、前記目標対象物と前記前方衝突危険領域との相対関係、および前記衝突時間に基づいて、前記走行対象物に対して衝突制御を実行するための第３の衝突制御実行サブモジュールとを含む。

【0099】

可能な実施形態では、目標対象物と走行対象物との相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と走行対象物との間の衝突時間Ｔを決定することができる。目標対象物と走行対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。

【0100】

可能な実施形態では、前記衝突制御は第５の衝突制御および第６の衝突制御を含み、前記第３の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値以下である場合、前記走行対象物に対して第５の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域内にあり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記走行対象物に対して第６の衝突制御を実行することに用いられる。

【0101】

可能な実施形態では、前記衝突制御は第７の衝突制御および第８の衝突制御を含み、前記第３の衝突制御実行サブモジュールは、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値以下である場合、前記走行対象物に対して第７の衝突制御を実行すること、または、前記目標対象物が前記前方衝突危険領域外にあり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記走行対象物に対して第８の衝突制御を実行することに用いられる。

【0102】

第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、前方衝突危険領域内にある目標対象物は、その危険性が高いため、なるべく早く衝突制御を行うように、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。前方衝突危険領域外にある目標対象物は、その危険性が低いため、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。

【0103】

本実施例では、前記目標対象物と前記前方衝突危険領域との相対関係、および目標対象物と走行対象物との間の衝突時間に基づいて、走行対象物に対して衝突制御を行う。それにより、走行対象物に対する衝突制御はより正確になる。

【0104】

可能な実施形態では、前記目標対象物は、歩行者、車両、非自動車、植物、動物、障害物、ロボット及び建築物の少なくとも１つを含む。

【0105】

可能な実施形態では、前記目標対象物検出モジュール１０は、ニューラルネットワークによって、走行対象物が撮像した画像中の目標対象物を検出するための第１の目標対象物検出サブモジュールを含む。

【0106】

様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。

【0107】

本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。

【0108】

いくつかの実施例では、本開示の実施例で提供された衝突制御装置が備えた機能又はモジュールは、上記衝突制御方法の実施例に記載の方法を実行するために利用可能であり、その具体的な実施については、上記衝突制御方法の実施例の説明を参照すればよく、簡潔化するために、ここで重複説明は省略する。

【0109】

本開示の実施例は、プロセッサにより実行されると上記衝突制御方法を実現させるコンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体をさらに提供する。コンピュータ読取可能な記憶媒体は非揮発性コンピュータ読み取り可能な記憶媒体であってもよい。

【0110】

本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、前記プロセッサは前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器をさらに提供する。

【0111】

図７は本開示の一示例的な実施例による電子機器のブロック図を示す。電子機器は端末、サーバ又は他の形態装置として提供されてもよい。前記電子機器は衝突制御装置８００を含む。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント、車載装置などの端末であってもよい。

【0112】

図７に示すように、装置８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

【0113】

処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

【0114】

メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において操作されるあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。

【0115】

電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

【0116】

マルチメディアコンポーネント８０８は前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界のみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム機能を有するものであってもよい。

【0117】

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

【0118】

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

【0119】

センサコンポーネント８１４は装置８００の各面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出することができる。センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出することができる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用される光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

【0120】

通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉ-Ｆｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネル経由で外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６は近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

【0121】

例示的な実施例では、装置８００は、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

【0122】

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えば、装置８００のプロセッサ８２０によって実行されると上記方法を実行させるコンピュータプログラム命令を含むメモリ８０４が提供される。

【0123】

例示的な実施例では、コンピュータプログラムをさらに提供する。コンピュータプログラムはプロセッサによって実行されると、上記いずれか１つの方法を実行させる。例えば、コンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。

【0124】

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0125】

コンピュータ読み取り可能な記憶媒体は命令実行装置において使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造ような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

【0126】

ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、または、ネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し転送して、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。

【0127】

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、一つの独立のソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

【0128】

ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。

【0129】

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む

【0130】

コンピュータ読み取り可能なプログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

【0131】

図面のうち、フローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。

【0132】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に開示された各実施例を理解させるためのものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図8c】

【図8d】