特許 6800501 目標検出方法、回路、視覚障害者補助装置、電子機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6800501

(24)【登録日】2020年11月27日

(45)【発行日】2020年12月16日

(54)【発明の名称】目標検出方法、回路、視覚障害者補助装置、電子機器及び媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201207BHJP

   H04N 5/222 20060101ALI20201207BHJP

   G06K 9/20 20060101ALI20201207BHJP

   G09B 21/00 20060101ALI20201207BHJP

【ＦＩ】

   H04N5/232 220

   H04N5/232 290

   H04N5/232 939

   H04N5/222 100

   H04N5/222 300

   G06K9/20 340J

   G09B21/00 A

【請求項の数】18

【外国語出願】

【全頁数】42

(21)【出願番号】特願2020-77313(P2020-77313)

(22)【出願日】2020年4月24日

【審査請求日】2020年4月24日

(31)【優先権主張番号】201911353328.0

(32)【優先日】2019年12月25日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】519155675

【氏名又は名称】ネクストヴイピーユー（シャンハイ）カンパニー リミテッド

【氏名又は名称原語表記】ＮＥＸＴＶＰＵ（ＳＨＡＮＧＨＡＩ）ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ハイジャオ ツァイ

(72)【発明者】

【氏名】シンポン フォン

(72)【発明者】

【氏名】ジィ ジョウ

【審査官】 中嶋 樹理

(56)【参考文献】

【文献】 特開２０１９−１２４８６４（ＪＰ，Ａ）

【文献】 特開２０２０−０１４１２３（ＪＰ，Ａ）

【文献】 特開２０１９−０８７９４５（ＪＰ，Ａ）

【文献】 特開２０１２−０６５２４７（ＪＰ，Ａ）

【文献】 特開２００５−２０２５３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｋ ９／２０

Ｇ０９Ｂ ２１／００

Ｈ０４Ｎ ５／２２２

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実現される目標検出方法であって、
画像センサにより取り込まれた画像を取得するステップと、
前記画像に目標対象の少なくとも一部が存在するか否かを検出するステップと、
前記画像から前記目標対象の少なくとも一部が検出されていない場合、前記目標対象を前記画像センサの視野範囲内に調整する旨のプロンプトを提供するステップと、
前記画像から前記目標対象の少なくとも一部が検出された場合、前記目標対象の前記少なくとも一部と前記画像との幾何学的関係が所定条件を満たすか否かを決定し、前記目標対象の前記少なくとも一部と前記画像との幾何学的関係が前記所定条件を満たす場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップと、を含み、
前記目標対象の前記少なくとも一部は、前記画像から検出された対応する境界枠により表され、
前記目標対象の前記少なくとも一部と前記画像との幾何学的関係が所定条件を満たす場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記境界枠の辺と前記画像の対応する辺との間の距離が所定距離条件を満たさない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、を含む、目標検出方法。

【請求項2】

前記目標対象を前記画像センサの視野範囲内に調整する旨のプロンプトを提供した後に、再取得された画像から前記目標対象の少なくとも一部が検出されるまで、画像を再取得し、再取得された画像に前記目標対象の少なくとも一部が存在するか否かを検出し続けるステップと、をさらに含む、請求項１に記載の目標検出方法。

【請求項3】

前記目標対象を前記画像センサの視野範囲内に調整する旨のプロンプトを提供するステップは、
前記画像センサが位置が固定されている装置である場合、前記目標対象が前記画像センサの視野範囲内に入るように前記目標対象を移動させる旨のプロンプトを提供するステップと、
前記画像センサが位置を調整可能な装置である場合、前記目標対象が前記画像センサの視野範囲内に入るように前記目標対象及び／又は前記画像センサを移動させる旨のプロンプトを提供するステップと、を含む、請求項１に記載の目標検出方法。

【請求項4】

前記境界枠は、矩形枠であり、
前記所定距離条件は、前記矩形枠の各辺と前記画像の対応する辺との間の距離が何れも対応する所定距離閾値よりも大きいことを含み、
前記境界枠の辺と前記画像の対応する辺との間の距離が所定距離条件を満たさない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
検出された前記矩形枠の各辺と前記画像の対応する辺との間の距離が何れも対応する所定距離閾値よりも小さい場合、目標対象を遠ざけるように直接促すステップと、
検出された前記矩形枠の辺と前記画像の対応する辺との間の４つの距離のうちの３つ以下の距離が対応する所定距離閾値よりも小さい場合、目標対象を遠ざけ、且つ／或いは前記目標対象を前記境界枠の中心位置の前記画像の中心位置又は中心領域に対する方向とは反対の方向へ移動させるように促すステップと、を含む、請求項１に記載の目標検出方法。

【請求項5】

前記境界枠は、矩形枠であり、
前記所定距離条件は、前記矩形枠の辺と前記画像の対応する辺との間の距離が対応する所定距離範囲内にあることを含み、
前記境界枠の辺と前記画像の対応する辺との間の距離が所定距離条件を満たさない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記境界枠の辺と前記画像の対応する辺との間の距離のうちの少なくとも１つが対応する所定距離範囲の下限よりも小さい場合、目標対象を遠ざけ、且つ／或いは前記対応する所定距離範囲の下限よりも小さい前記境界枠の辺の所在する方向とは反対の方向へ前記目標対象を平行移動させるように促すステップと、
前記境界枠の辺と前記画像の対応する辺との間の距離のうちの少なくとも１つが対応する所定距離範囲の上限よりも大きい場合、目標対象を近づけ、且つ／或いは前記対応する所定距離範囲の上限よりも大きい前記境界枠の辺の所在する方向と一致する方向へ前記目標対象を平行移動させるように促すステップと、を含む、請求項１に記載の目標検出方法。

【請求項6】

前記目標対象の前記少なくとも一部と前記画像との幾何学的関係が所定条件を満たす場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記境界枠の中心位置が前記画像の中心領域にない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、をさらに含む、請求項１に記載の目標検出方法。

【請求項7】

前記境界枠の中心位置が前記画像の中心領域にない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記境界枠の中心位置の前記画像の中心領域に対する方向に基づいて、該方向とは反対の方向へ前記目標対象を移動させるように促すステップ、を含む、請求項６に記載の目標検出方法。

【請求項8】

前記目標対象の前記少なくとも一部と前記画像との幾何学的関係が所定条件を満たす場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記境界枠の面積と前記画像の面積との比率が所定比率範囲内にない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、をさらに含む、請求項１に記載の目標検出方法。

【請求項9】

前記境界枠の面積と前記画像の面積との比率が所定比率範囲内にない場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記境界枠の面積と前記画像の面積との比率が所定比率範囲の上限よりも高い場合、目標対象を遠ざけるように促すステップと、
前記境界枠の面積と前記画像の面積との比率が所定比率範囲の下限よりも低い場合、目標対象を近づけるように促すステップと、を含む、請求項８に記載の目標検出方法。

【請求項10】

前記目標対象は、テキスト領域を含み、
前記目標対象の前記少なくとも一部と前記画像との幾何学的関係が所定条件を満たす場合、前記目標対象と前記画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、
前記目標対象のテキスト領域のテキスト行の前記画像の辺に対する角度が所定角度範囲内にあるか否かを決定し、該角度が前記所定角度範囲内にない場合、前記目標対象と前記画像センサとの間の相対角度を調整するように促すステップ、をさらに含む、請求項１に記載の目標検出方法。

【請求項11】

取得された画像は、前記画像センサにより取り込まれたプレビュー画像であり、
前記プレビュー画像の解像度は、前記画像センサにより取り込まれた撮影画像の解像度よりも低い、請求項１に記載の目標検出方法。

【請求項12】

請求項１乃至１１の何れかに記載の目標検出方法のステップを実行する回路、を含む、電子回路。

【請求項13】

画像を取り込む画像センサと、
請求項１乃至１１の何れかに記載の目標検出方法を実行する電子回路と、を含む、視覚障害者補助装置。

【請求項14】

前記電子回路は、
前記画像センサが位置が固定されている装置である場合、前記目標対象が前記画像センサの視野範囲内に入るように前記目標対象を移動させる旨のプロンプトを提供し、
前記画像センサが位置を調整可能な装置である場合、前記目標対象が前記画像センサの視野範囲内に入るように前記目標対象及び／又は前記画像センサを移動させる旨のプロンプトを提供する、請求項１３に記載の視覚障害者補助装置。

【請求項15】

前記視覚障害者補助装置は、ウェアラブル機器に接続可能な視覚障害者補助装置、手持ち型視覚障害者補助装置、及び卓上型視覚障害者補助装置のうちの１つ以上を含む、請求項１３又は１４に記載の視覚障害者補助装置。

【請求項16】

前記視覚障害者補助装置は、ブラケットをさらに含み、
前記ブラケットは、接続部材と、伸縮スタンドアームと、前記接続部材及び前記伸縮スタンドアームを支持するウェイト付き基部と、を含み、
前記接続部材には、前記画像センサ及び前記電子回路が取り付けられ、
前記伸縮スタンドアームの一端が前記接続部材に接続され、他端が基部回転ジョイントを介して前記ウェイト付き基部に接続され、
前記伸縮スタンドアームは、前記接続部材を支持し、伸縮及び／又は回転により前記接続部材の前記ウェイト付き基部に対する位置を調整する、請求項１３又は１４に記載の視覚障害者補助装置。

【請求項17】

プロセッサと、
命令を含むプログラムが記憶されているメモリと、を含み、
前記命令が前記プロセッサにより実行される際に、前記プロセッサに請求項１乃至１１の何れかに記載の目標検出方法を実行させる、電子機器。

【請求項18】

命令を含むプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記命令が電子機器のプロセッサにより実行される際に、前記電子機器に請求項１乃至１１の何れかに記載の目標検出方法を実行させる、記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理の分野に関し、特に目標検出方法、電子回路、視覚障害者補助装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

近年、目標検出技術は、様々な分野で広く応用されており、業界で注目されている焦点の１つである。

【0003】

この部分で説明されている方法は、必ずしも以前に構想、或いは採用されている方法ではない。他の説明がない限り、この部分で説明されている方法がこの部分に含まれているという理由だけで先行技術であると見なされるべきではない。同様に、他の説明がない限り、この部分で言及されている課題が先行技術において認識されていると見なされるべきではない。

【発明の概要】

【0004】

本開示の１つの態様では、コンピュータにより実現される目標検出方法であって、画像センサにより取り込まれた画像を取得するステップと、前記画像に目標対象の少なくとも一部が存在するか否かを検出するステップと、前記画像から前記目標対象の少なくとも一部が検出されていない場合、前記目標対象を前記画像センサの視野範囲内に調整する旨のプロンプトを提供するステップと、を含む、目標検出方法を提供する。

【0005】

本開示のもう１つの態様では、上記の目標検出方法のステップを実行する回路、を含む、電子回路を提供する。

【0006】

本開示のもう１つの態様では、画像を取り込む画像センサと、前記画像に目標対象の少なくとも一部が存在するか否かを検出し、前記画像から前記目標対象の少なくとも一部が検出されていない場合、前記目標対象を前記画像センサの視野範囲内に調整する旨のプロンプトを提供する電子回路と、を含む、視覚障害者補助装置を提供する。

【0007】

本開示のもう１つの態様では、プロセッサと、命令を含むプログラムが記憶されているメモリと、を含み、前記命令が前記プロセッサにより実行される際に、前記プロセッサに上記の目標検出方法を実行させる、電子機器を提供する。

【0008】

本開示のもう１つの態様では、命令を含むプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令が電子機器のプロセッサにより実行される際に、前記電子機器に上記の目標検出方法を実行させる、記憶媒体を提供する。

【図面の簡単な説明】

【0009】

図面は実施例を例示し、明細書の一部を構成するものであり、図面及び明細書の文言の説明を参照しながら実施例の例示的な態様を説明する。示される実施例は単なる例示のためのものであり、特許請求の範囲を制限するものではない。全ての図面では、同一の符号は類似の要素を示しているが、必ずしも同一の要素ではない。

【図1】本開示の例示的な実施例に係る目標検出方法を示すフローチャートである。

【図2A】画像から検出された目標対象の一部を含む境界枠を示す概略図である。

【図2B】画像から検出された目標対象全体を含む境界枠を示す概略図である。

【図3】画像に目標対象の少なくとも一部が存在するか否かを検出する例示的なプロセスを示す概略図である。

【図4】距離閾値に基づいて完全な境界枠であるか否かを判断することの一例を示す図である。

【図5A】境界枠の辺と画像の辺とが重なっている場合の例を示す図である。

【図5B】境界枠の辺と画像の辺とが重なっている場合の例を示す図である。

【図5C】境界枠の辺と画像の辺とが重なっている場合の例を示す図である。

【図5D】境界枠の辺と画像の辺とが重なっている場合の例を示す図である。

【図5E】境界枠の辺と画像の辺とが重なっている場合の例を示す図である。

【図5F】境界枠の辺と画像の辺とが重なっている場合の例を示す図である。

【図6】境界枠の辺と画像の対応する辺との距離範囲に基づいて判断することの一例を示す図である。

【図7A】境界枠の辺と画像の対応する辺との距離が所定距離範囲内にない場合の例を示す図である。

【図7B】境界枠の辺と画像の対応する辺との距離が所定距離範囲内にない場合の例を示す図である。

【図7C】境界枠の辺と画像の対応する辺との距離が所定距離範囲内にない場合の例を示す図である。

【図8A】境界枠の中心位置と画像の中心領域との間の位置関係の場合の例を示す図である。

【図8B】境界枠の中心位置と画像の中心領域との間の位置関係の場合の例を示す図である。

【図9A】境界枠の面積と画像の面積との間の関係の場合の例を示す図である。

【図9B】境界枠の面積と画像の面積との間の関係の場合の例を示す図である。

【図9C】境界枠の面積と画像の面積との間の関係の場合の例を示す図である。

【図10】テキスト行の傾斜の場合の例を示す図である。

【図11A】２つの判断条件を組み合わせて判断方法の例を示す図である。

【図11B】２つの判断条件を組み合わせて判断方法の例を示す図である。

【図11C】２つの判断条件を組み合わせて判断方法の例を示す図である。

【図11D】２つの判断条件を組み合わせて判断方法の例を示す図である。

【図11E】２つの判断条件を組み合わせて判断方法の例を示す図である。

【図11F】２つの判断条件を組み合わせて判断方法の例を示す図である。

【図12A】３つの判断条件を組み合わせて判断方法の例を示す図である。

【図12B】３つの判断条件を組み合わせて判断方法の例を示す図である。

【図12C】３つの判断条件を組み合わせて判断方法の例を示す図である。

【図12D】テキスト行の角度に基づいて判断する方法の例を示す図である。

【図13】本開示の他の例示的な実施例に係る目標検出方法を示すフローチャートである。

【図14A】図１４Ａ及び図１４Ｂは本開示の例示的な実施例に係る視覚障害者補助装置の展開状態及び折り畳み状態にある卓上型ブラケット等のブラケットの構成をそれぞれ示す図である。

【図14B】図１４Ａ及び図１４Ｂは本開示の例示的な実施例に係る視覚障害者補助装置の展開状態及び折り畳み状態にある卓上型ブラケット等のブラケットの構成をそれぞれ示す図である。

【図15】本開示の例示的な実施例に係る電子機器の構成を示すブロック図である。

【発明を実施するための形態】

【0010】

本開示では、他の説明がない限り、様々な要素を説明するための「第１」、「第２」などの用語は、これらの要素の位置関係、時間的関係又は重要性の関係を限定するものではなく、単に１つの素子と他の素子とを区別するために用いられる。幾つかの例では、第１要素及び第２要素は、該要素の同一の例を表してもよいし、場合によって、文脈上の説明に基づいて、異なる例を表してもよい。

【0011】

本開示において様々な実施例を説明するために用いられる用語は、単なる特定の例を説明するものであり、限定するものではない。文脈が明らかに他のことを示さない限り、要素の数を特に限定しない場合、該要素は１つでもよいし、複数であってもよい。また、本開示で用いられる用語「及び／又は」は、列挙された項目の何れか又は全ての可能な組み合わせを含む。

【0012】

プレビュー画像が提供されない場合（例えばディスプレイのないウェアラブル機器）又はプレビュー画像を見ることができない場合（例えば視覚障害者）、画像センサが目標対象と位置合わせされていないと、目標対象の認識に問題が発生してしまう。例えば、目標対象に文字が含まれる場合、画像センサが該目標対象と位置合わせされていないと、文字認識に問題が発生してしまう。

【0013】

本開示は目標検出方法を提供する。図１は、本開示の例示的な実施例に係る目標検出方法を示すフローチャートである。

【0014】

図１に示すように、本開示の例示的な実施例に係る目標検出方法は以下のステップを含む。ステップＳ１０１において、画像センサにより取り込まれた画像を取得する。ステップＳ１０２において、該画像に目標対象の少なくとも一部が存在するか否かを検出する。ステップＳ１０３において、該画像から該目標対象の少なくとも一部が検出されていない場合、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供する。

【0015】

ステップＳ１０１において、画像に目標対象の少なくとも一部が存在するか否かを検出するための後続処理を行えるように、画像センサにより取り込まれた画像を取得する。

【0016】

１つの実施例では、画像を取り込むための画像センサは、画像を静的又は動的に取り込むことができ、独立した装置（例えばカメラ、ビデオカメラ、ウェブカメラなど）であってもよいし、各種の電子機器（例えば携帯電話、コンピュータ、携帯情報端末（ＰＤＡ）、視覚障害者補助装置、タブレットコンピュータ、読書補助装置、ウェアラブル機器など）に含まれてもよい。

【0017】

１つの実施例では、このステップにおいて、画像センサにより取り込まれた画像は、必ずしも撮影画像ではなく、プレビュー画像であってもよい。

【0018】

１つの実施例では、画像センサは、例えばユーザのウェアラブル機器、読書補助眼鏡、手持ち型装置などの装置に設けられてもよく、取得された画像は、例えばウェアラブル機器又は読書補助眼鏡に設けられた画像センサにより取り込まれた目標対象の画像であってもよい。

【0019】

１つの実施例では、目標対象は、ある場所に配置された物体であってもよいし、ユーザの手により把持され、或いはユーザにより保持された物体などであってもよい。

【0020】

１つの実施例では、目標対象は、規則的な形状を有してもよいし、不規則な形状を有してもよい。

【0021】

１つの実施例では、目標対象は、非固定的なものであってよく、例えばユーザにより移動してもよいし、目標対象を移動させるための移動装置により移動してもよい。例えば、移動可能な目標対象は、身分証明書、名刺、パスポート、運転免許証、読み物、タブレットコンピュータ、携帯電話などであってもよく、さらに、例えば車両などの目標対象自体も移動可能なものであってもよい。１つの実施例では、目標対象は、固定的なものであってもよく、例えば壁に取り付けられたテレビ、固定的な掲示板などであってもよい。

【0022】

１つの実施例では、該目標対象は、例えば様々な形の文字、数字、符号、記号、図などの内容を含んでもよい。

【0023】

１つの実施例では、取得された画像は、画像センサにより直接取り込まれた画像であってもよいし、画像センサにより取り込まれた画像に対して１つ又は複数の前処理を行うことで取得された画像であってもよい。該前処理は、例えばノイズ除去、コントラスト強調、解像度処理などを含んでもよい。

【0024】

１つの実施例では、画像センサから画像をリアルタイムで取得してもよいし、画像センサにより画像が取り込まれた後の期間に画像を取得してもよい。

【0025】

１つの実施例では、取得された画像は、予め選別された画像であってもよく、例えば複数回の取り込みにより鮮明な画像を選択してもよい。

【0026】

ステップＳ１０２において、画像を取得した後に、該画像に目標対象の少なくとも一部が存在するか否かを検出する。

【0027】

１つの実施例では、画像に対して境界枠の検出を行うことで、該画像に目標対象の少なくとも一部が存在するか否かを決定してもよい。例えば、画像から境界枠が検出されていない場合、該画像から目標対象の少なくとも一部が検出されていないと決定し、画像から境界枠が検出された場合、該画像から目標対象の少なくとも一部が検出されたと決定してもよい。

【0028】

１つの実施例では、目標検出アルゴリズム（例えば、Ｒ−ＣＮＮ、Ｆａｓｔ Ｒ−ＣＮＮ、ＲＦＣＮなど）を用いて目標対象の境界枠を検出してもよい。

【0029】

目標検出アルゴリズムにより画像に存在する目標対象の少なくとも一部が検出された後に、対応する境界枠の位置を示すためのパラメータを出力してもよく、このパラメータは、該境界枠の中心座標、幅及び高さなどの情報を含んでもよい。これによって、取得された境界枠の中心座標、幅及び高さなどの情報に基づいて、境界枠の各頂点の座標を取得し、対応する境界枠を取得することができる。なお、境界枠の位置を示すためのパラメータは、位置情報を示す他のパラメータの組み合わせを含んでもよく、ここに示された例に限定されない。実際には、目標検出の具体的な要求に応じて、位置を示すためのパラメータを選択してもよい。

【0030】

１つの実施例では、目標対象の境界枠の検出は、目標対象の位置に基づいて境界枠を決定するための他の検出方法を採用してもよい。

【0031】

図１に示すように、該画像から該目標対象の少なくとも一部が検出されていない場合、ステップＳ１０３を実行し、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供してもよい。

【0032】

このように、本開示では、まず、画像品質を自動的に判断するように、目標対象の少なくとも一部が検出されていないか否か（例えば、境界枠が検出されていない場合）を判断してもよい。そして、このような場合は、ユーザに適したプロンプト（例えば、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプト）を自動的に提供してもよい。これによって、ユーザは目標対象と画像センサとの相対位置を迅速に調整することができ、品質要求を満たす（例えば目標対象の画像における位置及び／又は大きさなどが適切な）画像をより速く取得することができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮することができる。

【0033】

１つの実施例では、本開示の目標検出方法、並びに関連する回路及び装置などは、視覚障害者補助装置及びウェアラブル機器に適用されてもよい。視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。

【0034】

１つの実施例では、ステップＳ１０３において、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供するステップは、該画像センサが位置が固定されている装置である場合、該目標対象が該画像センサの視野範囲内に入るように該目標対象を移動させる旨のプロンプトを提供するステップと、該画像センサが位置を調整可能な装置である場合、該目標対象が該画像センサの視野範囲内に入るように該目標対象及び／又は該画像センサを移動させる旨のプロンプトを提供するステップと、を含んでもよい。

【0035】

一例として、仮に画像センサが、位置が比較的に固定されている卓上型視覚障害者補助装置などの装置に取り付けられている場合、即ち該画像センサの位置が比較的に固定されている場合、該目標対象が該画像センサの視野範囲内に入るように該目標対象を移動させる旨のプロンプトを提供してもよい。これによって、ユーザが装置を操作しやすく、ユーザの使用体験を向上させることができる。一方、仮に画像センサが、位置を比較的に柔軟に調整可能な手持ち型視覚障害者補助装置又はウェアラブル型視覚障害者補助装置などの装置に取り付けられている場合、即ち該画像センサの位置を比較的に柔軟に調整することができる場合、該目標対象が該画像センサの視野範囲内に入るように該目標対象を移動させる旨のプロンプトを提供するとともに、該目標対象が該画像センサの視野範囲内に入るように該画像センサを移動させる旨のプロンプトを提供してもよい。これによって、ユーザ操作の柔軟性を向上させ、ユーザ体験を向上させることができる。

【0036】

１つの実施例では、ステップＳ１０３において、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供することに加えて、目標対象の少なくとも一部が検出されていないプロンプトを同時に提供してもよい。上述したように、該画像に対して境界枠の検出を行うことで、該画像に目標対象の少なくとも一部が存在するか否かを決定してもよいため、目標対象の少なくとも一部が検出されていないプロンプトは、「境界枠が検出されていない」、「目標対象の少なくとも一部を含む境界枠が検出されていない」、又は「画像に目標対象の少なくとも一部を含む境界枠が存在しないと決定された」旨のプロンプトなどを含んでもよい。

【0037】

１つの実施例では、該目標対象を移動させる旨のプロンプトを提供することは、目標対象を遠ざけ、且つ／或いは（画像センサに対して）平行移動させるように該目標対象を移動させる旨のプロンプトを提供することを含んでもよく、該画像センサを移動させる旨のプロンプトを提供することは、画像センサを遠ざけ、且つ／或いは平行移動させるように該画像センサを移動させる（例えば、該画像センサ自体を移動させ、或いは該画像センサを移動させるように該画像センサの所在する装置を移動させる）旨のプロンプトを提供することを含んでもよい。境界枠が検出されていないと決定された場合に該画像から目標対象の少なくとも一部が検出されていないと決定してもよく、境界枠が検出されていないのは目標対象が近すぎ、或いは画像センサのファインダフレームの位置（又は視野範囲）に対して偏るからであるため、該目標対象を該画像センサの視野範囲内にできるだけ入れるために、目標対象（及び／又は画像センサ）を遠ざけ、且つ／或いは平行移動させるように移動させてもよい。なお、該画像センサの視野範囲はユーザの視野範囲に近いが、両者は異なり、該目標対象を対応するユーザの視野範囲内に調整することに比べて、該目標対象を該画像センサの視野範囲内に調整することにより、目標検出の結果はより正確になる。

【0038】

上述したように、境界枠が検出されていないため、該画像から目標対象の少なくとも一部が検出されていないと決定された場合、目標対象ができるだけ多くファインダフレームの視野範囲に入るように目標対象と画像センサとの相対距離を調整し、或いは目標対象ができるだけ多くファインダフレームの視野範囲に入るように目標対象及び／又は画像センサの方向（上下方向及び／又は左右方向）を調整してもよい。なお、距離及び方向の両方を調整してもよい。

【0039】

１つの実施例では、境界枠が検出されていないため、該画像から目標対象の少なくとも一部が検出されていないと決定された場合、好ましくは、目標対象の画像センサに対する相対距離を調整してもよい。

【0040】

１つの実施例では、図１に示すように、該方法は以下のステップをさらに含んでもよい。ステップＳ１０４において、該画像から該目標対象の少なくとも一部が検出された場合、該目標対象の該少なくとも一部と該画像との幾何学的関係が所定条件を満たすか否かを決定し、該目標対象の該少なくとも一部と該画像との幾何学的関係が該所定条件を満たす場合、該目標対象が該画像センサの視野範囲内の適切な位置に位置するように該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0041】

上述したように、該画像から境界枠が検出された場合、該画像から目標対象の少なくとも一部が検出されたと決定してもよい。１つの実施例では、検出された境界枠は、目標対象の一部を含む境界枠、又は目標対象全体を含む境界枠であってもよい。

【0042】

一例として、図２Ａは、画像８０１から検出された、目標対象８０２の一部を含む境界枠８０３（不完全な境界枠）を示し、図２Ｂは、画像８０１’から検出された、目標対象８０２全体を含む境界枠８０３’（完全な境界枠）を示す。

【0043】

画像から検出された目標対象の境界枠は、少なくとも取り込まれた画像における目標対象を囲み（画像は、目標対象全体を含んでもよいし、目標対象の一部のみを含んでもよい）、言い換えれば、目標対象の境界枠は、少なくとも目標対象の画像における実際の輪郭により構成された真の境界を囲む。

【0044】

図２Ａに示す境界枠８０３により囲まれた領域は目標対象８０２の一部だけではなく、取り込まれた目標対象８０２以外の領域も含むが、境界枠８０３は取り込まれた目標対象８０２の該部分の真の輪郭と一致（略一致）してもよく、この場合の境界枠は目標対象８０２の該部分の真の輪郭を囲む最小境界枠である。同様に、図２Ｂに示す境界枠８０３’により囲まれた領域は目標対象８０２全体だけではなく、目標対象８０２以外の領域も含むが、完全な境界枠８０３’は目標対象８０２全体の真の輪郭と一致（略一致）してもよく、この場合の完全な境界枠は目標対象８０２全体の真の輪郭を囲む最小境界枠である。

【0045】

言い換えれば、ここで説明する「境界枠」とは、目標対象の少なくとも一部を含むものを意味してもよく、目標対象の全てを含んでもよいし、その一部を含んでもよい。「完全な境界枠」とは、目標対象全体を含むものを意味してもよい。境界枠が検出されていない場合、「目標対象の少なくとも一部を含む境界枠が検出されていない」こと又は「画像に目標対象の少なくとも一部を含む境界枠が存在しないと決定された」ことに属する。目標対象全体ではなく、目標対象の一部が画像として取り込まれ、画像から目標対象の完全な境界枠が検出されていない場合、境界枠が検出されており、「目標対象の少なくとも一部を含む境界枠が検出されていない」又は「画像に目標対象の少なくとも一部を含む境界枠が存在しないと決定された」場合に属する。

【0046】

１つの実施例では、該画像から該目標対象の少なくとも一部が検出された場合、検出された該目標対象の少なくとも一部に目標対象全体が含まれるか否かをさらに決定し、即ち、完全な目標対象を検出できるか否かをさらに決定してもよい。例えば、目標対象の境界枠が検出された（画像に目標対象の少なくとも一部が存在すると決定された）場合、完全な目標対象を検出できるか否かを決定するように、該境界枠が完全な境界枠に属するか否かをさらに検出し、即ち該境界枠に目標対象全体が含まれるか否かをさらに検出する。

【0047】

一例として、図３に示すように、ステップＳ１０２の「画像に目標対象の少なくとも一部が存在するか否かを検出する」ステップは、例えばステップＳ１０２１、Ｓ２０２２を含んでもよい。

【0048】

ステップＳ１０２１において、該画像に目標対象の少なくとも一部を含む境界枠が存在するか否かを検出する。

【0049】

上述したように、目標検出アルゴリズム（例えばＲ−ＣＮＮ、Ｆａｓｔ Ｒ−ＣＮＮ、ＲＦＣＮなど）を用いて、目標対象の境界枠を検出してもよい。目標検出アルゴリズムにより画像から目標対象が検出された後に、境界枠の位置を示すパラメータを取得してもよく、このパラメータは該境界枠の中心座標、幅及び高さの情報を含んでもよい。これによって、得られた境界枠の中心座標、幅及び高さの情報に基づいて、境界枠の各頂点の座標を取得することができる。

【0050】

１つの実施例では、検出された目標対象の境界枠は、図２Ａ及び図２Ｂに示すように、矩形枠であってもよい。この場合、該矩形枠は、例えば４つの頂点位置により決定されてもよい。

【0051】

１つの実施例では、検出された目標対象の境界枠は、矩形以外の形状、例えば円形、多角形、楕円形など他の規則的な形状、又は不規則な各形状であってもよい。本開示は、境界枠の形状に限定されない。

【0052】

１つの実施例では、ステップＳ１０２１において、該画像から該境界枠が検出されていない（即ち、該画像から該目標対象の少なくとも一部が検出されていないと決定された）場合、ステップＳ１０３に進み、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供する。また、境界枠が検出されていない旨のプロンプトを同時に提供してもよい。境界枠が検出されていない旨のプロンプトは、目標対象の少なくとも一部が検出されていない旨のプロンプトの１つに属する。

【0053】

ステップＳ１０２１において、該画像から該境界枠が検出された場合、ステップＳ１０２２に進み、該境界枠の辺と該画像の対応する辺とが重なっているか否かを検出し、検出された該境界枠が目標対象全体を含む完全な境界枠であるか否かを決定し、完全な目標対象を検出できるか否かを決定する。

【0054】

該境界枠の辺と該画像の対応する辺とが重なっている場合（ＹＥＳの場合）、検出された該境界枠が完全な境界枠ではない（完全な目標対象を検出できない）と決定してもよい。この場合、ステップＳ１０５に進み、完全な境界枠が検出されていない旨のプロンプトを提供してもよい。完全な境界枠が検出されていない旨のプロンプトは、完全な目標対象が検出されていない旨のプロンプトの１つに属する。

【0055】

該境界枠の辺と該画像の対応する辺とが重なっていることは、該境界枠の少なくとも１つの辺の少なくとも一部と該画像の対応する辺の少なくとも一部とが重なっていることであってもよい。即ち、辺全体が重なっていることだけではなく、（辺全体でなく）辺の一部が重なっていることも重なっていることに属する。このため、辺全体が重なっている場合に完全な境界枠が検出されていないと決定することだけではなく、辺の一部が重なっている場合にも完全な境界枠が検出されていないと決定する。

【0056】

上述したように、本開示では、目標対象の境界枠が決定された後に、画像から検出された目標対象の境界枠が完全な境界枠であるか否かをさらに決定し、即ち、画像に完全な目標対象が含まれるか否か、或いは、画像から検出された境界枠が目標対象全体を囲むことができるか否かをさらに決定してもよい。

【0057】

例えば、規則的な形状を有する身分証明書、読み物（本、雑誌などの紙の読み物、又は電子書籍などの電子読み物）などを目標対象の物体とする場合、画像において撮影された該物体の輪郭が露出しているか否かを検出してもよい。目標対象が紙媒体の実際の本である場合、この実際の本のエッジが該境界枠内に含まれるか否かを検出してもよい。例えば、図２Ｂに示すように、該画像８０１’から完全な境界枠８０３’が検出され、該完全な境界枠８０３’は目標対象８０２の各実際のエッジを囲んでいる。不規則な形状を有する目標対象についても、同様な検出を行い、即ち画像から検出された境界枠に完全な目標対象が含まれるか否かを決定してもよく、例えば検出された境界枠に該目標対象の輪郭が含まれるか否かを決定してもよい。

【0058】

上述したように、ステップＳ１０２２において、例えば該境界枠の辺と該画像の対応する辺とが重なっているか否かに基づいて、検出された境界枠が目標対象全体を含む完全な境界枠であるか否かを決定し、検出された目標対象の少なくとも一部に目標対象全体が含まれるか否かを決定してもよい。

【0059】

該境界枠の辺と該画像の対応する辺が少なくとも部分的に重なっている（該辺の１つ又は複数の距離が０に等しい）場合、ステップＳ１０５において完全な境界枠が検出されていない旨のプロンプトを提供してもよい。

【0060】

なお、ここで提供されたのは、「完全な境界枠が検出されていない」旨のプロンプトであり、上述した「境界枠が検出されていない」旨のプロンプトと異なる。

【0061】

該境界枠の辺と該画像の対応する辺とが重なっていない（完全な境界枠が検出された）場合、ステップＳ１０４に進んでもよい。

【0062】

理解を容易にし、説明の便宜を図るため、以下は、検出された境界枠が矩形枠である場合を一例にして説明する。

【0063】

図５Ａ〜図５Ｆに示すように、図５Ａ及び図５Ｂは、検出された境界枠の辺と画像の対応する辺とが完全に重なっている場合を示す図であり、図５Ｃ、図５Ｄ、図５Ｅ及び図５Ｆは、検出された境界枠の辺と画像の対応する辺とが部分的に重なっている場合の例を示す図である。

【0064】

ここで、完全な境界枠が検出されていない旨のプロンプトを提供することは、目標対象を遠ざけ、且つ／或いは平行移動させるように目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供することを含む。

【0065】

ここで、該目標対象を遠ざけ、且つ／或いは平行移動させることは、例えば目標対象を遠ざけ（遠くし）、且つ／或いは平行移動させるように該目標対象を移動させることを含んでもよい。例えば、目標対象を遠ざけ、且つ／或いは平行移動させるために、画像センサのファインダフレームに対して目標対象を遠ざけ、且つ／或いは平行移動させてもよいし、目標対象から画像センサを遠ざけ、且つ／或いは平行移動させるように画像センサを移動させ（例えば、画像センサ自体を移動させ、或いは画像センサを移動させるように画像センサの所在する装置、例えばウェアラブル機器や視覚障害者読書装置など装置を移動させ）てもよいし、移動対象及び画像センサの両者を移動させてもよい。即ち、目標対象と画像センサとの間の相対位置の調整は、目標対象の位置の調整であってもよいし、画像センサの位置の調整であってもよいし、両者の位置の調整であってもよい。

【0066】

例えば、図５Ａに示すように、検出された矩形枠の４つの辺と該画像の４つの辺とが重なっている場合、目標対象の一部がファインダフレームの視野範囲を超えており、目標対象が完全に取り込まれていないことを意味する。又は、図５Ｂに示すように、目標対象がちょうどファインダフレームの視野範囲に位置し、完全に取り込まれているが、目標対象が画像内で大きすぎることを意味する。４つの辺が重なっている場合、目標対象のより多い部分がファインダフレームの視野範囲に入るように、目標対象を遠ざけるように直接促してもよい。

【0067】

図５Ｃ、図５Ｄ、図５Ｅ及び図５Ｆに示すように、検出された矩形枠の３つの辺又は２つの辺と該画像の対応する辺とが重なっている場合、目標対象が完全に取り込まれていないことを意味し、目標対象を遠ざけ（例えば図５Ｃでは３つの辺が重なっており、図５Ｄでは２つの辺が重なっている）、且つ／或いは該目標対象を以下の方向へ移動させるように直接促してもよい。該方向は、該境界枠の、該画像の辺と重なっている辺の所在する方向とは反対の方向により決定され（例えば図５Ｅに示すように、該境界枠の２つの辺と画像の２つの辺とが左上方向（左上部分）にそれぞれ重なっている場合、左上方向とは反対の右下方向へ目標対象を移動させてもよい）、或いは目標対象に対応する境界枠の中心位置の該画像の中心位置又は中心領域に対する方向（方位）とは反対の方向（方位）により決定される（例えば図５Ｆに示すように、該境界枠の２つの辺と画像の２つの辺とが右上方向（左上部分）にそれぞれ重なっており、境界枠の中心位置が画像の中心位置に対して右上方向に寄っている場合、右上方向とは反対の左下方向へ目標対象を移動させてもよい）。

【0068】

検出された境界枠と該画像の枠とが完全に重なっている場合、即ち検出された境界枠の各辺と該画像の対応する辺との間の距離が０に等しい場合、上記の例では、完全な境界枠が検出されていないと見なされる。しかし、検出された境界枠と画像の枠とが完全に重なっている場合、特別な場合として、完全な境界枠が検出されたと見なされてもよい。即ち、本開示は、このような場合に完全な境界枠が検出されていないと見なされることに限定されず、実際の要求に応じて、画像の枠と完全に重なっている境界枠を完全な境界枠とするか否かを決定してもよい。

【0069】

画像認識では、現在の画像センサにより取り込まれた画像のエッジ部分の鮮明度が比較的に低いため、目標対象の境界枠と画像の枠とが完全に重なっている場合、画像のエッジ近傍の画像認識効果に影響を与える可能性がある。従って、取り込まれた目標対象が画像中心に近い場合、認識効果が良くなる。このため、所定距離閾値を設定することで、取得された境界枠を画像の枠より小さくすることができ、取得された境界枠内の目標対象が完全に該画像内に位置し、且つできるだけ中央に位置することができる。また、後述する例示的な態様のように、他の方法、又は目標対象の境界枠の辺と画像の辺の距離に関連する距離範囲パラメータをさらに設定することにより、完全であり、サイズが適切であり、且つ中央に位置する目標対象を取得する。

【0070】

上述したように、様々な関連状況に応じて異なるプロンプトをユーザに自動的に与えることで、ユーザは目標対象と画像センサとの間の相対位置を迅速に調整することができ、品質要求を満たす（例えば目標対象の画像内の位置及び／又は大きさなどが適切な）画像を速く取得することができるため、処理リソースを効果的に節約することができ、処理時間を大幅に短縮することができる。

【0071】

本開示の１つの実施例では、図１に示すように、ステップＳ１０３において該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供した後に、再取得された画像から目標対象の少なくとも一部が検出されるまで、ステップＳ１０１に進み、画像センサにより再度取り込まれた画像を再取得し、ステップＳ１０２（より具体的には、図３におけるステップＳ１０２１）において、再取得された画像に目標対象の少なくとも一部が存在するか否かを検出し続けてもよい。

【0072】

このように、自動判断により、例えば「境界枠が検出されていない」と決定され、又は「完全な境界枠が検出されていない」とさらに決定された場合、上述したように、ユーザにプロンプトを自動的に提供してもよい。これによって、ユーザは目標対象と画像センサとの相対位置を迅速に調整することができ、品質要求を満たす（例えば目標対象の画像における位置及び／又は大きさなどが適切な）画像をより速く取得することができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮することができる。

【0073】

１つの態様では、本開示の目標検出方法、並びに関連する回路及び装置などは、視覚障害者補助装置及びウェアラブル機器に適用されてもよい。視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、目標認識の正確度及び速度を向上させることができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮し、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。

【0074】

本開示の１つの実施例では、境界枠が検出されていないプロンプトを提供することは、該目標対象を遠ざけ、且つ／或いは平行移動させるように促すことを含む。

【0075】

１つの実施例では、境界枠が検出されていないのは、目標対象が画像センサの取り込み範囲（即ち視野範囲）内に位置いないからであり、この場合、目標対象を（画像センサから）遠ざける（目標対象を移動させ、且つ／或いは画像センサを移動させる）ことで取り込み範囲を拡大し、目標対象を拡大された取り込み範囲に入れることができる。或いは、目標対象が画像センサの取り込み範囲に入るように、現在の取り込み範囲において目標対象の位置を平行移動させてもよい。或いは、目標対象が画像センサの取り込み範囲に入るように、ユーザは、取り込む範囲を拡大するために目標対象を画像センサから遠ざけると共に、目標対象を平行移動させてもよい。特に、プレビュー画像が提供されない場合や視覚障害のあるユーザの場合は、このような鮮明で明確なプロンプトを提供することが非常に重要であり、ユーザが目標なしに試みることを回避することができるため、目標対象を含む画像を迅速に取り込むことができる。

【0076】

図１に示すように、ステップＳ１０２において、該画像から目標対象の少なくとも一部が検出された場合、ステップＳ１０４に進んでもよい。

【0077】

ステップＳ１０４において、該目標対象の該少なくとも一部と該画像との幾何学的関係が所定条件を満たす場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0078】

ここの「幾何学的関係」は、距離関係、面積比率関係、位置関係などを含むが、これらに限定されない。

【0079】

１つの実施例では、上述したように、該画像から検出された該目標対象の少なくとも一部は、該画像から検出された対応する境界枠により表されてもよい。それに応じて、ステップＳ１０４において該目標対象の該少なくとも一部と該画像との幾何学的関係が所定条件を満たす場合、前該標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、該境界枠の辺と該画像の対応する辺との間の距離が所定距離条件を満たさない場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、を含む。

【0080】

１つの実施例では、該所定距離条件は、該境界枠の各辺と該画像の対応する辺との間の距離が何れも対応する所定距離閾値よりも大きいことを含んでもよい。

【0081】

図４に示すように、目標対象の矩形境界枠及び画像の４つの辺は、４つの所定距離閾値にそれぞれ対応してもよく、例えば上側距離閾値Ｄ_ｕｐ、下側距離閾値Ｄ_ｄｏｗｎ、左側距離閾値Ｄ_ｌｅｆｔ、右側距離閾値Ｄ_{ｒｉｇｈｔ}（図４における破線矢印で示されている）とそれぞれ称されてもよい。該境界枠の各辺と該画像の対応する辺との間の距離が何れも対応する所定距離閾値よりも大きい場合のみ、即ち該境界枠の上の辺と画像の上の辺との間の距離である上側距離、該境界枠の下の辺と画像の下の辺との間の距離である下側距離、該境界枠の左の辺と画像の左の辺との間の距離である左側距離、該境界枠の右の辺と画像の右の辺との間の距離である右側距離（図４における実線矢印で示されている）がそれに対応する上側距離閾値Ｄ_ｕｐ、下側距離閾値Ｄ_ｄｏｗｎ、左側距離閾値Ｄ_ｌｅｆｔ、右側距離閾値Ｄ_{ｒｉｇｈｔ}よりもそれぞれ大きい場合、該境界枠は完全な境界枠である。

【0082】

各距離閾値の大きさは、実際の要求に応じて設定されてもよく、等しいものでなくてもよい。

【0083】

本実施例の１つの実施例では、各距離閾値は０であってもよいし、０よりも大きい値であってもよい。これによって、検出された境界枠の各辺と該画像の対応する辺との距離が何れもそれぞれの対応する距離閾値よりも大きい場合、検出された該境界枠は完全な境界枠であり、該完全な境界枠は画像の枠よりも小さい。

【0084】

上述したように、各距離閾値の大きさは実際の要求に応じて設定されてもよく、本開示はそれに限定されない。しかし、１つの実施例では、各所定距離閾値は、取得された完全な境界枠が画像の枠よりも小さくなるように設定さればよく、ここの所定距離閾値を大きすぎる値に設定する必要がない。

【0085】

なお、検出された境界枠の辺と該画像の対応する辺との間の距離の少なくとも１つが０である場合、上述した境界枠の辺と画像の対応する辺とが重なっている場合が出現し、即ち、上述したステップＳ１０２（より具体的には、ステップＳ１０２２）において、境界枠を検出する際に境界枠の辺と画像の辺とが重なっているか否かを判断する場合が出現する。

【0086】

１つの実施例では、該境界枠の各辺と該画像の対応する辺との間の距離が所定距離条件を満たさない場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、検出された該矩形枠の各辺と該画像の対応する辺との間の距離が何れも対応する所定距離閾値よりも小さい場合、目標対象を遠ざけるように直接促すステップと、検出された該矩形枠の辺と該画像の対応する辺との間の４つの距離のうちの３つ以下の距離が対応する所定距離閾値よりも小さい場合、目標対象を遠ざけ、且つ／或いは該目標対象を該境界枠の中心位置の該画像の中心位置又は中心領域に対する方向とは反対の方向へ移動させるように促すステップと、を含む。

【0087】

１つの実施例では、該所定距離条件は、該境界枠の辺と該画像の対応する辺との間の距離が対応する所定距離範囲内にあることをさらに含んでもよい。

【0088】

これによって、ステップＳ１０４における、該目標対象の該少なくとも一部と該画像との幾何学的関係が所定条件を満たす場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、該境界枠の辺と該画像の対応する辺との間の距離が対応する所定距離範囲内にない場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、を含んでもよい。

【0089】

ここで、さらに、境界枠の辺と画像の対応する辺との間の距離が所定距離範囲内にあるか否かを判断することで、画像における目標対象の位置が適切であるか否かを決定する。

【0090】

ステップＳ１０４で説明された実施例では、目標対象の境界枠の辺と画像の対応する辺との間の距離が用いられ、上記の実施例では、例えば目標対象の境界枠の各辺と画像の対応する辺との間の距離が何れも対応する所定距離閾値よりも大きいか否かを検出することで、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するか否かを決定する。一方、下記の実施例では、境界枠の辺と画像の対応する辺との間の距離が対応する所定距離範囲内にあるか否かに基づいて、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するか否かを決定する。

【0091】

言い換えれば、ステップＳ１０４において、対応する所定距離閾値及び／又は対応する所定距離範囲により、検出された境界枠の位置が適切であるか否かを決定してもよく、適切ではない場合、例えば該境界枠の位置が上、下、左、又は右に寄っているか否かを決定してもよい（例えば対応する所定距離閾値よりも小さい場合、又は所定距離範囲の下限よりも小さく、或いは対応する所定距離範囲の上限よりも大きい場合など）。

【0092】

また、１つの実施例では、上記の所定距離閾値に関する判断、及び上記の所定距離範囲に関する判断を１つの判断ステップに併合して実施してもよい。言い換えれば、検出された境界枠の各辺と画像の対応する辺との間の距離が何れも対応する所定距離範囲内にあるか否かのみを判断すればよく、これによって、所定距離閾値の判断及び所定距離範囲の判断の両者を行うことができ、例えば、該所定距離範囲の下限は該所定距離閾値であればよい。一方、所定距離範囲の下限が所定距離閾値よりも大きい場合、上述したように２つの判断をそれぞれ行ってもよい。このように、本開示の各実施例を柔軟に変更してもよく、ここで、実際の要求及び／又は処理リソースの考慮事項などに応じて判断をそれぞれ行ってもよい。

【0093】

上述したように、距離閾値及び距離範囲は何れも距離の条件に属するため、本開示では、「所定距離条件」を用いて表現してもよい。所定距離条件について、本開示では、上記の距離閾値及び距離範囲を含むが、これらに限定されない。

【0094】

上述したように、距離閾値及び／又は距離範囲に基づいて判断を行うことで、関連距離条件を満たす境界枠を完全な境界枠として判断することができる。

【0095】

本開示では、目標対象の位置及び／又は大きさが適切な画像を取得するように、まず境界枠の判断を行い、その後、他の条件の判断及び／又は位置調整の促しを行ってもよい。

【0096】

或いは、境界枠の判断を行った後に、完全な境界枠の判断をさらに行い、完全な境界枠と判断された場合、他の位置判断及び／又は位置調整の促しなどの処理を行ってもよい。これによって、通常、目標対象の位置及び／又は大きさが適切な画像をより速く取得することができる。

【0097】

図６は、距離範囲についての判断の一例を示している。図６に示すように、検出された境界枠が矩形枠である場合、例えば４つの所定距離範囲を設定してもよく、上側距離範囲Ｄ_{ｕｐ−ｒａｎｇｅ}、下側距離範囲Ｄ_{ｄｏｗｎ−ｒａｎｇｅ}、左側距離範囲Ｄ_{ｌｅｆｔ−ｒａｎｇｅ}、右側距離範囲Ｄ_{ｒｉｇｈｔ−ｒａｎｇｅ}とそれぞれ称される。

【0098】

なお、ここの距離範囲は、上述した上側距離閾値Ｄ_ｕｐ、下側距離閾値Ｄ_ｄｏｗｎ、左側距離閾値Ｄ_ｌｅｆｔ、右側距離閾値Ｄ_{ｒｉｇｈｔ}と異なる。主な相違点は、各距離範囲がそれぞれの距離範囲下限及び距離範囲上限の両者により限定され、上記の所定距離閾値が１つの値である。さらに、各距離範囲の下限は上記の対応する距離閾値以上であってもよく、上記の併合判断の場合、距離範囲の下限は対応する距離閾値に等しく、それぞれ判断する場合、距離範囲の下限は対応する距離閾値よりも大きい。ここで、所定距離範囲の判断条件は、所定距離閾値の判断条件よりも相対的に厳格である。

【0099】

図６では、上側、下側、左側、右側の距離範囲は図中の破線矢印で示されており、上側、下側、左側、右側の距離範囲の下限は図６における大きな破線枠を構成し、上側、下側、左側、右側の距離範囲の上限は図６における小さな破線枠を構成している（説明の便宜上、図６には境界枠内の目標対象が示されていない）。検出された境界枠の各辺が何れも該大きな破線枠と該小さな破線枠との間に位置し、例えば図６における境界枠８０３が該大きな破線枠と該小さな破線枠との間に位置する場合、該境界枠の各辺と該画像の対応する辺との間の距離がそれぞれ対応する所定距離範囲内にある（該境界枠の各辺と該画像の対応する辺との間の距離が何れもそれぞれの距離範囲の下限よりも大きく、且つそれぞれの距離範囲の上限よりも小さい）ことを意味し、目標対象と画像センサとの間の相対位置を調整するように促す必要がなくてもよいし、他の条件に基づいて、該相対位置を調整する必要があるか否かをさらに決定してもよい。そうでない場合、検出された境界枠の各辺のうちの少なくとも１つの辺が該大きいな破線枠と該小さな破線枠との間に位置していない（該境界枠の各辺と該画像の対応する辺との間の距離のうちの少なくとも１つの距離が対応する所定距離範囲内にない）場合、該相対位置を調整するように促してもよい。

【0100】

ここで、上述したように、境界枠の辺と画像の対応する辺との間の距離が所定距離範囲内にあるか否かをさらに判断し、即ち該辺間の距離の上限を制御するとともに、該辺間の距離の下限を制御することで、画像における目標対象の位置及び／又は大きさが適切であるか否かを決定する。例えば、該辺間の距離が一定の距離範囲内にあるか否かを判断することで、画像品質をさらに反映することができる。一例として、該辺間の１つ又は複数の距離が対応する距離範囲の下限よりも小さい場合、目標対象が画像のエッジに近すぎる可能性があり、画像のエッジ部の解像度が画像の中心部分の解像度よりも低いため、目標対象と画像センサとの間の相対距離を調整する方法（後述する）をユーザに提示してもよい。これによって、目標対象がファインダフレームのエッジから遠ざかり、ファインダフレームの中心に近づけるため、品質のよりよい画像を取得することができる。他の例として、該辺間の１つ又は複数の距離が対応する距離範囲の上限よりも大きい場合、目標対象の画像における位置がずれており、或いは目標対象全体の画像におけるサイズが小さすぎる可能性があるため、画像の品質に影響を及ぼし、ユーザへ提供するサービス（例えば視覚障害者の読書サービス、ガイダンスサービスなど）に影響をさらに及ぼしてしまう。これに対し、同様に、目標対象の画像における位置及び／又は大きさが適切になり、品質のよりよい画像を取得できるように、目標対象と画像センサとの間の相対距離を調整する方法（後述する）をユーザに提示してもよい。

【0101】

１つの実施例では、ステップＳ１０４における該境界枠の辺と該画像の対応する辺との間の距離が対応する所定距離範囲にない場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、該境界枠の上、下、左、右の辺と該画像の対応する上、下、左、右の辺との間の距離をそれぞれ検出し、該境界枠と該画像との間の上側距離、下側距離、左側距離、右側距離をそれぞれ取得し、即ち、該境界枠の上の辺と画像の上の辺との間の距離である上側距離、該境界枠の下の辺と画像の下の辺との間の距離である下側距離、該境界枠の左の辺と画像の左の辺との間の距離である左側距離、該境界枠の右の辺と画像の右の辺との間の距離である右側距離（説明の便宜上、図６にはこの４つの距離が示されていない）を取得するステップと、該上側距離、下側距離、左側距離、右側距離の少なくとも１つがそれぞれの対応する上側距離範囲、下側距離範囲、左側距離範囲、右側距離範囲内にない場合（即ち、上側距離、下側距離、左側距離、右側距離の少なくとも１つが図６に示す大きな破線枠と小さな破線枠との間に位置していない場合）、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップと、を含んでもよい。ここで、該画像の上、下、左、右の辺にそれぞれ対応する上側距離範囲、下側距離範囲、左側距離範囲、右側距離範囲について、各距離範囲は、それぞれの距離上限及び距離下限により限定される。

【0102】

なお、上記の所定距離範囲（図６に示す上側、下側、左側、右側の距離範囲下限、及び上側、下側、左側、右側の距離範囲上限）は、実際の要求に応じて設定されてもよく、本開示はこれに限定されない。一例として、通常の画像センサにより取り込まれた通常の画像について、上側、下側、左側、右側の距離範囲のそれぞれは、［画像の対応する辺の長さに対応する画素数の１０％，画像の対応する辺の長さに対応する画素数の４０％］に設定されてもよい。以上のように、該距離範囲の下限は０以上の値であってもよく、該距離範囲の上限は対応する距離範囲の下限よりも大きい値であってもよい。また、上側、下側、左側、右側の所定距離範囲は等しくなくてもよい。なお、この例のように、４つの所定距離範囲は全て等しくてもよい。

【0103】

なお、図６は、単なる境界枠の辺と該画像の対応する辺との間の距離が対応する所定距離範囲内にあるか否かに基づいて、該目標対象と該画像センサとの間の相対位置を調整するように促すか否かを決定する方法の一例を示している。当業者に理解されるように、本開示はこの例に限定されない。

【0104】

１つの実施例では、ステップＳ１０４における該境界枠の辺と該画像の対応する辺との間の距離が所定距離条件を満たさない場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、該境界枠の辺と該画像の対応する辺との間の距離のうちの少なくとも１つが対応する所定距離範囲の下限よりも小さい場合、目標対象を遠ざけ、且つ／或いは該対応する所定距離範囲の下限よりも小さい該境界枠の辺の所在する方向とは反対の方向へ該目標対象を移動させるように促すステップと、該境界枠の辺と該記画像の対応する辺との間の距離のうちの少なくとも１つが対応する所定距離範囲の上限よりも大きい場合、目標対象を近づけ、且つ／或いは該対応する所定距離範囲の上限よりも大きい該境界枠の辺の所在する方向と一致する方向へ該目標対象を移動させるように促すステップと、を含む。

【0105】

図７Ａ、図７Ｂ、図７Ｃに示すように、検出された境界枠の辺と該画像の対応する辺との間の距離のうちの少なくとも１つが対応する所定距離範囲の下限よりも小さい場合、目標対象を遠ざけ（図７Ａ参照）、且つ／或いは該対応する所定距離範囲の下限よりも小さい該境界枠の辺の所在する方向とは反対の方向へ目標対象を移動させる（図７Ｃ参照）ように促し、該境界枠の辺と該記画像の対応する辺との間の距離のうちの少なくとも１つが対応する所定距離範囲の上限よりも大きい場合、目標対象を近づけ（図７Ｂ参照）、且つ／或いは該対応する所定距離範囲の上限よりも大きい該境界枠の辺の所在する方向と一致する方向へ該目標対象を移動させる（図７Ｃ参照）ように促す。

【0106】

ここで、上述したように、境界枠の辺と画像の対応する辺との間の距離が所定距離範囲内にない場合、画像品質を改善する必要があると決定し、この態様では、目標対象と画像センサとの間の相対距離を調整するための方法をユーザに提示することで、目標対象の画像における位置及び／又は大きさはより適切になり、品質のより良い画像を取得することができる。

【0107】

なお、説明の便宜上、図７Ａ、図７Ｂ、図７Ｃは、「検出された境界枠の辺と該画像の対応する辺との距離が対応する所定距離範囲内にない場合」の幾つかの例を示しているが、本開示はこれらの例に限定されない。

【0108】

また、１つの実施例では、ステップＳ１０４における該目標対象の該少なくとも一部と該画像との幾何学的関係が所定条件を満たす場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、該境界枠の中心位置が該画像の中心領域にない場合、該目標対象と該画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、を含んでもよい。

【0109】

ここで、境界枠の中心位置と画像の中心領域とを比較することで、取り込まれた目標対象が画像の中心に位置するか否かを判断してもよい。

【0110】

１つの実施例では、境界枠の中心位置は、該境界枠の画像における位置情報に基づいて決定されてもよい。具体的には、例えば、該境界枠の中心位置は、該境界枠の画像における各頂点位置に基づいて決定されてもよい。頂点位置に加えて、境界枠の画像における他の位置情報に基づいて境界枠の中心位置を決定してもよいが、本開示は具体的な位置情報に限定されない。

【0111】

また、該画像の中心領域は、該画像の中心点を囲む領域であってもよい。実際の状況に応じて中心領域の大きさ及び形状を決定してもよく、本開示はその大きさ及び形状に特に限定されない。中心領域の形状は、例えば矩形、円形などであってもよい。

【0112】

ここの中心点は、例えば幾何学的中心であってもよいため、画像の中心点は例えば中心領域の中心点（幾何学的中心）であってもよい。

【0113】

ここで、上述したように、境界枠の中心位置が画像の中心領域内にあるか否かを判断することで、画像における目標対象の位置が中央にあるか否かを決定する。例えば、境界枠の中心位置が画像の中心領域内にあると判断された場合、画像品質をさらに反映することができ、境界枠の中心位置が画像の中心領域内にない場合、目標対象の位置が中央に位置していない可能性があり、画像の中心領域（又は中心位置）から離れており、画像の品質に影響を及ぼし、さらにユーザへ提供されるサービス（例えば視覚障害者の読書サービス、ガイダンスサービスなど）に影響を及ぼす可能性がある。これに対し、同様に、目標対象と画像センサとの間の相対距離を調整するための方法（後述する）をユーザに提示することで、目標対象の画像における位置をより適切にする（例えばできるだけ中央に位置させる）ことができるため、品質のより良い画像を取得することができる。

【0114】

図８Ａは、検出された目標対象の境界枠８０３の中心位置８０５が画像８０１の中心領域８０４内にない場合を示しており、この際に、該目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。また、図８Ｂは、検出された目標対象の境界枠８０３の中心位置８０５が画像８０１の中心領域８０４にある場合を示しており、この際に、必要に応じて次の処理を行ってもよい。

【0115】

１つの実施例では、ステップＳ１０４における境界枠の中心位置が画像の中心領域にない場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、境界枠の中心位置の画像の中心領域に対する方向に基づいて、該方向とは反対の方向へ目標対象を移動させるように促すステップ、を含んでもよい。

【0116】

上記の図８Ａに示すように、検出された境界枠８０３の中心位置８０５は、画像８０１の中心領域８０４にない。図８Ａから分かるように、中心位置８０５は中心領域８０４の右上方向にあるため、境界枠８０３の中心位置８０５が画像８０１の中心領域８０４内に入るように、右上方向とは反対の左下方向へ目標対象を移動させてもよい。

【0117】

ここで、上述したように、境界枠の中心位置が画像の中心領域にないと判断された場合、画像品質を改善する必要があると決定し、この態様では、目標対象と画像センサとの間の相対距離を調整するための方法をユーザに提示することで、目標対象の画像における位置及び／又は大きさはより適切になり、品質のより良い画像を取得することができる。

【0118】

また、例えば、１つの実施例では、ステップＳ１０４における目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、境界枠の面積と画像の面積との比率が所定比率範囲内にない場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップ、を含んでもよい。

【0119】

ここで、面積比率の判断により、画像における取り込まれた目標対象の大きさが適切であるか否かを決定する。

【0120】

図９Ａに示すように、境界枠の面積と画像の面積との比率は約１：９であり、面積比率は小さすぎる。図９Ｂに示すように、境界枠の面積と画像の面積との比率は約９４：１００であり、面積比率は大きすぎる。図９Ｃに示すように、境界枠の面積と画像の面積との比率は約３：４であり、面積比率は適切である。

【0121】

上記の所定比率範囲は、具体的な要求に応じて設定されてもよく、例えば５０％〜８５％の比率範囲、又は他の範囲などであってもよく、本開示はこれに限定されない。

【0122】

ここで、上述したように、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを判断することで、画像における目標対象の大きさが適切であるか否かを決定する。例えば、境界枠の面積と画像の面積との比率が所定比率範囲にあるか否かを判断する（該比率範囲を満たす画像は、大きさが適切であり、画像品質が良い）ことで、画像品質をさらに反映することができる。例えば、境界枠の面積と画像の面積との比率が所定比率範囲にない場合、目標対象が画像において大きすぎ、或いは小さすぎる可能性があり、画像の品質に影響を及ぼし、ユーザへ提供するサービス（例えば視覚障害者の読書サービス、ガイダンスサービスなど）に影響をさらに及ぼしてしまう。これに対し、同様に、目標対象の画像における大きさが適切になり、品質のよりよい画像を取得できるように、目標対象と画像センサとの間の相対距離を調整する方法（後述する）をユーザに提示してもよい。

【0123】

１つの実施例では、ステップＳ１０４における境界枠の面積と画像の面積との比率が所定比率範囲内にない場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、境界枠の面積と画像の面積との比率が所定比率範囲の上限よりも高い場合、目標対象を遠ざけるように促すステップと、境界枠の面積と画像の面積との比率が所定比率範囲の下限よりも低い場合、目標対象を近づけるように促すステップと、を含んでもよい。

【0124】

例えば、図９Ａに示すように面積の比率が小さすぎる場合、目標対象を近づけるように促してもよい。一方、図９Ｂに示すように面積の比率が大きすぎる場合、目標対象を遠ざけるように促してもよい。

【0125】

ここで、上述したように、境界枠の面積と画像の面積との比率が所定比率範囲内にないと判断された場合、画像品質を改善する必要があると決定し、この態様では、目標対象と画像センサとの間の相対距離を調整するための方法をユーザに提示することで、目標対象の画像における大きさはより適切になり、品質のより良い画像を取得することができる。

【0126】

１つの実施例では、目標対象は、テキスト領域を含み、ステップＳ１０４における目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、目標対象のテキスト領域のテキスト行の画像の辺に対する角度（以下は、「テキスト行の傾斜角度」と略称される）が所定角度範囲内にあるか否かを決定し、該角度が所定角度範囲内にない場合、目標対象と画像センサとの間の相対角度を調整するように促すステップ、を含んでもよい。

【0127】

上記の所定角度範囲は、例えば［−３０°，３０°］であってもよい。アルゴリズムの精度及び取り込みの安定性を考慮すると、本開示では、テキスト行の傾斜角度が所定角度範囲内にある場合、テキスト行が実質的に水平であると見なされる。なお、アルゴリズムがより正確化され、取り込みの安定性が向上した場合、該所定角度範囲を合理的に調整してもよく、例えば［−２０°，２０°］、［−１０°，１０°］に調整してもよい。

【0128】

本開示では、テキスト行の傾斜角度とは、テキスト行（例えば１行目のテキスト行を選択してもよい）の画像の１つの辺（説明の便宜上、該辺は水平辺と定義され、該画像の該辺に隣接するもう１つの辺は垂直辺と定義される）に対する角度を意味してもよい。「テキスト行が水平である」とは、テキスト行が画像の水平辺と実質的に水平である（例えば、テキスト行の傾斜角度が３０度よりも小さい）ことを意味してもよい。所定角度範囲を超えた場合、「テキスト行が傾いている」と見なされてもよい。例えば、図１０におけるテキスト行８０６と画像の水平辺とは、約４５度の角度をなす。「テキスト行が傾いている」場合、目標対象と画像センサとの間の相対角度を調整するようにユーザに促してもよい。

【0129】

１つの実施例では、テキスト行の傾斜角度は、ハフ変換に基づく方法、相互相関に基づく方法、投影に基づく方法、フーリエ（Ｆｏｕｒｉｅｒ）変換に基づく方法、Ｋ最近傍クラスタ法などの方法により検出されてもよい。

【0130】

１つの実施例では、目標対象の角度を調整することで目標対象と画像センサとの間の相対角度を調整してもよい。提供される目標対象の相対角度の提示情報は、目標対象の回転方向及び回転角度を含んでもよいが、これに限定されず、回転方向又は回転角度のみを含んでもよいし、他の提示情報をさらに含んでもよく、例えば「目標対象の角度を調整してください」などの音声を再生してもよい。

【0131】

ここで、上述したように、画像における目標対象のテキスト領域のテキスト行の傾斜角度を判断することで、画像における目標対象の位置及び／又は姿勢が適切であるか否かを決定する。例えば、画像における目標対象のテキスト領域のテキスト行の傾斜角度が所定角度範囲内にあるか否かを判断することで、画像品質をさらに反映することができる。例えば、画像における目標対象のテキスト領域のテキスト行の傾斜角度が所定角度範囲内にない場合、画像におけるテキストへの認識速度及び正確度に影響を及ぼし、ユーザへ提供するサービス（例えば視覚障害者の読書サービス、ガイダンスサービスなど）に影響をさらに及ぼしてしまうため、目標対象の姿勢を調整する必要がある。これに対し、目標対象の画像における位置及び／又は姿勢がより適切になり、品質のよりよい画像を取得できるように、目標対象と画像センサとの間の相対角度などを調整するようにユーザに促す。

【0132】

上記のテキスト行の傾斜角度が所定角度範囲よりも大きい場合、品質要求を満たす画像を取得するように、再度取り込まれた画像におけるテキスト行の傾斜角度が所定角度範囲以下になるまで、画像センサにより画像を再度取り込み、検出し続けてもよい。

【0133】

以上は、境界枠と画像との３つの幾何学的関係、即ち境界枠の辺と画像の辺との距離（所定距離条件、例えば距離閾値に基づく距離条件、及び距離範囲に基づく距離条件を含んでもよい）、境界枠の中心位置が画像の中心領域にあるか否か、境界枠の面積と画像の面積との比率に基づいて、目標対象と画像センサとの間の相対位置を調整するように促すか否かを判断する例を説明している。また、テキスト行の傾斜角度に基づいて、目標対象と画像センサとの間の相対角度を調整するようにユーザに促すか否かを判断する１つの例を説明している。なお、本開示は、上記の４つの判断条件に限定されず、他の判断条件を用いてもよく、ここでその詳細な説明を省略する。

【0134】

また、上述した３つの境界枠と画像との幾何学的関係に基づく判断条件は、上述したようにそれぞれ判断されてもよいし、これらの条件を任意に組み合わせて判断されてもよい。例えば、２つずつ組み合わせてもよく、例えばまず境界枠の中心位置が画像の中心領域にあるか否かを判断し、その後、面積比率が適切であるか否かを判断してもよい。なお、逆にしてもよく、まず面積比率が適切であるか否かを判断し、その後、中心位置が適切であるか否かを判断してもよい。３つの条件を組み合わせてもよく、例えばまず境界枠の中心位置が画像の中心領域にあるか否かを判断し、その後、面積比率が適切であるか否かを判断し、最後に辺の距離が所定距離条件を満たす（例えば、所定の距離閾値よりも大きく、且つ／或いは所定の距離範囲内にある）か否かを判断してもよい。また、テキスト行の傾斜角度の判断と他の条件とを組み合わせてもよい。判断条件が多いほど、取得された目標対象の画像における位置、大きさなどが条件を満たすが、それに応じて、必要な計算リソース及び時間が多くなる。

【0135】

組み合わせて判断することで、品質のより良い画像を取得することができ、より正確なプロンプトユーザに提供することができ、処理時間を大幅に短縮し、処理リソースを効果的に節約し、ユーザにより良く、正確なサービスを提供することができる。

【0136】

明確にするために、以下は例を参照しながら２つずつの組み合わせの判断方法を説明する。上述したように、目標対象の少なくとも一部は、画像から検出された対応する境界枠により表示されてもよい。

【0137】

１つの実施例では、図１１Ａに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0138】

ステップＳ１０４１において、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0139】

該境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たす場合、ステップＳ１０４２に進み、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0140】

境界枠の中心位置が画像の中心領域にないと決定された場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0141】

また、該境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たさない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。

【0142】

ここで、所定距離条件は、例えば上記の距離閾値に基づく距離条件、及び／又は距離範囲に基づく距離条件を含んでもよい。

【0143】

この態様では、境界枠と画像との辺の距離の判断条件、及び境界枠の中心位置の判断条件を組み合わせて、目標対象の画像における位置及び／又は大きさが適切であるか否かを判断する。自動的に判断することで、条件を満たさないと決定された場合、上述したように、ユーザにプロンプトを自動的に提供することで、ユーザは目標対象と画像センサとの相対位置を迅速に調整することができ、品質要求を満たす（例えば目標対象の画像における位置及び／又は大きさなどが適切な）画像をより速く取得することができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮することができる。

【0144】

１つの実施例では、視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、本開示の例示的な態様では、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、目標認識の正確度及び速度を向上させ、処理リソースを効果的に節約し、処理時間を大幅に短縮することができるため、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。

【0145】

１つの実施例では、図１１Ｂに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0146】

ステップＳ１０４１において、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0147】

該境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たす場合、ステップＳ１０４２に進み、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0148】

境界枠の面積と画像の面積との比率が所定比率範囲内にないと決定された場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0149】

また、該境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たさない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。

【0150】

この態様では、境界枠と画像との辺の距離の判断条件、及び面積比率の判断条件を組み合わせて、目標対象の画像における位置及び／又は大きさが適切であるか否かを判断する。上記の例と同様に、自動的に判断することで、条件を満たさないと決定された場合、上述したように、ユーザにプロンプトを自動的に提供することで、ユーザは目標対象と画像センサとの相対位置を迅速に調整することができ、品質要求を満たす（例えば目標対象の画像における位置及び／又は大きさなどが適切な）画像をより速く取得することができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮することができる。同様に、視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、目標認識の正確度及び速度を向上させ、処理リソースを効果的に節約し、処理時間を大幅に短縮することができるため、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。

【0151】

１つの実施例では、図１１Ｃに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0152】

ステップＳ１０４１において、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0153】

境界枠の中心位置が画像の中心領域にあると決定された場合、ステップＳ１０４２に進み、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0154】

境界枠の面積と画像の面積との比率が所定比率範囲内にないと決定された場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0155】

また、境界枠の中心位置が画像の中心領域にない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。

【0156】

この態様では、境界枠の中心位置の判断条件、及び面積比率の判断条件を組み合わせて、目標対象の画像における位置及び大きさが適切であるか否かを判断する。上記の例と同様に、自動的に判断することで、条件を満たさないと決定された場合、上述したように、ユーザにプロンプトを自動的に提供することで、ユーザは目標対象と画像センサとの相対位置を迅速に調整することができ、品質要求を満たす（例えば目標対象の画像における位置及び／又は大きさなどが適切な）画像をより速く取得することができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮することができる。同様に、視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、目標認識の正確度及び速度を向上させ、処理リソースを効果的に節約し、処理時間を大幅に短縮することができるため、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。以下の組み合わせ方法の有利な効果は同様であるため、その説明を省略する。

【0157】

１つの実施例では、図１１Ｄに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0158】

ステップＳ１０４１において、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0159】

境界枠の中心位置が画像の中心領域にある場合、ステップＳ１０４２に進み、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0160】

境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たさない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0161】

同様に、境界枠の中心位置が画像の中心領域にない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。

【0162】

この態様では、境界枠の中心位置の判断条件、及び境界枠と画像との辺の距離の判断条件を別の順序で組み合わせて、目標対象の画像における位置が適切であるか否かを判断する。

【0163】

１つの実施例では、図１１Ｅに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0164】

ステップＳ１０４１において、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0165】

境界枠の面積と画像の面積との比率が所定比率範囲内にある場合、ステップＳ１０４２に進み、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0166】

境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たさない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0167】

また、境界枠の面積と画像の面積との比率が所定比率範囲内にない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。

【0168】

この態様では、面積比率の判断条件、及び境界枠と画像との辺の距離の判断条件を別の順序で組み合わせて、目標対象の画像における位置及び大きさが適切であるか否かを判断する。

【0169】

１つの実施例では、図１１Ｆに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0170】

ステップＳ１０４１において、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0171】

境界枠の面積と画像の面積との比率が所定比率範囲内にある場合、ステップＳ１０４２に進み、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0172】

境界枠の中心位置が画像の中心領域にない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0173】

また、境界枠の面積と画像の面積との比率が所定比率範囲内にない場合、ステップＳ１０４３に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供してもよい。

【0174】

この態様では、面積比率の判断条件、及び境界枠の中心位置の判断条件を別の順序で組み合わせて、目標対象の画像における位置及び大きさが適切であるか否かを判断する。

【0175】

以下は、例を参照しながら３つの判断条件の組み合わせの態様を説明する。より多くの判断条件を組み合わせることで、品質のより良い画像を取得することができ、より正確なプロンプトユーザに提供することができ、処理時間を大幅に短縮し、処理リソースを効果的に節約し、ユーザにより良く、正確なサービスを提供することができる。

【0176】

１つの実施例では、図１２Ａに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0177】

ステップＳ１０４１において、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0178】

境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たす場合、ステップＳ１０４２に進み、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0179】

境界枠の中心位置が画像の中心領域にある場合、ステップＳ１０４３に進み、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0180】

境界枠の面積と画像の面積との比率が所定比率範囲内にない場合、ステップＳ１０４４に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0181】

この態様では、辺の距離、中心位置、及び面積比率の三者をこの順序で組み合わせて、目標対象の画像における位置及び大きさが適切であるか否かを判断することで、画像における位置及び大きさが適切な目標対象を取得する。

【0182】

１つの実施例では、図１２Ｂに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0183】

ステップＳ１０４１において、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0184】

境界枠の中心位置が画像の中心領域にある場合、ステップＳ１０４２に進み、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0185】

境界枠の面積と画像の面積との比率が所定比率範囲内にある場合、ステップＳ１０４３に進み、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0186】

境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たさない場合、ステップＳ１０４４に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0187】

この態様では、中心位置、面積比率及び辺の距離の三者をこの順序で組み合わせて、目標対象の画像における位置及び大きさが適切であるか否かを判断することで、画像における位置及び大きさが適切な目標対象を取得する。

【0188】

１つの実施例では、図１２Ｃに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0189】

ステップＳ１０４１において、境界枠の中心位置が画像の中心領域にあるか否かを決定する。

【0190】

境界枠の中心位置が画像の中心領域にある場合、ステップＳ１０４２に進み、境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たすか否かを決定する。

【0191】

境界枠の辺と画像の対応する辺との間の距離が所定距離条件を満たす場合、ステップＳ１０４３に進み、境界枠の面積と画像の面積との比率が所定比率範囲内にあるか否かを決定する。

【0192】

境界枠の面積と画像の面積との比率が所定比率範囲内にない場合、ステップＳ１０４４に進み、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する。

【0193】

この態様では、中心位置、辺の距離、及び面積比率の三者をこの順序で組み合わせて、目標対象の画像における位置及び大きさが適切であるか否かを判断することで、画像における位置及び大きさが適切な目標対象を取得する。また、相対的に言えば、この組み合わせ方法は、画像における位置及び大きさが何れも適切な目標対象をより速く取得することができる。

【0194】

また、上述したように、テキスト行の傾斜角度の判断条件も他の条件と組み合わせてもよく、以下は例を参照しながら簡単に説明する。

【0195】

図１２Ｄに示すように、ステップＳ１０４における該目標対象の少なくとも一部と画像との幾何学的関係が所定条件を満たす場合、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するステップは、以下のステップを含んでもよい。

【0196】

目標対象にテキスト領域が含まれる場合、ステップＳ１０４１’において、目標対象のテキスト領域のテキスト行の画像の辺に対する角度が所定角度範囲内にあるか否かを決定する。

【0197】

目標対象のテキスト領域のテキスト行の画像の辺に対する角度が所定角度範囲内にない場合、ステップＳ１０４２’に進み、目標対象と画像センサとの間の相対角度を調整するようにユーザに促してもよい。

【0198】

上述したように、所定角度範囲は、例えば［−３０°，３０°］であってもよく、相対角度は例えば回転角度及び回転方向の２つのパラメータを含んでもよい。

【0199】

この態様では、テキスト行の傾斜角度に基づいて目標対象の画像における位置が適切であるか否かを判断する例を提供し、上述したように、この態様は、例えば中心位置、面積比率、辺の距離という三者のうちの少なくとも１つと組み合わせて、目標対象の画像における位置及び／又は大きさが適切であるか否かを判断する。従って、図１２は、ステップＳ１０４１’、Ｓ１０４２’に加えて、上記の図１１Ａ〜図１１Ｆ、図１２Ａ〜図１２Ｃに示すステップをさらに含んでもよい。言い換えれば、ステップＳ１０４１’、Ｓ１０４２’は、図１１Ａ〜図１１Ｆ、図１２Ａ〜図１２Ｃにおけるステップと組み合わせてもよい。なお、内容の制限により、ここでその説明を省略する。

【0200】

判断条件の組み合わせ方法は、上記のものに限定されず、上述したように、判断条件も上記のものに限定されない。本開示をより明確になるために、本開示は、判断条件及びその組み合わせ方法について、十分に多い例を挙げている。また、本開示は、ここに例示された態様に限定されず、各種の代替方法、変形方法、及び拡張方法を含む。

【0201】

以上はステップＳ１０４について詳細に説明しているが、以下は他のステップを説明する。

【0202】

上述したように、ステップＳ１０３において該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供した後に、図１に示すように、再取得された画像から目標対象の少なくとも一部が検出されるまで、ステップＳ１０１に進み、画像センサにより再度取り込まれた画像を再取得し、ステップＳ１０２において再取得された画像に目標対象の少なくとも一部が存在するか否かを検出し続けてもよい。

【0203】

また、ステップＳ１０４において目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供した後にも、再取得された画像から目標対象の少なくとも一部が検出されるまで、図１に示すように、ステップＳ１０１に進み、画像センサにより再度取り込まれた画像を再取得し、再取得された画像に基づいてステップＳ１０２、Ｓ１０４などの処理を実行し続け、該検出された目標対象の少なくとも一部と該再取得された画像との幾何学的関係が、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するための条件を満たさないか、或いは目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供しないための条件を満たす（即ち、目標対象の画像における大きさ及び／又は位置などは適切であり、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する必要がない）かを決定する。

【0204】

言い換えれば、目標対象が検出されていない場合、又は検出された目標対象が画像における大きさ及び／若しくは位置などが適切ではない場合、画像を再度取り込み、再度取り込まれた画像に目標対象が存在するか否か、及び存在する目標対象の大きさ及び／又は位置が適切であるか否かを検出してもよい。

【0205】

また、１つの実施例では、再度の取り込み、検出、及びプロンプトの提示の回数及び／又は時間を制御してもよい。例えば、ユーザは、検出停止指示を自発的に（人為的に）開始してもよい。或いは、プロセッサなどの装置は、検出停止指示を自ら開始してもよく、例えば検出の回数、境界枠が連続的に検出されていない時間などに基づいて、画像の継続的な取得、継続的な検出、及び境界枠若しくは完全な境界枠が検出されていないこと、又は目標対象と画像センサとの相対位置が継続的に不適切であることによるプロンプトの提供を停止してもよい。これによって、過度に集中した頻繁なプロンプトの提供を回避することができ、ユーザにニーズを満たすサービスを提供することができる。

【0206】

１つの実施例では、画像センサは、少なくとも所定時間（例えば２秒）を隔てて目標対象を再度取り込むことで、プロンプトに従って目標対象及び／又は画像センサの所在する装置を移動させるための十分な時間を確保することができ、目標対象と画像センサとの相対位置を準備していない際に目標対象を頻繁に取り込むことを防止することができる。

【0207】

画像センサが所定時間を隔てて目標対象を再度取り込む方法は、例えば間隔を隔てて取り込む方法を用いてもよく、例えば固定時間を間隔として取り込んでもよく、例えば２秒ごとにシャッタを押し、特定の画像センサでこのような間隔を隔てて取り込む方法を採用してもよい。

【0208】

１つの実施例では、図１３に示すように、画像センサが画像を取り込む前に、ステップＳ１１０において、ポインタ（指示物）を検出し、取り込まれる目標対象を決定してもよい。これによって、取り込む前にまず目標対象を決定することで、画像に複数の目標画像の疑いのあるものが出現し、後続の検出及び認識が難しくなることを回避することができる。

【0209】

１つの実施例では、該ポインタは、例えばユーザの指であってもよい。

【0210】

ここで、例えばコンピュータビジョンのアルゴリズムを用いて指を検出し、指の位置を特定してもよく、例えばＯｐｅｎＣＶのアルゴリズム、例えばＣａｓｃａｄｅＣｌａｓｓｉｆｉｅｒ関数（ｈｔｔｐｓ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／３．２．０／ｄ１／ｄｅ５／ｃｌａｓｓｃｖ＿１＿１ＣａｓｃａｄｅＣｌａｓｓｉｆｉｅｒ．ｈｔｍｌ）を用いて、画像から指の位置を特定し、目標対象を決定してもよい。

【0211】

また、ポインタは、指に限定されず、例えばペンであってもよい。

【0212】

１つの実施例では、目標対象が決定されておらず、画像から複数の目標対象の疑いのあるものが検出された場合、文字又は音声のプロンプトにより、取り込まれる目標対象を決定するようにユーザに促してもよい。

【0213】

また、１つの実施例では、図１３に示すように、本開示の目標検出方法は、ステップＳ１０６をさらに含んでもよい。ステップＳ１０６において、画像における目標対象を認識し、認識された目標対象を出力する。例えば、画像から目標対象の少なくとも一部が検出されており、該検出された目標対象の少なくとも一部と該画像との幾何学的関係が、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供するための条件を満たさない、或いは目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供しないための条件を満たす（即ち、目標対象の画像における大きさ及び／又は位置などは適切であり、目標対象と画像センサとの間の相対位置を調整する旨のプロンプトを提供する必要がない）と決定された場合、画像における目標対象を認識し、認識された目標対象を出力してもよい。

【0214】

１つの実施例では、目標対象を移動させるようにユーザに促す場合、上述したように、目標対象は移動可能な目標対象、例えば身分証明書、名刺、パスポート、運転免許証、読み物（媒体読み物又は電子読み物）、タブレットコンピュータ、携帯電話などであってもよい。

【0215】

１つの実施例では、認識画像における目標対象は認識目標対象における文字を含んでもよく、それに応じて、出力された認識の目標対象は、認識すべき目標対象における文字を含んでもよい。

【0216】

１つの実施例では、出力の形式は、音声の形式の出力及び／又は文字の形式の出力などを含む。

【0217】

本開示の例示的な態様では、例えば視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、目標認識の正確度及び速度を向上させることができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮し、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。

【0218】

１つの実施例では、画像センサは、まずプレビュー画像を取り込み、プレビュー画像に基づいて目標対象を検出し、目標対象の境界枠が検出され、或いは目標対象の完全な境界枠が検出された後に、認識のための画像（即ち撮影画像）を撮影してもよい。ここで、プレビュー画像の解像度は、認識のための画像の解像度よりも低い。

【0219】

このように、検出時に低い解像度の画像を用い、認識時に高い解像度の画像を用いることで、位置及び／又は大きさの適切な目標対象を撮影する前に取り込まれた低い解像度の画像であるため、限られた処理リソースを大幅に節約することができる。また、認識時に高い解像度の画像を用いることで、認識効果を確保することができる。

【0220】

１つの実施例では、目標対象と画像センサとの間の相対位置が適切であると画像センサにより決定された場合、目標対象を撮影する前に、ユーザに目標対象の位置を保持させるように、目標対象を保持する旨のプロンプトを提供し、或いは鮮明な画像を撮影できるために、ユーザに予め準備させ、より安定な姿勢を維持し、目標対象を把持又は保持する旨のプロンプトを提供してもよい。

【0221】

１つの実施例では、上記のプロンプトは、音声プロンプト、振動プロンプト、文字プロンプト、画像プロンプト、ビデオプロンプトの１つ又はそれらの任意の組み合わせを含んでもよい。言い換えれば、本開示は、特定のプロンプト方法に限定されず、様々な方法でプロンプトを組み合わせてもよい。

【0222】

振動によるプロンプトは、例えば異なる振動モードにより遠いこと／近いことを提示してもよい。例えば、短くて速い振動モードの場合、目標対象を近づけ、長くて遅い振動モードの場合、目標対象を遠ざけてもよい。また、振動により移動方向を提示してもよく、例えば、振動の方向により、該方向へ移動させることを表してもよい。振動プロンプトは、正常の音が聞こえない聴覚障碍者にとって非常に便利である。

【0223】

以上は図面を参照しながら本開示の目標検出方法を説明した。本開示は、プレビュー画像が提供されておらず、或いはプレビュー画像が見られない場合、まず、画像センサにより取り込まれた画像に目標対象の少なくとも一部が存在するか否かを検出し、目標対象の少なくとも一部が検出されていない場合、目標対象を画像センサの視野範囲内に調整する旨のプロンプトを提供し、或いは、目標対象の少なくとも一部が検出された場合、目標対象の取得された画像における位置情報に基づいて目標対象と画像センサとの相対位置を調整する旨のプロンプトを提供する。これによって、目標対象及び／又は画像センサの位置をより便利に調整し、画像センサは位置及び／又は大きさの適切な目標対象をより速く取り込むことができる。

【0224】

これによって、本開示の例示的な態様では、視覚障害のあるユーザが画像品質を視覚的に判断できず、或いはユーザの着用するウェアラブル機器がディスプレイを提供していない場合、ユーザが画像品質を事前に判断できるように自動的に支援し、ユーザのためにプロンプトをさらに提供することができるため、品質のより良い画像を取得し、目標認識の正確度及び速度を向上させることができるため、処理リソースを効果的に節約し、処理時間を大幅に短縮し、ユーザは必要なサービス（例えば読書サービス、ガイダンスサービスなど）をより速く利用することができる。

【0225】

本開示の他の態様では、電子回路をさらに提供し、該電子回路は上記の目標検出方法のステップを実行する回路を含んでもよい。

【0226】

本開示の他の態様では、視覚障害者補助装置をさらに提供し、視覚障害者補助装置は、画像を取り込む画像センサと、例えば画像に目標対象の少なくとも一部が存在するか否かを検出し、画像から目標対象の少なくとも一部が検出されていない場合、目標対象を画像センサの視野範囲内に調整する旨のプロンプトを提供する電子回路と、を含む。

【0227】

１つの実施例では、該電子回路は、画像センサが位置が固定されている装置である場合、目標対象が画像センサの視野範囲内に入るように目標対象を移動させる旨のプロンプトを提供し、画像センサが位置を調整可能な装置である場合、目標対象が画像センサの視野範囲内に入るように目標対象及び／又は画像センサを移動させる旨のプロンプトを提供してもよい。

【0228】

１つの実施例では、視覚障害者補助装置は、ウェアラブル機器（例えば眼鏡、ヘルメットなど）に接続可能な視覚障害者補助装置（例えば読書補助装置など）、手持ち型視覚障害者補助装置、及び卓上型視覚障害者補助装置のうちの１つ以上を含んでもよい。

【0229】

１つの実施例では、視覚障害者補助装置は、例えば卓上型のブラケットなどのブラケットに取り付けられ、卓上型視覚障害者補助装置とされてもよい。言い換えれば、視覚障害者補助装置は、ブラケットをさらに含んでもよい。

【0230】

一例として、図１４Ａ及び図１４Ｂは、本開示の例示的な実施例に係る視覚障害者補助装置の展開状態及び折り畳み状態にある卓上型ブラケット等のブラケットの構成をそれぞれ示している。図１４Ａに示すように、ブラケットは、接続部材１４１、伸縮スタンドアーム１４２、基部回転ジョイント１４３及びウェイト付き基部を含んでもよい。

【0231】

接続部材１４１には、画像センサ及び電子回路が取り付けられている（例えば吸引により取り付けられている）。１つの実施例では、接続部材１４１は磁石を含んでもよく、該磁石は、接続部材１４１の表面に埋め込まれるように形成される（例えば、ブラケットが展開状態で卓上に安定的に固定されている際に、接続部材１４１は机の表面に対向している）ことで、画像センサ及び電子回路を接続部材１４１に吸引により取り付ける。

【0232】

伸縮スタンドアーム１４２の一端は接続部材１４１に接続され、他端は基部回転ジョイント１４３を介してウェイト付き基部１４４に接続されている。伸縮スタンドアーム１４２は、接続部材１４１を支持し、伸縮及び／又は回転により接続部材１４１のウェイト付き基部１４４又は机の表面に対する位置（例えば高さ、角度など）を調整する。１つの実施例では、伸縮スタンドアーム１４２は、互いに接続された複数の伸縮継手、例えば図１４Ａに示す４つの伸縮継手を含んでもよい。なお、実際の要求に応じて、他の数の伸縮継手を含んでもよい。複数の伸縮継手の少なくとも１つの長さは調整可能である。さらに、複数の伸縮継手のうちの基部回転ジョイント１４３に接続された底部伸縮継手のウェイト付き基部１４４に対する位置は調整可能である（例えば、ウェイト付き基部１４４に対して所定角度範囲内で回転可能であり、所定角度範囲は例えば上限及び下限を含む０°〜９０°などであってもよい）。他の伸縮継手は、隣接する伸縮継手に接続され、該隣接する伸縮継手に対する位置は調整可能である（例えば、該隣接する伸縮継手に対して所定角度範囲内で回転可能であり、所定角度範囲は例えば上限及び下限を含む０°〜９０°などであってもよい）。

【0233】

ウェイト付き基部１４４は、例えば接続部材１４１及び伸縮スタンドアーム１４２などのブラケットの他の構成要素を支持し、ブラケットが展開状態（又は動作状態）にある場合に机の表面に安定的に固定することができる。例えば、ブラケットの各構成要素が図１４Ａに示す状態にある時に、ウェイト付き基部１４４はブラケットが机の表面に安定的に固定されるようにブラケットを支持することができる。１つの実施例では、図１４Ｂに示すように、ウェイト付き基部１４４の断面は、４つの端部が円弧状となる略矩形形状であり、矩形の長辺のサイズは１５０ｍｍ〜１８０ｍｍであってもよく、例えば図示の１７５ｍｍなどであり、矩形の短辺は６０ｍｍ〜９０ｍｍであってもよく、例えば図示の８０ｍｍなどである。なお、必要に応じて、ウェイト付き基部１４４の断面を他の形状、例えば円形、楕円形などに設定してもよい。

【0234】

１つの実施例では、図１４Ａ及び図１４Ｂに示すように、基部回転ジョイント１４３は、ウェイト付き基部１４４の一方側の端部に位置してもよい。また、ブラケットが展開状態にある場合、優れた支持作用を果たし、ブラケットが折り畳み状態にある場合、体積をさらに減らし、ユーザ体験を向上させることができる。

【0235】

以上は、図１４Ａ及び図１４Ｂを参照しながら、視覚障害者補助装置のためのブラケット、例えば卓上型ブラケットの可能な構成を例示的に説明した。なお、図１４Ａ及び図１４Ｂに示す構成は単なる一例であり、具体的な実現方法に応じて、本開示のブラケットは、図１４Ａ又は図１４Ｂに示す構成要素の１つ又は複数のみを含んでもよいし、他の構成要素をさらに含んでもよい。

【0236】

１つの実施例では、視覚障害者補助装置は、画像に含まれる文字に対して文字検出、認識を行い、文字データを取得する回路と、該文字データを音声データに変換する回路と、該音声データ及び／又は文字データを出力する回路をさらに含んでもよい。

【0237】

本開示の他の態様では、プロセッサと、命令を含むプログラムが記憶されているメモリと、を含む電子機器をさらに提供し、該命令が該プロセッサにより実行される際に、該プロセッサに上記の目標検出方法を実行させる。

【0238】

本開示の態様では、命令を含むプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、該命令が電子機器のプロセッサにより実行される際に、電子機器に上記の目標検出方法を実行させる。

【0239】

図１５は、本開示の例示的な実施例に係る電子機器の構成を示すブロック図である。なお、図１５に示す構成は単なる一例であり、具体的な実現方法に応じて、本開示の電子機器は、図１５に示す構成要素の１つまたは複数のみを含んでもよい。

【0240】

電子機器２０００は、例えば、汎用コンピュータ（例えばラップトップコンピュータ、タブレットコンピュータなどの各種のコンピュータ）、携帯電話、携帯情報端末（ＰＤＡ）であってもよい。１つの実施例では、電子機器２０００は、視覚障害者補助装置であってもよい。

【0241】

電子機器２０００は、画像を取り込み、或いは撮影し、取り込まれた画像（例えば、プレビュー画像）を処理し、処理に応じてプロンプトを提供する。例えば、電子機器２０００は、画像を取り込み、画像に対して文字検出及び認識を実行して文字データを取得し、文字データを音声データに変換し、ユーザが聞くための音声データを出力し、および／またはユーザのための文字データを出力する。

【0242】

１つの実施例では、電子機器２０００は、ユーザの視野を略含む画像を取り込み、撮影できるように、眼鏡フレームを含み、或いは眼鏡フレーム（例えば眼鏡フレームのフレーム、２つのフレームを接続する接続素子、テンプル、又は他の任意の部分）に取り外し可能に取り付けられてもよい。

【0243】

１つの実施例では、電子機器２０００は、他のウェアラブル機器に取り付けされ、或いは他のウェアラブル機器と統合されてもよい。ウェアラブル機器は、例えば、ヘッドマウントデバイス（例えばヘルメットまたは帽子など）、耳に着用可能な機器などであってもよい。１つの実施例では、電子機器は、ヘルメットまたは帽子などに取り付け可能なアクセサリなどのウェアラブル機器に取り付け可能なアクセサリとして実装されてもよい。

【0244】

１つの実施例では、電子機器２０００は、他の形態を有してもよい。例えば、電子機器２０００は、携帯電話、汎用コンピューティング装置（例えば、ラップトップコンピュータ、タブレットコンピュータなど）、携帯情報端末（ＰＤＡ）などであってもよい。電子機器２０００は、デスクトップ上に配置できる基部を有してもよい。

【0245】

１つの実施例では、電子機器２０００は、読書を補助するための視覚障害者補助装置としてもよく、この場合、電子機器２０００は、「電子リーダ」または「読書補助装置」と称されてもよい。電子機器２０００を用いることで、自律的に読むことができないユーザ（視覚障害者、失読症のある者など）は、読書姿勢と同様の姿勢で通常の読み物（本、雑誌など）を「読む」ことができる。「読む」際に、電子機器２０００は、取り込まれた画像を取得し、画像を検出し、画像に読み物を囲む境界枠が存在するか否かを決定し、該読み物が画像に取り込まれているか否かを決定してもよい。境界枠が存在しており、且つ取り込まれた読み物の大きさ又は位置が適切ではない場合、境界枠の画像における位置に基づいて、該読み物を移動させるようにユーザに促すことで、大きさ及び位置の適切な読み物を撮影することができる。これによって、撮影された大きさ及び位置が適切な読み物に対して文字検出及び文字認識を（光学的文字認識（ＯＣＲ）方法により）行い、その中の文字データを取得し、文字データを音声データに変換し、スピーカまたはヘッドフォンなどの音声出力装置によりユーザへ音声データを出力する。

【0246】

プレビュー画像を提供しておらず、或いは画像をプレビューすることができない場合、目標対象を移動させるための様々な詳細なプロンプトをユーザに提供することにより、電子機器２０００が適切な位置およびサイズの目標対象をより迅速かつより正確に取得することができるため、より高速で正確な認識結果及び出力結果をユーザへ提供でき、応答速度、認識効率、認識精度を大幅に向上させることができる。

【0247】

電子機器２０００は、画像を取り込み、撮影し、取得するための画像センサ２００４を含んでもよい。画像センサ２００４は、静止画像を取り込み、且つ／或いは撮影することができ、動的画像を取り込み、且つ／或いは撮影することができ、ウェブカメラ、カメラ、ビデオカメラなどを含むが、これらに限定されず、目標対象を含む初期画像を取得する。電子機器２０００は、上記の方法のステップを実行する回路を含む電子回路２１００をさらに含んでもよい。電子機器２０００は、画像内の文字に対して文字検出および認識（例えば、ＯＣＲ処理）を実行して文字データを取得する文字認識回路２００５をさらに含んでもよい。文字認識回路２００５は、例えば、専用のチップにより実現されてもよい。電子機器２０００は、文字データを音声データに変換する音声変換回路２００６をさらに含んでもよい。音声変換回路２００６は、例えば、専用のチップにより実現されてもよい。電子機器２０００は、音声データを出力する音声出力回路２００７をさらに含んでもよい。音声出力回路２００７は、ヘッドフォン、スピーカ、またはバイブレータなど、および対応する駆動回路を含んでもよいが、これらに限定されない。

【0248】

１つの実施例では、電子機器２０００は、画像処理回路２００８をさらに含んでもよく、画像処理回路２００８は、画像に対して様々な画像処理を実行する回路を含んでもよい。画像処理回路２００８は、画像上のノイズを低減する回路、画像のぼけを除去する回路、画像を幾何学的に補正する回路、画像から特徴を抽出する回路、画像内の目標対象に対して目標検出および認識を実行する回路、画像に含まれる文字に対して文字検出を実行する回路、画像からテキスト行を抽出する回路、画像から文字座標を抽出する回路、画像から境界枠を抽出する回路、画像からテキストボックスを抽出する回路、および画像に基づいてレイアウト分析（例えば、段落の分割）を行う回路などの１つまたは複数を含んでもよいが、これらに限定されない。

【0249】

１つの実施例では、電子回路２１００は、文字処理回路２００９をさらに含んでもよく、文字処理回路２００９は、抽出された文字関連情報（文字データ、テキストボックス、段落座標、テキスト行座標、文字座標など）に基づいて各処理を行い、段落の順序付け、文字の意味分析、レイアウト分析結果などの処理結果を取得する。

【0250】

上記の各種の回路（例えば、文字認識回路２００５、音声変換回路２００６、音声出力回路２００７、画像処理回路２００８、文字処理回路２００９、及び電子回路２１００の１つ又は複数）は、カスタムハードウェアを使用し、且つ／或いはハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせで実装されてもよい。例えば、上記の各種の回路の１つ又は複数は、本開示に係る論理及びアルゴリズムに基づいて、アセンブリ言語又はハードウェアプログラミング言語（例えばＶＥＲＩＬＯＧ、ＶＨＤＬ、Ｃ＋＋等）を用いてハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又はプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）に対してプログラミングを行うことで実現されてもよい。

【0251】

１つの実施例では、電子機器２０００は、通信回路２０１０をさらに含んでもよく、該通信回路２０１０は、外部デバイスおよび／またはネットワークとの通信を可能にする任意のタイプのデバイスまたはシステムであってもよく、モデム、ネットワークカード、赤外線通信デバイス、無線通信デバイスおよび／またはチップセット、例えばブルートゥース（登録商標）デバイス、１３０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラ通信デバイス及び／又は類似のものを含んでもよいが、これらに限定されない。

【0252】

１つの実施例では、電子機器２０００は、入力装置２０１１を含んでもよく、該入力装置２０１１は、電子機器２０００に情報を入力することができる任意のタイプのデバイスであってもよく、各種のセンサ、マウス、キーボード、タッチパネル、ボタン、コントロールスティック、マイクおよび/またはリモコンなどを含んでもよいが、これらに限定されない。

【0253】

１つの実施例では、電子機器２０００は、出力装置２０１２をさらに含んでもよく、該出力装置２０１２は、情報を提示できる任意のタイプのデバイスであってもよく、ディスプレイ、視覚的出力端末、バイブレータ、および／またはプリンタなどを含んでもよいが、これらに限定されない。１つの実施例では、電子機器２０００は、視覚障害者補助装置に使用されるが、視覚ベースの出力装置によれば、ユーザの家族または保守作業員などが電子機器２０００から出力情報を容易に取得することができる。

【0254】

１つの実施例では、電子機器２０００は、プロセッサ２００１をさらに含んでもよい。プロセッサ２００１は、任意のタイプのプロセッサであってもよく、１つ以上の汎用プロセッサおよび／または１つ以上の専用プロセッサ（例えば、特別な処理チップ）を含んでもよいが、これらに限定されない。プロセッサ２００１は、例えば、中央処理装置（ＣＰＵ）又はマイクロプロセッサ（ＭＰＵ）などであってもよいが、これらに限定されない。電子機器２０００は、動作メモリ２００２をさらに含んでもよく、動作メモリ２００２は、プロセッサ２００１の動作に有用なプログラム（命令を含む）および／またはデータ（画像、文字、音声、および他の中間データなど）を記憶してもよく、ランダムアクセスメモリおよび／または読み取り専用メモリを含んでもよいが、これらに限定されない。電子機器２０００は、記憶装置２００３をさらに含んでもよく、記憶装置２００３は、任意の非一時的記憶装置を含んでもよい。非一時的記憶装置は、非一時的であり、データを記憶できる任意の記憶装置であってもよく、ディスクドライブ、光記憶装置、固体メモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ若しくは他の任意の磁気媒体、光ディスク若しくは他の任意の光学媒体、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、キャッシュメモリ及び／又は他の任意のメモリチップ若しくはカートリッジ、及び／又はコンピュータがデータ、命令及び／又はコードを読み取ることができる他の任意の媒体であってもよいが、これらに限定されない。動作メモリ２００２と記憶装置２００３は、まとめて「メモリ」と称されてもよく、場合によって相互に使用されることもある。

【0255】

１つの態様では、プロセッサ２００１は、画像センサ２００４、文字認識回路２００５、音声変換回路２００６、音声出力回路２００７、画像処理回路２００８、文字処理回路２００９、通信回路２０１０、電子回路２１００、および電子機器２０００に含まれる他の各種の装置及び回路の少なくとも１つを制御、スケジューリングしてもよい。１つの態様では、図１５に示す各構成素子の少なくとも一部は配線２０１３を介して互いに接続され、且つ／或いは通信を行うことができる。

【0256】

ソフトウェア要素（プログラム）は、動作メモリ２００２に配置されてもよく、動作メモリ２００２は、オペレーティングシステム２００２ａ、１つまたは複数のアプリケーションプログラム２００２ｂ、ドライバ、および／または他のデータおよびコードを含んでもよいが、これらに限定されない。

【0257】

１つの態様では、上記の制御およびスケジューリングを実行するための命令は、オペレーティングシステム２００２ａ、または１つまたは複数のアプリケーションプログラム２００２ｂに含まれてもよい。

【0258】

１つの態様では、本開示に記載される方法ステップを実行するための命令は、１つまたは複数のアプリケーションプログラム２００２ｂに含まれてもよく、上述の電子機器２０００の各モジュールは、プロセッサ２００１により１つまたは複数のアプリケーションプログラム２００２ｂの命令を読み取り、実行することで実現されてもよい。言い換えれば、電子機器２０００は、プロセッサ２００１と、プログラムを記憶するメモリ（例えば、動作メモリ２００２および／または記憶装置２００３）とを含んでもよく、プログラムは命令を含み、該命令がプロセッサ２００１により実行される際に、プロセッサ２００１に本開示の各実施例に記載されている方法を実行させる。

【0259】

１つの態様では、文字認識回路２００５、音声変換回路２００６、画像処理回路２００８、文字処理回路２００９、および電子回路２１００の少なくとも一部又は全ては、プロセッサ２００１により１つまたは複数のアプリケーションプログラム２００２ｂの命令を読み取り、実行することで実現されてもよい。

【0260】

ソフトウェア要素（プログラム）の命令の実行可能コードまたはソースコードは、非一時的なコンピュータ読み取り可能な記憶媒体（例えば記憶装置２００３など）に記憶され、実行される際に動作メモリ２００２に記憶されてもよい（コンバイルされ、且つ／或いはインストールされてもよい）。従って、本開示は、プログラムを記憶するコンピュータ読み取り可能な記憶媒体を提供し、プログラムは命令を含み、該命令は電子機器（例えば、視覚障害者補助装置）のプロセッサにより実行される際に、電子機器に本開示の各実施例に記載された方法を実行させる。他の態様では、ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは遠隔地からダウンロードされてもよい。

【0261】

なお、具体的な要求に応じて各種の変形を行ってもよい。例えば、カスタムハードウェアを用いてもよいし、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合せで特定の構成要素（上述のプロセッサチップ回路など）を実現してもよい。例えば、開示された方法及び装置の一部又は全部（例えば、上記のプロセッサチップ回路における各回路部）は、本開示に係る論理及びアルゴリズムに基づいて、アセンブリ言語又はハードウェアプログラミング言語（例えばＶＥＲＩＬＯＧ、ＶＨＤＬ、Ｃ＋＋等）を用いてハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又はプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）に対してプログラミングを行うことで実現されてもよい。

【0262】

電子機器２０００におけるプロセッサ２００１はネットワークに分散されてもよい。例えば、１つのプロセッサを用いて処理を実行し、該プロセッサから離れた他のプロセッサを用いて他の処理を実行してもよい。電子機器２０００の他のモジュールも同様に分散さてもよい。従って、電子機器２０００は、複数の場所で処理を実行する分散コンピュータシステムとして解釈されてもよい。

【0263】

図面を参照しながら本開示の実施形態又は実施例を説明したが、上述した方法、システム及び装置は例示的な実施形態又は実施例に過ぎず、本発明の範囲はこれらの実施形態又は実施例に制限されず、添付の特許請求の範囲及びその均等物によってのみ限定される。実施形態又は実施例における各要素は、省略されてもよく、それらと同等の要素によって置き換えられてもよい。また、本開示に記載されているものとは異なる順序でステップを実行してもよい。さらに、実施形態又は実施例の各要素を様々な方法で組み合わせてもよい。なお、技術の進化に伴い、本明細書で説明されている要素は本開示の後に現れる同等の要素によって置き換えられてもよい。

【要約】

【課題】目標検出方法、回路、視覚障害者補助装置、電子機器及び媒体を提供する。
【解決手段】目標検出方法は、画像センサにより取り込まれた画像を取得するステップと、該画像に目標対象の少なくとも一部が存在するか否かを検出するステップと、該画像から該目標対象の少なくとも一部が検出されていない場合、該目標対象を該画像センサの視野範囲内に調整する旨のプロンプトを提供するステップと、を含む。
【選択図】図１

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図11E】

【図11F】

【図12A】

【図12B】

【図12C】

【図12D】

【図13】

【図14A】

【図14B】

【図15】