知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社国際電気通信基礎技術研究所の特許一覧 ▶ 学校法人福岡大学の特許一覧
特開2022-150063端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022150063
(43)【公開日】2022-10-07
(54)【発明の名称】端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
H04W 72/04 20090101AFI20220929BHJP
H04W 16/14 20090101ALI20220929BHJP
H04W 72/08 20090101ALI20220929BHJP
【ＦＩ】
H04W72/04 132
H04W16/14
H04W72/08 110
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021052479
(22)【出願日】2021-03-25
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度支出負担行為担当官、総務省大臣官房会計課企画官、研究テーマ「電波利活用強靭化に向けた周波数創造技術に関する研究開発及び人材育成プログラム」に関する委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(71)【出願人】
【識別番号】598015084
【氏名又は名称】学校法人福岡大学
(74)【代理人】
【識別番号】100112715
【弁理士】
【氏名又は名称】松山 隆夫
(72)【発明者】
【氏名】太田 真衣
(72)【発明者】
【氏名】太郎丸 眞
(72)【発明者】
【氏名】今中 崇詞
(72)【発明者】
【氏名】矢野 一人
【テーマコード（参考）】
5K067
【Ｆターム（参考）】
5K067EE02
5K067EE04
5K067EE10
5K067HH23
(57)【要約】
【課題】異なる無線通信システムを用いて無線通信を行う端末装置と共存して無線通信を行う端末装置を提供する。
【解決手段】学習器４は、パケットの通信結果、無線通信の空き期間、および他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態に基づいて学習を繰り返し実行し、最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに最大の平均報酬が得られるときのパケット長を観測期間における送信用チャネルの状態に応じて所定の確率で選択する。制御手段３は、送信データを含むパケットを生成し、学習器４から受けた送信用チャネルが空いているとき、その生成したパケットを送信手段５へ出力する。送信手段５は、制御手段３から受けたパケットを学習器４から受けたパケット長で送信する。
【選択図】図２
【解決手段】学習器４は、パケットの通信結果、無線通信の空き期間、および他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態に基づいて学習を繰り返し実行し、最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに最大の平均報酬が得られるときのパケット長を観測期間における送信用チャネルの状態に応じて所定の確率で選択する。制御手段３は、送信データを含むパケットを生成し、学習器４から受けた送信用チャネルが空いているとき、その生成したパケットを送信手段５へ出力する。送信手段５は、制御手段３から受けたパケットを学習器４から受けたパケット長で送信する。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いて前記パケットを送信する通信手段と、
前記通信手段によって前記パケットが送信される毎に、前記第１の動作期間において、前記パケットが送信されたときの通信結果を検出するとともに前記パケットの送信後の無線通信の空き期間を検出する第１の検出手段と、
前記送信用チャネルを受ける毎に、前記第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における前記送信用チャネルの状態を検出する第２の検出手段と、
前記第１の動作期間において検出された前記通信結果、前記空き期間、および前記観測期間における前記送信用チャネルの状態と、前記パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、前記通信結果および前記空き期間に基づいて、前記第１の動作期間において前記パケットが前記送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの前記送信用チャネルにおける前記即時報酬の累積値を平均した報酬であり、かつ、前記第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を前記第１の処理において算出された即時報酬を用いて算出する第２の処理と、前記候補チャネルと前記観測期間における前記送信用チャネルの状態と前記パケットのパケット長と前記平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の前記平均報酬が得られるときのチャネルを所定の確率で前記送信用チャネルとして選択するとともに前記観測期間における前記送信用チャネルの状態に応じて最大の前記平均報酬が得られるときの前記パケット長を前記所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する学習器とを備え、
前記通信手段は、更に、前記第３の処理において選択された送信用チャネルおよびパケット長を前記学習器から受ける毎に、前記第２の動作期間において、前記受けた送信用チャネルが空いているとき、前記学習器から受けたパケット長を有するパケットを送信する、端末装置。
前記通信手段によって前記パケットが送信される毎に、前記第１の動作期間において、前記パケットが送信されたときの通信結果を検出するとともに前記パケットの送信後の無線通信の空き期間を検出する第１の検出手段と、
前記送信用チャネルを受ける毎に、前記第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における前記送信用チャネルの状態を検出する第２の検出手段と、
前記第１の動作期間において検出された前記通信結果、前記空き期間、および前記観測期間における前記送信用チャネルの状態と、前記パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、前記通信結果および前記空き期間に基づいて、前記第１の動作期間において前記パケットが前記送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの前記送信用チャネルにおける前記即時報酬の累積値を平均した報酬であり、かつ、前記第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を前記第１の処理において算出された即時報酬を用いて算出する第２の処理と、前記候補チャネルと前記観測期間における前記送信用チャネルの状態と前記パケットのパケット長と前記平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の前記平均報酬が得られるときのチャネルを所定の確率で前記送信用チャネルとして選択するとともに前記観測期間における前記送信用チャネルの状態に応じて最大の前記平均報酬が得られるときの前記パケット長を前記所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する学習器とを備え、
前記通信手段は、更に、前記第３の処理において選択された送信用チャネルおよびパケット長を前記学習器から受ける毎に、前記第２の動作期間において、前記受けた送信用チャネルが空いているとき、前記学習器から受けたパケット長を有するパケットを送信する、端末装置。
【請求項2】
前記学習器は、前記第１の処理において、前記通信結果が前記パケットの送信の失敗であるとき、前記即時報酬を零と算出し、前記通信結果が前記パケットの送信の成功であるとき、前記空き期間に所定の期間を加算した加算結果の逆数を前記即時報酬として算出する、請求項１に記載の端末装置。
【請求項3】
前記学習器は、前記第２の処理において、前記第１の動作期間における即時報酬と前記第１の動作期間における平均報酬と前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数とに基づいて前記第２の動作期間における平均報酬を算出して前記平均報酬を更新する、請求項１または請求項２に記載の端末装置。
【請求項4】
前記学習器は、前記第２の処理において、前記第１の動作期間における即時報酬をＲｔとし、前記第１の動作期間における平均報酬をＶｔとし、前記第２の動作期間における平均報酬をＶｔ＋１とし、前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数をｎ（ｎは、１以上の整数である。）としたとき、以下の式（１）によって平均報酬Ｖｔ＋１を算出することによって前記平均報酬を更新する、請求項３に記載の端末装置。
Ｖｔ＋１＝Ｖｔ＋（Ｒｔ－Ｖｔ）／ｎ・・・（１）
Ｖｔ＋１＝Ｖｔ＋（Ｒｔ－Ｖｔ）／ｎ・・・（１）
【請求項5】
前記学習器は、前記第３の処理において、確率（１－ε）（εは、１～０の範囲の実数である。）で前記第２の動作期間における平均報酬が最大であるチャネルを前記候補チャネルから前記送信用チャネルとして選択し、確率εで任意のチャネルを前記候補チャネルから前記送信用チャネルとして選択する、請求項３または請求項４に記載の端末装置。
【請求項6】
前記学習器は、前記第３の処理において、前記観測期間における前記送信用チャネルの状態に対して前記第２の動作期間における平均報酬が最大であるパケット長を選択する、請求項３から請求項５のいずれか１項に記載の端末装置。
【請求項7】
前記パケットの送信が成功した確率である送信成功率がしきい値以下であるとき、前記候補チャネルの帯域と異なる帯域のチャネルを新たな候補チャネルとして選択し、その選択した新たな候補チャネルを用いるように前記学習器を制御する制御手段を更に備え、
前記学習器は、前記新たな候補チャネルを用いて前記第１の処理、前記第２の処理および前記第３の処理を前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する、請求項１から請求項６のいずれか１項に記載の端末装置。
前記学習器は、前記新たな候補チャネルを用いて前記第１の処理、前記第２の処理および前記第３の処理を前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する、請求項１から請求項６のいずれか１項に記載の端末装置。
【請求項8】
通信手段が、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いて前記パケットを送信する第１のステップと、
第１の検出手段が、前記第１のステップにおいて前記パケットが送信される毎に、前記第１の動作期間において、前記パケットが送信されたときの通信結果を検出するとともに前記パケットの送信後の無線通信の空き期間を検出する第２のステップと、
第２の検出手段が、前記送信用チャネルを受ける毎に、前記第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における前記送信用チャネルの状態を検出する第３のステップと、
学習器が、前記第１の動作期間において検出された前記通信結果、前記空き期間、および前記観測期間における前記送信用チャネルの状態と、前記パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、前記通信結果および前記空き期間に基づいて、前記第１の動作期間において前記パケットが前記送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの前記送信用チャネルにおける前記即時報酬の累積値を平均した報酬であり、かつ、前記第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を前記第１の処理において算出された即時報酬を用いて算出する第２の処理と、前記候補チャネルと前記観測期間における前記送信用チャネルの状態と前記パケットのパケット長と前記平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の前記平均報酬が得られるときのチャネルを所定の確率で前記送信用チャネルとして選択するとともに前記観測期間における前記送信用チャネルの状態に応じて最大の前記平均報酬が得られるときの前記パケット長を前記所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する第４のステップとをコンピュータに実行させ、
前記通信手段は、前記第１のステップにおいて、更に、前記第３の処理において選択された送信用チャネルおよびパケット長を前記学習器から受ける毎に、前記第２の動作期間において、前記受けた送信用チャネルが空いているとき、前記学習器から受けたパケット長を有するパケットを送信する、コンピュータに実行させるためのプログラム。
第１の検出手段が、前記第１のステップにおいて前記パケットが送信される毎に、前記第１の動作期間において、前記パケットが送信されたときの通信結果を検出するとともに前記パケットの送信後の無線通信の空き期間を検出する第２のステップと、
第２の検出手段が、前記送信用チャネルを受ける毎に、前記第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における前記送信用チャネルの状態を検出する第３のステップと、
学習器が、前記第１の動作期間において検出された前記通信結果、前記空き期間、および前記観測期間における前記送信用チャネルの状態と、前記パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、前記通信結果および前記空き期間に基づいて、前記第１の動作期間において前記パケットが前記送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの前記送信用チャネルにおける前記即時報酬の累積値を平均した報酬であり、かつ、前記第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を前記第１の処理において算出された即時報酬を用いて算出する第２の処理と、前記候補チャネルと前記観測期間における前記送信用チャネルの状態と前記パケットのパケット長と前記平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の前記平均報酬が得られるときのチャネルを所定の確率で前記送信用チャネルとして選択するとともに前記観測期間における前記送信用チャネルの状態に応じて最大の前記平均報酬が得られるときの前記パケット長を前記所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する第４のステップとをコンピュータに実行させ、
前記通信手段は、前記第１のステップにおいて、更に、前記第３の処理において選択された送信用チャネルおよびパケット長を前記学習器から受ける毎に、前記第２の動作期間において、前記受けた送信用チャネルが空いているとき、前記学習器から受けたパケット長を有するパケットを送信する、コンピュータに実行させるためのプログラム。
【請求項9】
前記学習器は、前記第４のステップの前記第１の処理において、前記通信結果が前記パケットの送信の失敗であるとき、前記即時報酬を零と算出し、前記通信結果が前記パケットの送信の成功であるとき、前記空き期間に所定の期間を加算した加算結果の逆数を前記即時報酬として算出する、請求項８に記載のコンピュータに実行させるためのプログラム。
【請求項10】
前記学習器は、前記第４のステップの前記第２の処理において、前記第１の動作期間における即時報酬と前記第１の動作期間における平均報酬と前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数とに基づいて前記第２の動作期間における平均報酬を算出して前記平均報酬を更新する、請求項８または請求項９に記載のコンピュータに実行させるためのプログラム。
【請求項11】
前記学習器は、前記第４のステップの前記第２の処理において、前記第１の動作期間における即時報酬をＲｔとし、前記第１の動作期間における平均報酬をＶｔとし、前記第２の動作期間における平均報酬をＶｔ＋１とし、前記観測期間における前記送信用チャネルの状態に対応する１つのパケット長を選択した回数をｎ（ｎは、１以上の整数である。）としたとき、以下の式（１）によって平均報酬Ｖｔ＋１を算出することによって前記平均報酬を更新する、請求項１０に記載のコンピュータに実行させるためのプログラム。
Ｖｔ＋１＝Ｖｔ＋（Ｒｔ－Ｖｔ）／ｎ・・・（１）
Ｖｔ＋１＝Ｖｔ＋（Ｒｔ－Ｖｔ）／ｎ・・・（１）
【請求項12】
前記学習器は、前記第４のステップの前記第３の処理において、確率（１－ε）（εは、１～０の範囲の実数である。）で前記第２の動作期間における平均報酬が最大であるチャネルを前記候補チャネルから前記送信用チャネルとして選択し、確率εで任意のチャネルを前記候補チャネルから前記送信用チャネルとして選択する、請求項１０または請求項１１に記載のコンピュータに実行させるためのプログラム。
【請求項13】
前記学習器は、前記第４のステップの前記第３の処理において、前記観測期間における前記送信用チャネルの状態に対して前記第２の動作期間における平均報酬が最大であるパケット長を選択する、請求項１０から請求項１２のいずれか１項に記載のコンピュータに実行させるためのプログラム。
【請求項14】
制御手段が、前記パケットの送信が成功した確率である送信成功率がしきい値以下であるとき、前記候補チャネルの帯域と異なる帯域のチャネルを新たな候補チャネルとして選択し、その選択した新たな候補チャネルを用いるように前記学習器を制御する第５のステップを更にコンピュータに実行させ、
前記学習器は、前記新たな候補チャネルを用いて前記第１の処理、前記第２の処理および前記第３の処理を前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する、請求項８から請求項１３のいずれか１項に記載のコンピュータに実行させるためのプログラム。
前記学習器は、前記新たな候補チャネルを用いて前記第１の処理、前記第２の処理および前記第３の処理を前記観測期間における前記送信用チャネルの状態、前記通信結果および前記空き期間を受け付ける毎に実行する、請求項８から請求項１３のいずれか１項に記載のコンピュータに実行させるためのプログラム。
【請求項15】
請求項８から請求項１４のいずれか１項に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【0002】
無線ＬＡＮ（Local Area Network）などに代表されるＣＳＭＡ／ＣＡ（Carrier Sense Multiple Access/ Collision Avoidance）方式では，同時送信などによるパケットの衝突・損失が起きた場合、バックオフ時間（他局からの送信電波が止まったことを検知した後、直ちに送信せず、自局が送信するまでの意図的な待ち時間）を長くすることにより、パケットの衝突確率を低減させる（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－０１３８９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、異なる複数の無線通信システムによる無線通信が共存する場合、各無線通信システムを用いて無線通信を行う端末装置Ａが他の無線通信システムを用いて無線通信を行う端末装置Ｂによる無線通信を考慮せずに自由に無線通信を行うと、パケット衝突が生じる。その結果、端末装置Ａは、端末装置Ｂと共存して無線通信を行うことが困難であるという問題がある。
【0005】
そこで、この発明の実施の形態によれば、異なる無線通信システムを用いて無線通信を行う端末装置と共存して無線通信を行う端末装置を提供する。
【0006】
また、この発明の実施の形態によれば、異なる無線通信システムを用いて無線通信を行う端末装置と共存して無線通信をコンピュータに実行させるためのプログラムを提供する。
【0007】
更に、この発明の実施の形態によれば、異なる無線通信システムを用いて無線通信を行う端末装置と共存して無線通信をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【課題を解決するための手段】
【0008】
（構成１）
この発明の実施の形態によれば、端末装置は、通信手段と、第１の検出手段と、第２の検出手段と、学習器とを備える。通信手段は、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する。第１の検出手段は、通信手段によってパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する。第２の検出手段は、送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する。学習器は、第１の動作期間において検出された通信結果、空き期間、および観測期間における送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する。そして、通信手段は、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信する。
この発明の実施の形態によれば、端末装置は、通信手段と、第１の検出手段と、第２の検出手段と、学習器とを備える。通信手段は、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する。第１の検出手段は、通信手段によってパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する。第２の検出手段は、送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する。学習器は、第１の動作期間において検出された通信結果、空き期間、および観測期間における送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する。そして、通信手段は、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信する。
【0009】
（構成２）
構成１において、学習器は、第１の処理において、通信結果がパケットの送信の失敗であるとき、即時報酬を零と算出し、通信結果がパケットの送信の成功であるとき、空き期間に所定の期間を加算した加算結果の逆数を即時報酬として算出する。
構成１において、学習器は、第１の処理において、通信結果がパケットの送信の失敗であるとき、即時報酬を零と算出し、通信結果がパケットの送信の成功であるとき、空き期間に所定の期間を加算した加算結果の逆数を即時報酬として算出する。
【0010】
（構成３）
構成１または構成２において、学習器は、第２の処理において、第１の動作期間における即時報酬と第１の動作期間における平均報酬と観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数とに基づいて第２の動作期間における平均報酬を算出して平均報酬を更新する。
構成１または構成２において、学習器は、第２の処理において、第１の動作期間における即時報酬と第１の動作期間における平均報酬と観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数とに基づいて第２の動作期間における平均報酬を算出して平均報酬を更新する。
【0011】
（構成４）
構成３において、学習器は、第２の処理において、第１の動作期間における即時報酬をＲｔとし、第１の動作期間における平均報酬をＶｔとし、第２の動作期間における平均報酬をＶｔ＋１とし、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数をｎ（ｎは、１以上の整数である。）としたとき、以下の式（１）によって平均報酬Ｖｔ＋１を算出することによって平均報酬を更新する。
構成３において、学習器は、第２の処理において、第１の動作期間における即時報酬をＲｔとし、第１の動作期間における平均報酬をＶｔとし、第２の動作期間における平均報酬をＶｔ＋１とし、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数をｎ（ｎは、１以上の整数である。）としたとき、以下の式（１）によって平均報酬Ｖｔ＋１を算出することによって平均報酬を更新する。
【0012】
Ｖｔ＋１＝Ｖｔ＋（Ｒｔ－Ｖｔ）／ｎ・・・（１）
（構成５）
構成３または構成４において、学習器は、第３の処理において、確率（１－ε）（εは、１～０の範囲の実数である。）で第２の動作期間における平均報酬が最大であるチャネルを候補チャネルから送信用チャネルとして選択し、確率εで任意のチャネルを候補チャネルから送信用チャネルとして選択する。
（構成５）
構成３または構成４において、学習器は、第３の処理において、確率（１－ε）（εは、１～０の範囲の実数である。）で第２の動作期間における平均報酬が最大であるチャネルを候補チャネルから送信用チャネルとして選択し、確率εで任意のチャネルを候補チャネルから送信用チャネルとして選択する。
【0013】
（構成６）
構成３から構成６のいずれかにおいて、学習器は、第３の処理において、観測期間における送信用チャネルの状態に対して第２の動作期間における平均報酬が最大であるパケット長を選択する。
構成３から構成６のいずれかにおいて、学習器は、第３の処理において、観測期間における送信用チャネルの状態に対して第２の動作期間における平均報酬が最大であるパケット長を選択する。
【0014】
（構成７）
構成１から構成６のいずれかにおいて、端末装置は、制御手段を更に備える。制御手段は、パケットの送信が成功した確率である送信成功率がしきい値以下であるとき、候補チャネルの帯域と異なる帯域のチャネルを新たな候補チャネルとして選択し、その選択した新たな候補チャネルを用いるように学習器を制御する。学習器は、新たな候補チャネルを用いて第１の処理、第２の処理および第３の処理を観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する。
構成１から構成６のいずれかにおいて、端末装置は、制御手段を更に備える。制御手段は、パケットの送信が成功した確率である送信成功率がしきい値以下であるとき、候補チャネルの帯域と異なる帯域のチャネルを新たな候補チャネルとして選択し、その選択した新たな候補チャネルを用いるように学習器を制御する。学習器は、新たな候補チャネルを用いて第１の処理、第２の処理および第３の処理を観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する。
【0015】
（構成８）
また、この発明の実施の形態によれば、プログラムは、
通信手段が、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する第１のステップと、
第１の検出手段が、第１のステップにおいてパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する第２のステップと、
第２の検出手段が、送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する第３のステップと、
学習器が、第１の動作期間において検出された通信結果、空き期間、および観測期間における前記送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する第４のステップとをコンピュータに実行させ、
通信手段は、第１のステップにおいて、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信する、コンピュータに実行させるためのプログラムである。
また、この発明の実施の形態によれば、プログラムは、
通信手段が、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する第１のステップと、
第１の検出手段が、第１のステップにおいてパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する第２のステップと、
第２の検出手段が、送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する第３のステップと、
学習器が、第１の動作期間において検出された通信結果、空き期間、および観測期間における前記送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する第４のステップとをコンピュータに実行させ、
通信手段は、第１のステップにおいて、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信する、コンピュータに実行させるためのプログラムである。
【0016】
（構成９）
構成８において、学習器は、第４のステップの第１の処理において、通信結果がパケットの送信の失敗であるとき、即時報酬を零と算出し、通信結果がパケットの送信の成功であるとき、空き期間に所定の期間を加算した加算結果の逆数を即時報酬として算出する。
構成８において、学習器は、第４のステップの第１の処理において、通信結果がパケットの送信の失敗であるとき、即時報酬を零と算出し、通信結果がパケットの送信の成功であるとき、空き期間に所定の期間を加算した加算結果の逆数を即時報酬として算出する。
【0017】
（構成１０）
構成８または構成９において、学習器は、第４のステップの第２の処理において、第１の動作期間における即時報酬と第１の動作期間における平均報酬と観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数とに基づいて第２の動作期間における平均報酬を算出して平均報酬を更新する。
構成８または構成９において、学習器は、第４のステップの第２の処理において、第１の動作期間における即時報酬と第１の動作期間における平均報酬と観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数とに基づいて第２の動作期間における平均報酬を算出して平均報酬を更新する。
【0018】
（構成１１）
構成１０において、学習器は、第４のステップの第２の処理において、第１の動作期間における即時報酬をＲｔとし、第１の動作期間における平均報酬をＶｔとし、第２の動作期間における平均報酬をＶｔ＋１とし、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数をｎ（ｎは、１以上の整数である。）としたとき、以下の式（１）によって平均報酬Ｖｔ＋１を算出することによって平均報酬を更新する。
構成１０において、学習器は、第４のステップの第２の処理において、第１の動作期間における即時報酬をＲｔとし、第１の動作期間における平均報酬をＶｔとし、第２の動作期間における平均報酬をＶｔ＋１とし、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数をｎ（ｎは、１以上の整数である。）としたとき、以下の式（１）によって平均報酬Ｖｔ＋１を算出することによって平均報酬を更新する。
【0019】
Ｖｔ＋１＝Ｖｔ＋（Ｒｔ－Ｖｔ）／ｎ・・・（１）
（構成１２）
構成１０または構成１１において、学習器は、第４のステップの第３の処理において、確率（１－ε）（εは、１～０の範囲の実数である。）で第２の動作期間における平均報酬が最大であるチャネルを候補チャネルから送信用チャネルとして選択し、確率εで任意のチャネルを候補チャネルから送信用チャネルとして選択する。
（構成１２）
構成１０または構成１１において、学習器は、第４のステップの第３の処理において、確率（１－ε）（εは、１～０の範囲の実数である。）で第２の動作期間における平均報酬が最大であるチャネルを候補チャネルから送信用チャネルとして選択し、確率εで任意のチャネルを候補チャネルから送信用チャネルとして選択する。
【0020】
（構成１３）
構成１０から構成１２のいずれかにおいて、学習器は、第４のステップの第３の処理において、観測期間における送信用チャネルの状態に対して第２の動作期間における平均報酬が最大であるパケット長を選択する。
構成１０から構成１２のいずれかにおいて、学習器は、第４のステップの第３の処理において、観測期間における送信用チャネルの状態に対して第２の動作期間における平均報酬が最大であるパケット長を選択する。
【0021】
（構成１４）
構成８から構成１３のいずれかにおいて、制御手段が、パケットの送信が成功した確率である送信成功率がしきい値以下であるとき、候補チャネルの帯域と異なる帯域のチャネルを新たな候補チャネルとして選択し、その選択した新たな候補チャネルを用いるように学習器を制御する第５のステップを更にコンピュータに実行させ、
学習器は、新たな候補チャネルを用いて第１の処理、第２の処理および第３の処理を観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する。
構成８から構成１３のいずれかにおいて、制御手段が、パケットの送信が成功した確率である送信成功率がしきい値以下であるとき、候補チャネルの帯域と異なる帯域のチャネルを新たな候補チャネルとして選択し、その選択した新たな候補チャネルを用いるように学習器を制御する第５のステップを更にコンピュータに実行させ、
学習器は、新たな候補チャネルを用いて第１の処理、第２の処理および第３の処理を観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する。
【0022】
（構成１５）
更に、この発明の実施の形態によれば、記録媒体は、構成８から構成１４のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体である。
更に、この発明の実施の形態によれば、記録媒体は、構成８から構成１４のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0023】
異なる無線通信システムを用いて無線通信を行う端末装置と共存して無線通信を行うことができる。
【図面の簡単な説明】
【0024】
【図1】この発明の実施の形態における通信システムの概略図である。
【図3】受信電力スペクトルの概念図である。
【図4】観測期間および空き期間を説明するための図である。
【図5】学習器における対応表の概略図である。
【図9】対応表ＴＢＬ１の変遷を示す第１の概略図である。
【図10】対応表ＴＢＬ１の変遷を示す第２の概略図である。
【図11】対応表ＴＢＬ１の変遷を示す第３の概略図である。
【図12】対応表ＴＢＬ１の変遷を示す第４の概略図である。
【図13】対応表ＴＢＬ１の変遷を示す第５の概略図である。
【図17】パケット長ｍの異なる決定方法を説明するための図である。
【発明を実施するための形態】
【0025】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【0026】
図１は、この発明の実施の形態における通信システムの概略図である。図１を参照して、通信システム１００は、基地局ＢＳ１と、端末装置ＴＭ１とを備える。基地局ＢＳ１および端末装置ＴＭ１は、無線通信空間に配置される。
【0027】
基地局ＢＳ１は、通信範囲ＲＥＧ１を有する。端末装置ＴＭ１は、通信範囲ＲＥＧ１内に配置される。
【0028】
基地局ＢＳ１は、無線通信システムＲＦ１を用いてパケットを端末装置ＴＭ１へ送信するとともに端末装置ＴＭ１からパケットを受信する。
【0029】
基地局ＢＳ２は、通信範囲ＲＥＧ２を有する。そして、基地局ＢＳ２は、通信範囲ＲＥＧ２が基地局ＢＳ１の通信範囲ＲＥＧ１と一部が重複するように配置される。基地局ＢＳ２は、無線通信システムＲＦ１と異なる無線通信システムＲＦ２を用いてパケットを端末装置ＴＭ２へ送信するとともに端末装置ＴＭ２からパケットを受信する。
【0030】
端末装置ＴＭ１は、後述する方法によって、パケットを送信するための送信用チャネルを選択し、その選択した送信用チャネルで端末装置ＴＭ２による無線通信と共存するようにパケットを基地局ＢＳ１へ送信する。その後、端末装置ＴＭ１は、パケットを受信したことを示すＡＣＫ（Acknowledgement）パケットを送信用チャネルで基地局ＢＳ１から受信したとき、パケットの送信が成功したことを検知し、ＡＣＫパケットを基地局ＢＳ１から受信しないとき、パケットの送信が失敗したことを検知する。
【0031】
なお、図１においては、基地局ＢＳ１の通信範囲ＲＥＧ１には、１個の端末装置ＴＭ１が図示されているが、実際には、基地局ＢＳ１の通信範囲ＲＥＧ１には、複数の端末装置ＴＭ１が存在する。
【0032】
以下においては、端末装置ＴＭ１を「端末装置１０」と表記する。
【0033】
【0034】
受信手段２は、キャリアセンスを行うための信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌと選択チャネルＣＨ＿Ｓｅｌｅｃｔとを制御手段３から受けると、他の端末装置による無線通信の有無を観測する期間である観測期間Ｌにおいて、選択チャネルＣＨ＿Ｓｅｌｅｃｔでアンテナ１を介してキャリアセンスを行い、受信電力の時間依存性を示す受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを取得し、その取得した受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを制御手段３へ出力する。
【0035】
また、受信手段２は、アンテナ１を介して基地局ＢＳ１から選択チャネルＣＨ＿ＳｅｌｅｃｔでＡＣＫパケットを受信すると、その受信したＡＣＫパケットを制御手段３へ出力する。その後、受信手段２は、選択チャネルＣＨ＿Ｓｅｌｅｃｔでアンテナ１を介してキャリアセンスを行い、選択チャネルＣＨ＿Ｓｅｌｅｃｔにおける受信電力スペクトルＰＷ＿ｃｈｎを取得する。そして、受信手段２は、受信電力スペクトルＰＷ＿ｃｈｎを制御手段３へ出力する。
【0036】
制御手段３は、無線通信に用いるチャネルの候補である候補チャネルＣＨ＿ｃｄｔ＿１，チャネルＣＨ＿ｃｄｔ＿２を予め保持する。候補チャネルＣＨ＿ｃｄｔ＿１は、例えば、２．４ＧＨｚ帯の１ｃｈ、６ｃｈ、１１ｃｈからなり、候補チャネルＣＨ＿ｃｄｔ＿２は、例えば、５ＧＨｚ帯の１２８ｃｈ、１３２ｃｈおよび１３６ｃｈからなる。そして、制御手段３は、候補チャネルＣＨ＿ｃｄｔ＿１、または候補チャネルＣＨ＿ｃｄｔ＿２を学習器４へ出力する。
【0037】
また、制御手段３は、学習器４から選択チャネルＣＨ＿Ｓｅｌｅｃｔを受けると、信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを生成し、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２へ出力する。その後、制御手段３は、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２から受け、その受けた受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌに基づいて、後述する方法によって、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓを検出する。そして、制御手段３は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓを学習器４へ出力する。
【0038】
更に、制御手段３は、アプリケーション６から送信データＤ＿ＴＲを受け、パケット長ｍを学習器４から受けると、送信用パケットＰＫＴのパケット長Ｌ＿ＰＫＴがパケット長ｍになるときのデータ量ＡＯＤを有する送信データＤ＿ｍを送信データＤ＿ＴＲから検出し、その検出した送信データＤ＿ｍを含む送信用パケットＰＫＴを生成する。そして、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔにおけるキャリアセンスの結果を受信手段２から受けると、選択チャネルＣＨ＿Ｓｅｌｅｃｔにおけるキャリアセンスの結果に基づいて選択チャネルＣＨ＿Ｓｅｌｅｃｔが空いているか否かを判定する。そして、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔが空いていると判定したとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび送信用パケットＰＫＴを送信手段５へ出力する。なお、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔにおけるキャリアセンスの結果に基づいて選択チャネルＣＨ＿Ｓｅｌｅｃｔが空いていないと判定したとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔが空くのを待って選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび送信用パケットＰＫＴを送信手段５へ出力する。
【0039】
更に、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび送信用パケットＰＫＴを送信手段５へ出力した後、一定期間において、ＡＣＫパケットを受信手段２から受けたとき、送信用パケットＰＫＴの送信が成功したことを検知する。そして、制御手段３は、送信用パケットＰＫＴの送信が成功したことを示す信号Ｓ＿ｓｕｃｃｅｓｓを生成し、その生成した信号Ｓ＿ｓｕｃｃｅｓｓを学習器４へ出力する。一方、制御手段３は、送信用パケットＰＫＴを送信手段５へ出力した後、一定期間において、ＡＣＫパケットを受信手段２から受けなかったとき、送信用パケットＰＫＴの送信が失敗したことを検知する。そして、制御手段３は、送信用パケットＰＫＴの送信が失敗したことを示す信号Ｓ＿ｆａｉｌｕｒｅを生成し、その生成した信号Ｓ＿ｆａｉｌｕｒｅを学習器４へ出力する。つまり、制御手段３は、送信用パケットＰＫＴを送信手段５へ出力した後、送信用パケットＰＫＴの送信が成功したか失敗したかを判定する。
【0040】
更に、制御手段３は、送信用パケットＰＫＴの送信が成功したか失敗したかを判定した後に、受信電力スペクトルＰＷ＿ｃｈｎを受信手段２から受けると、その受けた受信電力スペクトルＰＷ＿ｃｈｎに基づいて、後述する方法によって、空き期間Ｎを検出する。そして、制御手段３は、空き期間Ｎを学習器４へ出力する。
【0041】
更に、制御手段３は、一定期間において、送信手段５へ出力した送信用パケットＰＫＴの個数ＮＰＫＴと、受信手段２から受けたＡＣＫパケットの個数ＮＡＣＫとをカウントし、個数ＮＡＣＫを個数ＮＰＫＴで除算してパケットの送信成功率ＲＳＵＣＣＥＳＳを算出する。そして、制御手段３は、送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈ以下であるとき、候補チャネルＣＨ＿ｃｄｔを変更する。一方、制御手段３は、送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈよりも大きいとき、候補チャネルＣＨ＿ｃｄｔを変更しない。なお、しきい値Ｒ＿ｔｈは、例えば、５０％に設定される。
【0042】
学習器４は、候補チャネルＣＨ＿ｃｄｔ、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ、信号Ｓ＿ｓｕｃｃｅｓｓまたは信号Ｓ＿ｆａｉｌｕｒｅ、および空き期間Ｎを制御手段３から受ける。そして、学習器４は、候補チャネルＣＨ＿ｃｄｔ、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ、信号Ｓ＿ｓｕｃｃｅｓｓまたは信号Ｓ＿ｆａｉｌｕｒｅ、および空き期間Ｎに基づいて、多腕バンディットアルゴリズムによって学習を行い、候補チャネルＣＨ＿ｃｄｔから選択チャネルＣＨ＿Ｓｅｌｅｃｔを選択し、送信用パケットＰＫＴのパケット長ｍを選択する。そして、学習器４は、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよびパケット長ｍを制御手段３へ出力する。
【0043】
送信手段５は、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび送信用パケットＰＫＴを制御手段３から受けると、送信用パケットＰＫＴを選択チャネルＣＨ＿Ｓｅｌｅｃｔでアンテナ１を介して送信する。
【0044】
アプリケーション６は、送信データを生成し、その生成した送信データを制御手段３へ出力する。
【0045】
【0046】
図３を参照して、受信電力スペクトルＳＰ＿ＲＳＳＩは、受信電力が時間の経過とともに変化する。制御手段３は、全ての無線通信システムが通信を行っていない状態である信号の無い状態における受信電力値をしきい値ＲＳＳＩ＿ｔｈとして予め保持する。
【0047】
そして、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔで受信された受信電力スペクトルＳＰ＿ＲＳＳＩの振幅値を２乗して受信電力値に変換し、その変換した受信電力値がしきい値ＲＳＳＩ＿ｔｈよりも大きいとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態がビジー状態であると判定し、受信電力値がしきい値ＲＳＳＩ＿ｔｈ以下であるとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態がアイドル状態であると判定する。
【0048】
［学習器における学習］
学習器４における学習について説明する。図４は、観測期間および空き期間を説明するための図である。図４を参照して、この発明の実施の形態においては、チャネルの状態が変化する最小時間であるスロットＳＬを設定する。スロットＳＬは、例えば、１０μｓの長さを有する。
学習器４における学習について説明する。図４は、観測期間および空き期間を説明するための図である。図４を参照して、この発明の実施の形態においては、チャネルの状態が変化する最小時間であるスロットＳＬを設定する。スロットＳＬは、例えば、１０μｓの長さを有する。
【0049】
受信手段２は、観測期間Ｌ（スロットＳＬ１，ＳＬ２）において、選択チャネルＣＨ＿Ｓｅｌｅｃｔでキャリアセンスを行って受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを検出し、その検出した受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを制御手段３へ出力する。
【0050】
制御手段３は、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２から受けると、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌの振幅値を２乗して受信電力値に変換する。そして、制御手段３は、受信電力値をしきい値ＲＳＳＩ＿ｔｈと比較し、受信電力値がしきい値ＲＳＳＩ＿ｔｈよりも大きいとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態がビジー状態であると判定し、受信電力値がしきい値ＲＳＳＩ＿ｔｈ以下であるとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態がアイドル状態であると判定することをスロットＳＬ１，ＳＬ２について実行する。
【0051】
この発明の実施の形態においては、ビジー状態を“１”で表し、アイドル状態を“０”で表す。
【0052】
観測期間Ｌは、２つのスロットＳＬ１，ＳＬ２からなるので、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓを“００”、“０１”、“１０”および“１１”の２ビットで表す。
【0053】
送信手段５は、観測期間Ｌの後のスロットＳＬ３，ＳＬ４でパケットを送信すると、制御手段３は、スロットＳＬ５において、ＡＣＫパケットを受信したか否かを判定することによってパケットの送信が成功したか失敗したかを判定する。
【0054】
その後、受信手段２は、スロットＳＬ６～ＳＬ８において、選択チャネルＣＨ＿Ｓｅｌｅｃｔでキャリアセンスを行って受信電力スペクトルＰＷ＿ｃｈｎを検出し、その検出した受信電力スペクトルＰＷ＿ｃｈｎを制御手段３へ出力する。
【0055】
制御手段３は、受信電力スペクトルＰＷ＿ｃｈｎを受信手段２から受けると、受信電力スペクトルＰＷ＿ｃｈｎの振幅値を２乗して受信電力値に変換する。そして、制御手段３は、受信電力値をしきい値ＲＳＳＩ＿ｔｈと比較し、受信電力値がしきい値ＲＳＳＩ＿ｔｈよりも大きいとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態がビジー状態であると判定し、受信電力値がしきい値ＲＳＳＩ＿ｔｈ以下であるとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態がアイドル状態であると判定することをスロットＳＬ６～ＳＬ８について実行する。
【0056】
そして、制御手段３は、スロットＳＬ６がビジー状態であるとき、空き期間Ｎが“０”であることを検出し、スロットＳＬ６がアイドル状態であり、かつ、スロットＳＬ７がビジー状態であるとき、空き期間Ｎが“１”であることを検出し、スロットＳＬ６，ＳＬ７がアイドル状態であり、かつ、スロットＳＬ８がビジー状態であるとき、空き期間Ｎが“２”であることを検出し、スロットＳＬ６～ＳＬ８がアイドル状態であるとき、空き期間Ｎが“３”であることを検出する。即ち、制御手段３は、スロットＳＬ６がアイドル状態であることを起点として、アイドル状態のスロットＳＬ６からアイドル状態が連続するスロットＳＬまでの期間を空き期間Ｎとして検出する。つまり、空き期間Ｎは、パケット送信後において、無線通信が行われていない状態が連続する期間である。
【0057】
制御手段３は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓおよび空き期間Ｎを検出すると、その検出した観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓおよび空き期間Ｎを学習器４へ出力する。また、制御手段３は、受信手段２からＡＣＫパケットを受けたとき、信号Ｓ＿ｓｕｃｃｅｓｓを生成して学習器４へ出力し、受信手段２からＡＣＫパケットを受けなかったとき、信号Ｓ＿ｆａｉｌｕｒｅを生成して学習器４へ出力する。
【0058】
図５は、学習器４における対応表の概略図である。図５を参照して、対応表ＴＢＬ１は、チャネル番号と、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓと、パケット長ｍと、平均報酬Ｖとを含む。チャネル番号、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ、パケット長ｍおよび平均報酬Ｖは、相互に対応付けられる。
【0059】
チャネル番号は、１，・・・，ａ，・・・，Ａ（Ａは、１つの候補チャネルＣＨ＿ｃｄｔに含まれるチャネルの総数であり、ａは、１～Ａの整数である。）からなる。観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓは、“００”、“０１”、“１０”および“１１”からなる。観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態“００”、“０１”、“１０”および“１１”は、チャネル１，・・・，ａ，・・・，Ａの各々に対応付けられる。
【0060】
パケット長ｍは、１，２，・・・，Ｍからなる。Ｍは、パケット長ｍの総数であり、２以上の整数である。パケット長ｍ＝１、パケット長ｍ＝２、・・・、およびパケット長ｍ＝Ｍは、それぞれ、異なるパケット長を表し、例えば、パケット長ｍ＝１が最も短いパケット長を表し、パケット長ｍ＝Ｍが最も長いパケット長を表す。そして、パケット長ｍ＝Ｍは、例えば、無線通信システムにおけるＤＩＦＳ（Distributed Inter Frame Space）の長さに設定され、パケット長ｍ＝１は、基準のパケット長に設定され、ｍが“１”増える毎に、パケット長ｍは、例えば、１０μｓづつ長くなる。基準のパケット長は、例えば、１０μｓに設定される。
【0061】
パケット長ｍ＝１～Ｍは、１つのチャネル番号における観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態“００”、“０１”、“１０”および“１１”の各々に対応付けられる。図５においては、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態“０１”、“１０”および“１１”に対応するパケット長ｍの欄が空白であるが、実際には、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態“０１”、“１０”および“１１”に対応するパケット長ｍの欄には、パケット長ｍ＝１～Ｍが格納されている。
【0062】
平均報酬Ｖは、各チャネル番号において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態“００”、“０１”、“１０”および“１１”の各々に対応付けられるＭ個のパケット長ｍ＝１～Ｍに対応付けられる。そして、平均報酬Ｖは、次式によって算出される。
【0063】
【数1】
【0064】
式（１）において、Ｖｔ＋１は、動作期間Ｔ＋１における平均報酬であり、Ｖｔは、動作期間Ｔにおいて得られる平均報酬であり、Ｒｔは、動作期間Ｔにおいて得られる即時報酬であり、ｎは、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの１つの状態Ｓに対応する１つのパケット長ｍを選択した回数である。
【0065】
式（１）は、動作期間Ｔにおける平均報酬Ｖｔ、動作期間Ｔにおける即時報酬Ｒｔおよび観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓに対応する１つのパケット長ｍを選択した回数ｎによって動作期間Ｔ＋１において得られる平均報酬Ｖｔ＋１を算出することを表す。そして、平均報酬Ｖｔ＋１は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓに対応するＭ個のパケット長ｍの各々について算出される。
【0066】
式（１）における即時報酬Ｒｔは、次式によって表される。
【0067】
【数2】
【0068】
式（２）においては、パケットの送信が成功したとき（Ｓｕｃｃｅｓｓ）、即時報酬Ｒｔは、空き期間Ｎに“１”を加算した加算結果Ｎ＋１の逆数にパケット長ｍを乗算した乗算結果からなり、パケットの送信が失敗したとき（Ｆａｉｌｕｒｅ）、即時報酬Ｒｔは、零（＝０）である。
【0069】
式（２Ａ）において、Ｎ＋１の逆数を算出するのは、空き期間Ｎが零（＝０）である場合にも、即時報酬Ｒｔを算出できるようにするためである。
【0070】
式（２）によれば、パケットの送信が成功したとき（Ｓｕｃｃｅｓｓ）、即時報酬Ｒｔは、空き期間Ｎが短い方が大きくなり、空き期間Ｎが長い方が小さくなり、パケット長が長い方が大きくなり、パケット長ｍが短い方が小さくなる。
【0071】
式（１）においては、平均報酬Ｖｔの初期値は、零（＝０）に設定される。その結果、動作期間Ｔにおいて、パケットの送信に失敗したとき、即時報酬Ｒｔが零（＝０）であるので（式（２Ｂ）参照）、平均報酬Ｖｔ＋１は、零（＝０）である。一方、動作期間Ｔにおいて、パケットの送信に成功したとき、即時報酬Ｒｔがｍ／（Ｎ＋１）であるので（式（２Ａ）参照）、平均報酬Ｖｔ＋１は、ｍ／｛ｎ・（Ｎ＋１）｝である。
【0072】
従って、学習器４における学習が開始された後、パケットの送信が失敗することが継続すると、平均報酬Ｖｔ＋１は、大きくならない。
【0073】
式（１）および式（２）によれば、即時報酬Ｒｔが平均報酬Ｖｔよりも大きいとき、平均報酬Ｖｔ＋１は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（“００”，“０１”，“１０”，“１１”のいずれか１つ）に対応する１つのパケット長ｍを選択した回数ｎが増加するに従って大きくなる。即ち、平均報酬Ｖｔ＋１は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの１つの状態Ｓに対応する同じパケット長ｍが選択され続けることによって増加する。従って、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（“００”，“０１”，“１０”，“１１”のいずれか１つ）に対応するＭ個のパケット長１～Ｍ（図５参照）のうちのいずれか１つに対応する平均報酬Ｖが最初に零（＝０）よりも大きくなると、その後、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓが同じであれば、同じパケット長ｍが選択され続ける可能性がある。
【0074】
一方、即時報酬Ｒｔが平均報酬Ｖｔよりも小さいとき、平均報酬Ｖｔ＋１は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（“００”，“０１”，“１０”，“１１”のいずれか１つ）に対応する１つのパケット長ｍを選択した回数ｎが増加するに従って小さくなる。これは、空き期間Ｎが長くなった場合に生じうる。従って、より大きい平均報酬Ｖｔ＋１を獲得する観点からは、学習器４による学習を継続することによって観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（“００”，“０１”，“１０”，“１１”のいずれか１つ）に応じてパケットの送信に成功する確率がより高く、かつ、より長いパケット長ｍを見出し、その見出したパケット長ｍを観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（“００”，“０１”，“１０”，“１１”のいずれか１つ）に応じて選択することが好ましい。これによって、端末装置１０は、他の端末装置による無線通信との衝突を回避して（即ち、他の端末装置と共存して）、無線通信を行うことができる。
【0075】
図６は、図２に示す学習器４の動作を説明するための図である。図６を参照して、学習器４は、対応表ＴＢＬ１を保持する。そして、学習器４は、候補チャネルＣＨ＿ｃｄｔを制御手段３から受けると、動作期間Ｔにおいて、ε－ｇｒｅｅｄｙ法によって候補チャネルＣＨ＿ｃｄｔからチャネルを選択する。より具体的には、学習器４は、ある一定の小さい数ε（例えば、０．３）を決定しておき、０～１の範囲の実数からなる乱数ｐを発生させ、その発生させた乱数ｐがε以下であるとき、候補チャネルＣＨ＿ｃｄｔからランダムにチャネルを選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔとして選択し、発生した乱数ｐがε以下でないとき、動作期間Ｔにおいて最大の平均報酬Ｖｔが得られるチャネルを選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔとして候補チャネルＣＨ＿ｃｄｔから選択する。
【0076】
そして、学習器４は、候補チャネルＣＨ＿ｃｄｔから選択した選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔを制御手段３へ出力する。
【0077】
その後、学習器４は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔを制御手段３から受けると、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔに対して、ε－ｇｒｅｅｄｙ法によってパケット長ｍを選択する。より具体的には、学習器４は、０～１の範囲の実数からなる乱数ｐを発生させ、その発生させた乱数ｐがε以下であるとき、パケット長１～Ｍからランダムにパケット長ｍｔを選択し、発生した乱数ｐがε以下でないとき、動作期間Ｔにおいて最大の平均報酬Ｖｔが得られるときのパケット長ｍｔをパケット長１～Ｍから選択する。
【0078】
なお、学習器４は、発生した乱数ｐがε以下でないときに最大の平均報酬Ｖｔが存在しないとき、パケット長１～Ｍからランダムにパケット長ｍｔを選択する。
【0079】
学習器４は、パケット長ｍｔを選択すると、その選択したパケット長ｍｔを制御手段３へ出力する。
【0080】
その後、学習器４は、パケットが送信されたときの通信結果（パケットの送信の成功または失敗）および空き期間Ｎを制御手段３から受けると、通信結果（パケットの送信の成功または失敗）および空き期間Ｎに基づいて、動作期間Ｔにおける即時報酬Ｒｔを算出する。より具体的には、学習器４は、パケットの送信の成功と空き期間Ｎとを受けたとき、式（２Ａ）によって即時報酬Ｒｔを算出する。一方、学習器４は、パケットの送信の失敗と空き期間Ｎとを受けたとき、式（２Ｂ）によって即時報酬Ｒｔを算出する。そして、学習器４は、即時報酬Ｒｔを算出すると、その算出した即時報酬Ｒｔを記憶する。
【0081】
学習器４は、即時報酬Ｒｔを算出した後に、即時報酬Ｒｔを算出したときの選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔと同じチャネルを選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋１として選択したときの平均報酬Ｖｔ＋１を、即時報酬Ｒｔおよび平均報酬Ｖｔを用いて式（１）によって算出する。
【0082】
そうすると、学習器４は、対応表ＴＢＬ１において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔに対応付けられたパケット長ｍ（即時報酬Ｒｔを算出したときのパケット長ｍ）に対応付けて平均報酬Ｖｔ＋１を格納する。
【0083】
そして、学習器４は、動作期間Ｔ＋１において、上述した方法によって選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋１を選択し、その選択した選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋１を制御手段３へ出力する。
【0084】
その後、学習器４は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋１の状態Ｓｔ＋１を制御手段３から受けると、上述した方法によって、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋１の状態Ｓｔ＋１に対してパケット長ｍｔ＋１を選択する。そして、学習器４は、選択したパケット長ｍｔ＋１を制御手段３へ出力する。
【0085】
その後、学習器４は、上述した動作を繰り返し実行する。
【0086】
［端末装置における学習器以外の動作］
制御手段３は、候補チャネルＣＨ＿ｃｄｔを学習器４へ出力し、その後、選択チャネルＣＨ＿Ｓｅｌｅｃｔを学習器４から受ける。
制御手段３は、候補チャネルＣＨ＿ｃｄｔを学習器４へ出力し、その後、選択チャネルＣＨ＿Ｓｅｌｅｃｔを学習器４から受ける。
【0087】
そして、制御手段３は、信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを生成し、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２へ出力する。
【0088】
その後、制御手段３は、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２から受け、その受けた受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌに基づいて、上述した方法によって観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（＝“００”，“０１”，“１０”，“１１”のいずれか）を検出する。そして、制御手段３は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（＝“００”，“０１”，“１０”，“１１”のいずれか）を学習器４へ出力する。
【0089】
引き続いて、制御手段３は、アプリケーション６から送信データを受け、学習器４からパケット長ｍを受けると、上述した方法によって、パケット長ｍを有する送信用パケットＰＫＴを生成する。
【0090】
そして、制御手段３は、キャリアセンスの結果を受信手段２から受け、その受けたキャリアセンスの結果に基づいて、選択チャネルＣＨ＿Ｓｅｌｅｃｔが空いていると判定したとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび送信用パケットＰＫＴを送信手段５へ出力する。
【0091】
送信手段５は、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよび送信用パケットＰＫＴを制御手段３から受ける。そして、送信手段５は、選択チャネルＣＨ＿Ｓｅｌｅｃｔを用いて送信用パケットＰＫＴを送信する。この場合、送信手段５は、固定の伝送レートで送信用パケットＰＫＴを送信する。
【0092】
その後、受信手段２は、一定期間において、選択チャネルＣＨ＿ＳｅｌｅｃｔでＡＣＫパケットを受信すると、その受信したＡＣＫパケットを制御手段３へ出力する。そして、受信手段２は、選択チャネルＣＨ＿Ｓｅｌｅｃｔでキャリアセンスを行い、受信電力スペクトルＰＷ＿ｃｈｎを検出し、その検出した受信電力スペクトルＰＷ＿ｃｈｎを制御手段３へ出力する。
【0093】
制御手段３は、ＡＣＫパケットを受信手段２から受けると、パケットの送信が成功したことを検知し、ＡＣＫパケットを受信手段２から受けなかったとき、パケットの送信が失敗したことを検知する。そして、制御手段３は、パケットの送信が成功したことを検知したとき、信号Ｓ＿ｓｕｃｃｅｓｓを生成して学習器４へ出力し、パケットの送信が失敗したことを検知したとき、信号Ｓ＿ｆａｉｌｕｒｅを生成して学習器４へ出力する。
【0094】
そして、制御手段３は、受信電力スペクトルＰＷ＿ｃｈｎを受信手段２から受けると、受信電力スペクトルＰＷ＿ｃｈｎに基づいて、上述した方法によって、空き期間Ｎを検出し、その検出した空き期間Ｎを学習器４へ出力する。
【0095】
また、制御手段３は、パケットの送信数ＮＰＫＴと、受信手段２から受けたＡＣＫパケットの個数ＮＡＣＫとをカウントし、個数ＮＡＣＫを送信数ＮＰＫＴで除算して送信成功率ＲＳＵＣＣＥＳＳを算出する。
【0096】
そして、制御手段３は、送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈ以下であるか否かを判定する。
【0097】
制御手段３は、送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈ以下であると判定したとき、帯域の異なるチャネルからなる候補チャネル（既に学習器４へ出力した候補チャネルと個なる候補チャネル）を学習器４へ出力する。
【0098】
一方、制御手段３は、送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈよりも大きいと判定したとき、既に学習器４へ出力した候補チャネル（候補チャネルＣＨ＿ｃｄｔ＿１または候補チャネルＣＨ＿ｃｄｔ＿２）を維持する。つまり、制御手段３は、候補チャネルＣＨ＿ｃｄｔを変更しない。
【0099】
以後、上述した動作が繰り返し実行される。
【0100】
図７は、図２に示す端末装置１０の動作を説明するためのタイミングチャートである。図７においては、チャネル１、チャネル２およびチャネル３からなる候補チャネルＣＨ＿ｃｄｔのうち、チャネル２が選択チャネルＣＨ＿Ｓｅｌｅｃｔとして選択された場合について端末装置１０の動作タイミングを説明する。また、矢印ＡＲ１のタイミングから矢印ＡＲ６のタイミングまでの期間を動作期間Ｔとする。
【0101】
図７を参照して、制御手段３は、矢印ＡＲ１のタイミングよりも前のタイミングにおいて、候補チャネル（チャネル１～３）を学習器４へ出力する。そして、制御手段３は、矢印ＡＲ１のタイミングにおいて、送信データＤ＿ｍを含む送信用パケットＰＫＴを生成する。また、学習器４は、矢印ＡＲ１のタイミングにおいて、候補チャネル（チャネル１～３）からチャネル２を選択チャネルＣＨ＿Ｓｅｌｅｃｔとして選択し、その選択した選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）を制御手段３へ出力する。
【0102】
そして、制御手段３は、学習器４から選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）を受けると、信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを生成し、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）および信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２へ出力する。
【0103】
受信手段２は、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）および信号Ｓ＿ｃａｒｒｉｅｒ＿Ｌを制御手段３から受けると、矢印ＡＲ１のタイミングから矢印ＡＲ２のタイミングまでの観測期間Ｌにおいて、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）においてキャリアセンスを行って受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを検出し、その検出した受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを制御手段３へ出力する。
【0104】
制御手段３は、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを受信手段２から受けると、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌの振幅値を２乗して受信電力値に変換する。そして、制御手段３は、受信電力値をしきい値ＲＳＳＩ＿ｔｈと比較し、受信電力値がしきい値ＲＳＳＩ＿ｔｈよりも大きいとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態がビジー状態であると判定し、受信電力値がしきい値ＲＳＳＩ＿ｔｈ以下であるとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態がアイドル状態であると判定する。
【0105】
そして、制御手段３は、矢印ＡＲ２のタイミングにおいて、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態Ｓが“００”，“０１”，“１０”，“１１”のいずれかからなることを検出する。
【0106】
図７においては、観測期間Ｌの１番目のスロットＳＬにおいてパケットが送信されており、観測期間Ｌの２番目のスロットＳＬが空いているので、制御手段３は、矢印ＡＲ２のタイミングにおいて、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌに基づいて、上述した方法によって、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態Ｓが“１０”であることを検出する。そして、制御手段３は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態Ｓ（＝“１０”）を学習器４へ出力する。
【0107】
学習器４は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態Ｓ（＝“１０”）を制御手段３から受けると、矢印ＡＲ２のタイミングにおいて、上述した方法によって、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）の状態Ｓ（＝“１０”）に応じたパケット長ｍを選択し、その選択したパケット長ｍを制御手段３へ出力する。
【0108】
また、制御手段３は、矢印ＡＲ２のタイミングにおいて、アプリケーション６から送信データＤ＿ＴＲを受け、学習器４からパケット長ｍを受けると、その受けた送信データＤ＿ＴＲおよびパケット長ｍに基づいて、上述した方法によって、送信データＤ＿ｍを含む送信用パケットＰＫＴを生成し、キャリアセンスを行うように受信手段２を制御する。そして、制御手段３は、キャリアセンスの結果を受信手段２から受け、その受けたキャリアセンスの結果に基づいて、選択チャネルＣＨ＿Ｓｅｌｅｃｔが空いていると判定したとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）および送信用パケットＰＫＴを送信手段５へ出力する。
【0109】
なお、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔが空いていないと判定したとき、選択チャネルＣＨ＿Ｓｅｌｅｃｔが空くのを待って、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）および送信用パケットＰＫＴを送信手段５へ出力する。
【0110】
送信手段５は、矢印ＡＲ２のタイミングにおいて、選択チャネルＣＨ＿Ｓｅｌｅｃｔ（＝チャネル２）および送信用パケットＰＫＴを制御手段３から受け、選択チャネルＣＨ＿Ｓｅｌｅｃｔを用いて送信用パケットＰＫＴを送信する。
【0111】
そして、矢印ＡＲ３のタイミングでパケットの送信が完了する。その後、受信手段２は、矢印ＡＲ４のタイミングでＡＣＫパケットを受信すると、その受信したＡＣＫパケットを制御手段３へ出力する。
【0112】
制御手段３は、ＡＣＫパケットを受信手段２から受けると、パケットの送信が成功したことを検知する。一方、制御手段３は、ＡＣＫパケットを受信手段２から受けなかったとき、パケットの送信が失敗したことを検知する。従って、制御手段３は、矢印ＡＲ４のタイミングにおいて、パケットの送信の成功または失敗を学習器４へ出力する。
【0113】
その後、受信手段２は、矢印ＡＲ５のタイミングから矢印ＡＲ６のタイミングまでの期間において選択チャネルＣＨ＿Ｓｅｌｅｃｔでキャリアセンスを行って受信電力スペクトルＰＷ＿ｃｈｎを検出し、その検出した受信電力スペクトルＰＷ＿ｃｈｎを制御手段３へ出力する。
【0114】
制御手段３は、受信電力スペクトルＰＷ＿ｃｈｎを受信手段２から受けると、矢印ＡＲ６のタイミングにおいて、受信電力スペクトルＰＷ＿ｃｈｎに基づいて、上述した方法によって、空き期間Ｎを検出し、その検出した空き期間Ｎを学習器４へ出力する。
【0115】
学習器４は、矢印ＡＲ６のタイミングにおいて、空き期間Ｎを制御手段３から受けると、その受けた空き期間Ｎと、矢印ＡＲ４のタイミングで制御手段３から受けたパケットの送信の成功または失敗とに基づいて、動作期間Ｔにおける即時報酬Ｒｔを算出し、その算出した即時報酬Ｒｔを記憶する。この即時報酬Ｒｔは、動作期間Ｔの後の動作期間（矢印ＡＲ１のタイミングから矢印ＡＲ６のタイミングまでの期間からなる動作期間）において、動作期間Ｔにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔと同じチャネルが選択されたときに得られる平均報酬Ｖｔ＋１を式（１）によって算出するために用いられる。
【0116】
学習器４は、即時報酬Ｒｔを記憶すると、選択チャネルＣＨ＿Ｓｅｌｅｃｔと同じチャネルが選択されたときに算出された動作期間Ｔにおける即時報酬Ｒｔを用いて、動作期間Ｔよりも後の動作期間（矢印ＡＲ１のタイミングから矢印ＡＲ６のタイミングまでの期間からなる動作期間）における平均報酬Ｖｔ＋１を式（１）によって算出する。そして、学習器４は、対応表ＴＢＬ１において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓに対応付けられたパケット長ｍ（即時報酬Ｒｔを算出したときのパケット長ｍ）に対応付けて平均報酬Ｖｔ＋１を格納する。
【0117】
その後、制御手段３は、上述した送信成功率ＲＳＵＣＣＥＳＳを算出する。そして、制御手段３は、その算出した送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈ以下であるとき、別の候補チャネルＣＨ＿ｃｄｔを学習器４へ出力して別の候補チャネルＣＨ＿ｃｄｔを用いるように学習器４を制御する。一方、制御手段３は、送信成功率ＲＳＵＣＣＥＳＳがしきい値Ｒ＿ｔｈよりも大きいとき、矢印ＡＲ１のタイミングよりも前のタイミングにおいて、学習器４へ既に出力した候補チャネルＣＨ＿ｃｄｔを維持するので、学習器４へ候補チャネルＣＨ＿ｃｄｔを出力しない。
【0118】
学習器４は、制御手段３から既に受けた候補チャネルＣＨ＿ｃｄｔと異なる候補チャネルＣＨ＿ｃｄｔを制御手段３から受けると、その受けた候補チャネルＣＨ＿ｃｄｔに基づいて上述した方法によって選択チャネルＣＨ＿Ｓｅｌｅｃｔを選択する。
【0119】
以後、端末装置１０は、動作期間Ｔ毎に上述した動作を繰り返し実行する。
【0120】
【0121】
図８を参照して、Ｔ（Ｔは、正の整数である。）番目の動作期間、（Ｔ＋１）番目の動作期間および（Ｔ＋２）番目の動作期間の各々は、図７に示す矢印ＡＲ１のタイミングから矢印ＡＲ６のタイミングまでの期間からなる。
【0122】
制御手段３は、Ｔ番目の動作期間の矢印ＡＲ１のタイミングにおいて学習器４から選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔを受ける。そして、受信手段２および制御手段３は、次の（Ｉ）～（ＩＩＩ）を実行する。
（Ｉ）Ｔ番目の動作期間の矢印ＡＲ２のタイミングにおいて、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔを検出する。
（ＩＩ）Ｔ番目の動作期間の矢印ＡＲ４のタイミングにおいて、パケットを送信したときの通信結果ＣＭ＿ｒｓｔ＿ｔ（パケットの送信の成功または失敗）を取得する。
（ＩＩＩ）Ｔ番目の動作期間の矢印ＡＲ５のタイミングから矢印ＡＲ６のタイミングまでの期間において、パケットの送信完了後の空き期間Ｎｔを検出する。
（Ｉ）Ｔ番目の動作期間の矢印ＡＲ２のタイミングにおいて、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔを検出する。
（ＩＩ）Ｔ番目の動作期間の矢印ＡＲ４のタイミングにおいて、パケットを送信したときの通信結果ＣＭ＿ｒｓｔ＿ｔ（パケットの送信の成功または失敗）を取得する。
（ＩＩＩ）Ｔ番目の動作期間の矢印ＡＲ５のタイミングから矢印ＡＲ６のタイミングまでの期間において、パケットの送信完了後の空き期間Ｎｔを検出する。
【0123】
そうすると、制御手段３は、（Ｉ）～（ＩＩＩ）における観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓ、パケットを送信したときの通信結果ＣＭ＿ｒｓｔ＿ｔ（パケットの送信の成功または失敗）、および空き期間Ｎを学習器４へ出力する。
【0124】
学習器４は、Ｔ番目の動作期間において、次の（Ａ）～（Ｄ）を実行する。
（Ａ）Ｔ番目の動作期間において、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔを選択する。
（Ｂ）Ｔ番目の動作期間において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔに応じてパケット長ｍｔを選択する。
（Ｃ）Ｔ番目の動作期間における通信結果ＣＭ＿ｒｓｔ＿ｔ、空き期間Ｎｔおよびパケット長ｍｔに基づいて式（２）によって即時報酬Ｒｔを算出する。
（Ｄ）即時報酬Ｒｔを用いて（Ｔ＋１）番目の動作期間における平均報酬Ｖｔ＋１を式（１）によって算出する。
（Ａ）Ｔ番目の動作期間において、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔを選択する。
（Ｂ）Ｔ番目の動作期間において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔの状態Ｓｔに応じてパケット長ｍｔを選択する。
（Ｃ）Ｔ番目の動作期間における通信結果ＣＭ＿ｒｓｔ＿ｔ、空き期間Ｎｔおよびパケット長ｍｔに基づいて式（２）によって即時報酬Ｒｔを算出する。
（Ｄ）即時報酬Ｒｔを用いて（Ｔ＋１）番目の動作期間における平均報酬Ｖｔ＋１を式（１）によって算出する。
【0125】
次に、（Ｔ＋１）番目の動作期間において、受信手段２および制御手段３は、上記の（Ｉ）～（ＩＩＩ）を実行する。この場合、受信手段２および制御手段３は、（Ｉ）において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔ＋１の状態Ｓｔ＋１を検出し、（ＩＩ）において、パケットを送信したときの通信結果ＣＭ＿ｒｓｔ＿ｔ＋１を取得し、（ＩＩＩ）において、パケットの送信完了後の空き期間Ｎｔ＋１を検出する。
【0126】
一方、学習器４は、（Ｔ＋１）番目の動作期間において、上記の（Ａ）～（Ｄ）を実行する（図８の（Ｅ）参照）。この場合、学習器４は、（Ａ）において、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔ＋１を選択し、（Ｂ）において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔ＋１の状態Ｓｔ＋１に応じてパケット長ｍｔ＋１を選択し、（Ｃ）において、通信結果ＣＭ＿ｒｓｔ＿ｔ＋１、空き期間Ｎｔ＋１およびパケット長ｍｔ＋１に基づいて式（２）によって即時報酬Ｒｔ＋１を算出し、（Ｄ）において、即時報酬Ｒｔ＋１を用いて（Ｔ＋２）番目の動作期間における平均報酬Ｖｔ＋２を式（１）によって算出する。
【0127】
更に、（Ｔ＋２）番目の動作期間において、受信手段２および制御手段３は、上記の（Ｉ）～（ＩＩＩ）を実行する。この場合、受信手段２および制御手段３は、（Ｉ）において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔ＋２の状態Ｓｔ＋２を検出し、（ＩＩ）において、パケットを送信したときの通信結果ＣＭ＿ｒｓｔ＿ｔ＋２を取得し、（ＩＩＩ）において、パケットの送信完了後の空き期間Ｎｔ＋２を検出する。
【0128】
一方、学習器４は、（Ｔ＋２）番目の動作期間において、上記の（Ａ）～（Ｄ）を実行する（図８の（Ｆ）参照）。この場合、学習器４は、（Ａ）において、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔ＋２を選択し、（Ｂ）において、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿ｔ＋２の状態Ｓｔ＋２に応じてパケット長ｍｔ＋２を選択し、（Ｃ）において、通信結果ＣＭ＿ｒｓｔ＿ｔ＋２、空き期間Ｎｔ＋２およびパケット長ｍｔ＋２に基づいて式（２）によって即時報酬Ｒｔ＋２を算出し、（Ｄ）において、即時報酬Ｒｔ＋２を用いて（Ｔ＋３）番目の動作期間における平均報酬Ｖｔ＋３を式（１）によって算出する。
【0129】
なお、学習器４は、即時報酬Ｒｔおよび平均報酬Ｖｔ＋１を算出し、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋１を選択することを（Ｔ＋１）番目の動作期間の矢印ＡＲ１のタイミングまでに行い、即時報酬Ｒｔおよび平均報酬Ｖｔ＋１を算出し、パケット長ｍｔ＋１を選択することを（Ｔ＋１）番目の動作期間の矢印ＡＲ２のタイミングまでであれば、Ｔ番目の動作期間において行ってもよく、（Ｔ＋１）番目の動作期間において行ってもよい。
【0130】
また、学習器４は、即時報酬Ｒｔ＋１および平均報酬Ｖｔ＋２を算出し、選択チャネルＣＨ＿Ｓｅｌｅｃｔ＿Ｔ＋２を選択することを（Ｔ＋２）番目の動作期間の矢印ＡＲ１のタイミングまでに行い、即時報酬Ｒｔ＋１および平均報酬Ｖｔ＋２を算出し、パケット長ｍｔ＋２を選択することを（Ｔ＋２）番目の動作期間の矢印ＡＲ２のタイミングまでであれば、（Ｔ＋１）番目の動作期間において行ってもよく、（Ｔ＋２）番目の動作期間において行ってもよい。
【0131】
そして、受信手段２、制御手段３および学習器４は、上述した動作を繰り返し実行する。
【0132】
Ｔ番目の動作期間は、「第１の動作期間」を構成し、（Ｔ＋１）番目の動作期間は、「第２の動作期間」を構成する。
【0133】
そして、Ｔ番目の動作期間および（Ｔ＋１）番目の動作期間において、上述した動作が終了した後、（Ｔ＋１）番目の動作期間および（Ｔ＋２）番目の動作期間において、上述した動作が繰り返し実行される。この場合、（Ｔ＋１）番目の動作期間は、「第１の動作期間」を構成し、（Ｔ＋２）番目の動作期間は、「第２の動作期間」を構成する。以後、同様にして、２つの動作期間において、上述した動作が繰り返し実行される。この場合、２つの動作期間は、２つの動作期間において同じ選択チャネルＣＨ＿Ｓｅｌｅｃｔが連続して選択されるとき、隣接しており、２つの動作期間において同じ選択チャネルＣＨ＿Ｓｅｌｅｃｔが連続して選択されないとき、離れている。
【0134】
この発明の実施の形態においては、即時報酬Ｒｔは、１つの動作期間においてパケットが選択チャネルＣＨ＿Ｓｅｌｅｃｔで送信されたときに得られる報酬であり、平均報酬Ｖｔ＋１は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓに対応する１つのパケット長ｍを選択した回数ｎ（累積値）によって１つの選択チャネルＣＨ＿Ｓｅｌｅｃｔにおける即時報酬Ｒｔの累積値を平均した報酬であり、かつ、１つの動作期間の後の動作期間において得られる報酬である。
【0135】
【0136】
【0137】
図９を参照して、対応表ＴＢＬ１（Ａ）は、観測期間Ｌにおけるチャネルの状態“００”，“０１”，“１０”，“１１”が１ｃｈ，６ｃｈ，１１ｃｈの各々に対応付けられ、パケット長１０μｓ，２０μｓ，３０μｓが観測期間Ｌにおけるチャネルの状態“００”，“０１”，“１０”，“１１”の各々に対応付けられ、平均報酬Ｖがそれぞれのパケット長１０μｓ，２０μｓ，３０μｓに対応付けられた構成からなる。そして、対応表ＴＢＬ１（Ａ）は、初期状態の対応表であるため、平均報酬Ｖは、全て、初期値（＝０）からなる。そして、学習器４は、候補チャネル（＝１ｃｈ，６ｃｈ，１１ｃｈ）を制御手段３から受ける。
【0138】
次に、図１０を参照して、学習器４は、１番目の動作期間において、乱数ｐを発生させ、その発生させた乱数ｐがε以下であるので、候補チャネル（＝１ｃｈ，６ｃｈ，１１ｃｈ）からランダムにチャネル６ｃｈを選択し（図１０の対応表ＴＢＬ１（Ｂ）参照）、チャネル６ｃｈを選択チャネルＣＨ＿Ｓｅｌｅｃｔとして制御手段３へ出力する。
【0139】
その後、学習器４は、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”を制御手段３から受ける。そして、学習器４は、ε－ｇｒｅｅｄｙ法によって、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に応じたパケット長ｍを選択する。ε－ｇｒｅｅｄｙ法によってパケット長ｍを選択する場合、発生した乱数ｐがε以下であるとき、ランダムにパケット長ｍを選択し、発生した乱数ｐがε以下でないとき、最大の平均報酬Ｖが得られるときのパケット長ｍを選択することになる。
【0140】
この時点で、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対応する平均報酬Ｖは、全て、零（０）であり（図９の対応表ＴＢＬ１（Ａ）参照）、最大の平均報酬Ｖが存在しないので、発生した乱数ｐがε以下でないとき、ランダムにパケット長ｍを選択することになる。一方、発生した乱数ｐがε以下であるとき、ε－ｇｒｅｅｄｙ法によれば、ランダムにパケット長ｍを選択することになる。
【0141】
従って、学習器４は、パケット長ｍ＝１０μｓをランダムに選択し（図１０の対応表ＴＢＬ１（Ｂ）参照）、パケット長ｍ＝１０μｓを制御手段３へ出力する。
【0142】
引き続いて、学習器４は、パケットの送信が成功したことを示す信号Ｓ＿ｓｕｃｃｅｓｓを制御手段３から受け、その後、空き期間Ｎ（＝２）を制御手段３から受ける。
【0143】
そして、学習器４は、信号Ｓ＿ｓｕｃｃｅｓｓおよび空き期間Ｎ（＝２）に基づいて式（２Ａ）によって１番目の動作期間における即時報酬Ｒ１（＝１０／３）を算出する。この時点において、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対応する平均報酬Ｖ１は、全て、零（＝０）であるので（図９の対応表ＴＢＬ１（Ａ）参照）、学習器４は、即時報酬Ｒ１（＝１０／３）と平均報酬Ｖ１（＝０）と、ｎ＝１とを式（１）に代入して、平均報酬Ｖ２＝０＋（１０／３－０）／１＝１０／３を算出し、その算出した平均報酬Ｖ２（＝１０／３）をパケット長ｍ＝１０μｓに対応付けて対応表ＴＢＬ１（Ｂ）に格納する。
【0144】
図１１を参照して、学習器４は、２番目の動作期間において、乱数ｐを発生させ、その発生させた乱数ｐがε以下であるので、候補チャネル（＝１ｃｈ，６ｃｈ，１１ｃｈ）からランダムにチャネル６ｃｈを選択し、チャネル６ｃｈを選択チャネルＣＨ＿Ｓｅｌｅｃｔとして制御手段３へ出力する。
【0145】
その後、学習器４は、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”を制御手段３から受ける。この時点で、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対応する平均報酬Ｖの欄には、１０μｓのパケット長ｍに対応付けて平均報酬Ｖ２（＝１０／３）が格納されている（図１０の対応表ＴＢＬ１（Ｂ）参照）。学習器４は、乱数ｐを発生させ、その発生させた乱数ｐがε以下でないので、最大の平均報酬Ｖ２が得られるときのパケット長ｍ＝１０μｓを選択し、その選択したパケット長ｍ＝１０μｓを制御手段３へ出力する。
【0146】
引き続いて、学習器４は、パケットの送信が成功したことを示す信号Ｓ＿ｓｕｃｃｅｓｓを制御手段３から受け、その後、空き期間Ｎ（＝１）を制御手段３から受ける。
【0147】
そうすると、学習器４は、信号Ｓ＿ｓｕｃｃｅｓｓおよび空き期間Ｎ（＝１）に基づいて式（２Ａ）によって即時報酬Ｒ２（＝１０／２）を算出し、その算出した即時報酬Ｒ２（＝１０／２）を記憶する。
【0148】
その後、学習器４は、即時報酬Ｒ２（＝１０／２）と平均報酬Ｖ２（＝１０／３）とｎ＝２とを式（１）に代入して、平均報酬Ｖ３＝１０／３＋（１０／２－１０／３）／２＝２５／６を算出し、その算出した平均報酬Ｖ３（＝２５／６）をパケット長ｍ＝１０μｓに対応付けて対応表ＴＢＬ１（Ｂ）に格納する。
【0149】
図１２を参照して、学習器４は、３番目の動作期間において、乱数ｐを発生させ、その発生させた乱数ｐがε以下であるので、チャネル１ｃｈをランダムに選択し、その選択したチャネル１ｃｈを選択チャネルＣＨ＿Ｓｅｌｅｃｔとして制御手段３へ出力する。
【0150】
その後、学習器４は、観測期間Ｌにおけるチャネル１ｃｈの状態“００”を制御手段３から受ける。この時点で、観測期間Ｌにおけるチャネル１ｃｈの状態“００”に対応する平均報酬Ｖ３は、全て、零（０）である（図１１の対応表ＴＢＬ１（Ｃ）参照）。学習器４は、乱数ｐを発生させ、その発生させた乱数ｐがε以下であるので、パケット長ｍ＝２０μｓをランダムに選択し、パケット長ｍ＝２０μｓを制御手段３へ出力する。
【0151】
その後、学習器４は、パケットの送信が失敗したことを示す信号Ｓ＿ｆａｉｌｕｒｅを制御手段３から受ける。
【0152】
そして、学習器４は、信号Ｓ＿ｆａｉｌｕｒｅに基づいて式（２Ｂ）によって即時報酬Ｒ３（＝０）を算出し、その算出した即時報酬Ｒ３（＝０）を記憶する。そうすると、学習器４は、即時報酬Ｒ３（＝０）および平均報酬Ｖ３（＝０）に基づいて、平均報酬Ｖ４（＝０）を算出し、その算出した平均報酬Ｖ４（＝０）を対応表ＴＢＬ１（Ｄ）のチャネル１ｃｈの状態“００”に対応する２０μｓのパケット長ｍに対応付けて平均報酬Ｖの欄に格納する。
【0153】
図１３を参照して、学習器４は、４番目の動作期間において、乱数ｐを発生させ、その発生させた乱数ｐがεよりも大きいので、最大の平均報酬Ｖ３が得られるときのチャネル６ｃｈを選択する。対応表ＴＢＬ１（Ｄ）においては、平均報酬Ｖ３＝２５／６であり、平均報酬Ｖ４＝０であるので、平均報酬Ｖ３が最大である。
【0154】
学習器４は、チャネル６ｃｈを選択すると、その選択したチャネル６ｃｈを選択チャネルＣＨ＿Ｓｅｌｅｃｔとして制御手段３へ出力する。
【0155】
その後、学習器４は、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”を制御手段３から受ける。この時点で、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対応する平均報酬Ｖは、Ｖ３（＝２５／６）が最大である（図１２の対応表ＴＢＬ１（Ｄ）参照）。学習器４は、乱数ｐを発生させ、その発生させた乱数ｐがε以下でないので、最大の平均報酬Ｖ３（＝２５／６）が得られるときのパケット長ｍ＝１０μｓを選択し、パケット長ｍ＝１０μｓを制御手段３へ出力する。
【0156】
引き続いて、学習器４は、パケットの送信が成功したことを示す信号Ｓ＿ｓｕｃｃｅｓｓと、空き期間Ｎ（＝３）とを制御手段３から受ける。
【0157】
そうすると、学習器４は、信号Ｓ＿ｓｕｃｃｅｓｓおよび空き期間Ｎ（＝３）に基づいて式（２Ａ）によって即時報酬Ｒ４（＝１０／４）を算出し、その算出した即時報酬Ｒ４（＝１０／４）を記憶する。
【0158】
そして、学習器４は、即時報酬Ｒ４（＝１０／４）と、平均報酬Ｖ３（＝２５／６）と、ｎ＝３とを式（１）に代入して平均報酬Ｖ５＝２５／６＋（１０／４－２５／６）／３＝６５／１０を算出する。ここで、平均報酬Ｖ３（＝２５／６）を式（１）に代入して平均報酬Ｖ５を算出するのは、観測期間Ｌにおけるチャネル６ｃｈの状態Ｓ（＝“０１”）に対応するパケット長ｍ＝１０μｓに対して算出された平均報酬Ｖｔが図１１の対応表ＴＢＬ１（Ｃ）に格納されたＶ３（＝２５／６）であるからである。従って、観測期間Ｌにおけるチャネル６ｃｈの状態Ｓ（＝“０１”）に対応するパケット長ｍ＝１０μｓに対して平均報酬Ｖｔ＋１を動作期間Ｔ（＝４）において式（１）によって算出するとき、動作期間Ｔ（＝４）よりも前の動作期間Ｔ（＝２）において算出された平均報酬Ｖ３（＝２５／６）を平均報酬Ｖｔとして用いる。
【0159】
図９から図１３において説明したように、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対応付けられた平均報酬の３個の欄のうち、１つの欄に平均報酬Ｖ３（＝２５／６）が格納されているので（図１１の対応表ＴＢＬ１（Ｃ）参照）、４番目の動作期間において、乱数ｐがε以下でないとき、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対してチャネル長ｍを選択するとき、最大の平均報酬Ｖ３（＝２５／６）に対するチャネル長（＝１０μｓ）を選択できる（図１１の対応表ＴＢＬ１（Ｃ）および図１３の対応表ＴＢＬ１（Ｅ）参照）。
【0160】
また、図１０に示す１番目の動作期間において、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対してパケット長ｍ（＝１０μｓ）を選択し、パケットの送信に成功して即時報酬Ｒ１（＝１０／３）が得られている。また、図１１に示す２番目の動作期間において、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対してパケット長ｍ（＝１０μｓ）を選択し、即時報酬Ｒ２（＝１０／２）が得られるとともに平均報酬Ｖ３（＝２５／６）が得られている。更に、図１３に示す４番目の動作期間において、観測期間Ｌにおけるチャネル６ｃｈの状態“０１”に対してパケット長ｍ（＝１０μｓ）を選択し、平均報酬Ｖ５（＝６５／１０）が得られている（図１３の対応表ＴＢＬ１（Ｅ）参照）。
【0161】
その結果、観測期間Ｌにおけるチャネル６ｃｈの状態Ｓが“０１”であるとき、観測期間Ｌの経過後にパケットを送信するとパケットの送信に成功する確率が高いので、観測期間Ｌにおけるチャネル６ｃｈの状態Ｓが“０１”であれば、観測期間Ｌの経過後のスロットが空いている確率が高いと推定できる。これは、観測期間Ｌにおける各チャネルの状態“００”，“０１”，“１０”，“１１”にも当てはまることである。
【0162】
従って、学習器４が図９から図１３において説明した学習を繰り返し実行することによって、学習器４は、観測期間Ｌにおける各チャネルの状態Ｓ（＝“００”，“０１”，“１０”，“１１”のいずれか）に応じたパケット長ｍを選択することが可能である。
【0163】
更に、学習器４が図９から図１３において説明した学習を繰り返し実行することによって、例えば、観測期間Ｌにおけるチャネル１１ｃｈの状態“００”に対しては、パケット長ｍ＝３０μｓを選択すると、パケットの送信に失敗する確率が高くなり、パケット長ｍ＝１０μｓを選択すると、パケットの送信に成功する確率が高くなることを学習することもあり得る。
【0164】
その結果、学習器４は、観測期間Ｌにおけるチャネル１１ｃｈの状態“００”に対しては、乱数ｐがε以下でないとき、パケット長ｍ＝１０μｓを選択することになる。そして、パケット長ｍ＝１０μｓを選択してパケットを送信することは、短い空き期間を利用してパケットを送信することになり、各端末装置が自己のパケット送信だけを利己的に促進するのではなく、他の端末装置による無線通信が空いている期間を利用して（つまり、他の端末装置による無線通信に配慮した上で）パケットを送信できることになる。従って、各端末装置は、他の端末装置による無線通信の有無に関する情報を他の端末装置から取得しなくても、他の端末装置と共存しながら無線通信を行うことができる。
【0165】
更に、学習器４は、ε－ｇｒｅｅｄｙ法によってパケット長ｍを選択するので、乱数ｐがε以下であるとき、ランダムにパケット長ｍを選択することになり、最初に、零（＝０）よりも大きい平均報酬Ｖが得られたパケット長ｍを継続して選択することを抑制して、より大きい平均報酬Ｖが得られるパケット長ｍを探索することができる。
【0166】
なお、選択チャネルＣＨ＿Ｓｅｌｅｃｔをε－ｇｒｅｅｄｙ法によって選択する場合、乱数ｐがε以下でないとき、学習器４は、各チャネルの状態“００”，“０１”，“１０”，“１１”の全てに対応付けられた平均報酬Ｖの欄（図９から図１３に示す対応表ＴＢＬ１（Ａ）～ＴＢＬ１（Ｅ）においては、１２個の平均報酬Ｖの欄）を参照して、最大の平均報酬Ｖが得られるチャネルを選択チャネルＣＨ＿Ｓｅｌｅｃｔとして選択する。
【0167】
また、パケット長ｍをε－ｇｒｅｅｄｙ法によって選択する場合、乱数ｐがε以下でないとき、学習器４は、観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓ（“００”，“０１”，“１０”，“１１”のいずれか１つ）に対応付けられた平均報酬Ｖの欄（図９から図１３に示す対応表ＴＢＬ１（Ａ）～ＴＢＬ１（Ｅ）においては、３個の平均報酬Ｖの欄）を参照して、最大の平均報酬Ｖが得られるパケット長をパケット長ｍとして選択する。
【0168】
図１４は、図２に示す端末装置１０の動作を説明するためのフローチャートである。図１４を参照して、端末装置１０の動作が開始されると、制御手段３は、送信データＤ＿ＴＲがあるか否かを判定する（ステップＳ１）。この場合、制御手段３は、アプリケーション６から送信データＤ＿ＴＲを受けたとき、送信データがあると判定し、アプリケーション６から送信データＤ＿ＴＲを受けなかったとき、送信データがないと判定する。
【0169】
ステップＳ１において、送信データＤ＿ＴＲがあると判定されると、制御手段３は、パケット長ｍを要求する信号Ｓ＿ｒｅｑ＿ｍを生成して学習器４へ出力する。
【0170】
学習器４は、端末装置１０における学習器４以外の部分の動作と並行して、観測期間Ｌにおける選択チャネルの状態Ｓ、パケットを送信したときの通信結果およびパケットの送信完了後の空き期間Ｎに基づいて学習を実行し、所定の確率で最大の平均報酬Ｖｔ＋１が得られるときのチャネルを選択チャネルとして選択するとともに、観測期間Ｌにおける選択チャネルの状態Ｓに応じて、所定の確率で最大の平均報酬Ｖｔ＋１が得られるときのパケット長をパケット長ｍとして選択する（ステップＳ２）。ここで、平均報酬Ｖｔ＋１は、動作期間Ｔ＋１における平均報酬である。
【0171】
学習器４は、信号Ｓ＿ｒｅｑ＿ｍを制御手段３から受けると、選択したパケット長ｍを制御手段３へ出力する。
【0172】
制御手段３は、学習器４からパケット長ｍを受けると、送信用パケットＰＫＴのパケット長Ｌ＿ＰＫＴがパケット長ｍになるときのデータ量ＡＯＤを有する送信データＤ＿ｍを送信データＤ＿ＴＲから検出し、その検出した送信データＤ＿ｍを含む送信用パケットＰＫＴを生成する（ステップＳ３）。そして、制御手段３は、選択チャネルを要求する信号Ｓ＿ｒｅｑ＿ＣＨを生成して学習器４へ出力する。
【0173】
そして、学習器４は、制御手段３から信号Ｓ＿ｒｅｑ＿ＣＨを受けると、選択した選択チャネルを制御手段３へ出力し、観測期間Ｌにおける選択チャネルの状態Ｓを制御手段３から受けると、パケット長ｍを制御手段３へ出力する。
【0174】
制御手段３は、ステップＳ３の後、学習器４から選択チャネルを受けると、受信手段２から受けた受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌに基づいて、上述した方法によって、観測期間Ｌにおける選択チャネルの状態Ｓを検出し（ステップＳ４）、その検出した観測期間Ｌにおける選択チャネルの状態Ｓを学習器４へ出力する。
【0175】
制御手段３は、ステップＳ４の後、受信手段２から受けたキャリアセンスの結果（選択チャネルにおけるキャリアセンスの結果）に基づいて選択チャネルが空いているか否かを判定する（ステップＳ５）。
【0176】
ステップＳ５において、選択チャネルが空いていると判定されると、制御手段３は、選択チャネルＣＨ＿Ｓｅｌｅｃｔおよびパケット（送信用パケットＰＫＴ）を送信手段５へ出力し、送信手段５は、選択チャネルＣＨ＿Ｓｅｌｅｃｔを用いて、制御手段３から受けたパケット（送信用パケットＰＫＴ）をパケット長ｍで送信する（ステップＳ６）。
【0177】
その後、制御手段３は、ＡＣＫパケットの有無に基づいて、パケットを送信したときの通信結果を検出し（ステップＳ７）、その検出した通信結果を学習器４へ出力する。そして、制御手段３は、受信手段２から受けた受信電力スペクトルＰＷ＿ｃｈｎに基づいて、上述した方法によって、パケットの送信完了後の空き期間Ｎを検出し（ステップＳ８）、その検出した空き期間Ｎを学習器４へ出力する。
【0178】
そうすると、制御手段３は、パケットの送信成功率がしきい値以下であるか否かを判定する（ステップＳ９）。
【0179】
ステップＳ９において、パケットの送信成功率がしきい値以下であると判定されたとき、制御手段３は、候補チャネルを他の候補チャネルに変更し（ステップＳ１０）、その変更した他の候補チャネルを学習器４へ出力する。
【0180】
そして、ステップＳ９において、パケットの送信成功率がしきい値以下でないと判定されたとき、またはステップＳ１０の後、一連の動作は、ステップＳ１へ移行する。
【0181】
図１４に示すフローチャートにおいては、端末装置が駆動されている限り、ステップＳ１からステップＳ１０が繰り返し実行される。
【0182】
また、図１４に示すフローチャートにおいては、ステップＳ１０からステップＳ１へ移行した場合、パケットの送信に用いる選択チャネルは、他の候補チャネルから選択される（ステップＳ２参照）。
【0183】
図１５および図１６は、それぞれ、図２に示す学習器４の動作を説明するための第１および第２のフローチャートである。図１５を参照して、学習器４の動作が開始されると、学習器４は、候補チャネルを制御手段３から受ける（ステップＳ２１）。
【0184】
そして、学習器４は、対応表ＴＢＬ１における平均報酬の全てを零（＝０）に設定することによって平均報酬を初期化する（ステップＳ２２）。
【0185】
その後、学習器４は、０～１の乱数ｐを発生させる（ステップＳ２３）。そして、学習器４は、乱数ｐがε以下であるか否かを判定する（ステップＳ２４）。
【0186】
ステップＳ２４において、乱数ｐがε以下でないと判定されたとき、学習器４は、最大の平均報酬Ｖｔ＋１が対応表ＴＢＬ１に存在するか否かを判定する（ステップＳ２５）。
【0187】
ステップＳ２５において、最大の平均報酬Ｖｔ＋１が対応表ＴＢＬ１に存在すると判定されたとき、学習器４は、最大の平均報酬Ｖｔ＋１が得られるときのチャネルを候補チャネルから選択する（ステップＳ２６）。なお、最大の平均報酬Ｖｔ＋１が複数存在するとき、学習器４は、複数の最大の平均報酬Ｖｔ＋１のうちの任意の１つの最大の平均報酬Ｖｔ＋１が得られるときのチャネルを候補チャネルから選択する。
【0188】
一方、ステップＳ２４において、乱数ｐがε以下であると判定されたとき、またはステップＳ２５において、最大の平均報酬Ｖｔ＋１が対応表ＴＢＬ１に存在しないと判定されたとき、学習器４は、候補チャネルからランダムにチャネルを選択する（ステップＳ２７）。
【0189】
そして、ステップＳ２６またはステップＳ２７の後、学習器４は、選択したチャネルを選択チャネルとして制御手段３へ出力する（ステップＳ２８）。
【0190】
その後、学習器４は、観測期間Ｌにおける選択チャネルの状態Ｓを制御手段３から受ける（ステップＳ２９）。
【0191】
そして、学習器４は、０～１の乱数ｐを発生させ（ステップＳ３０）、その発生させた乱数ｐがε以下であるか否かを判定する（ステップＳ３１）。
【0192】
ステップＳ３１において、乱数ｐがε以下でないと判定されたとき、学習器４は、最大の平均報酬Ｖｔ＋１が対応表ＴＢＬ１に存在するか否かを判定する（ステップＳ３２）。
【0193】
ステップＳ３２において、最大の平均報酬Ｖｔ＋１が対応表ＴＢＬ１に存在すると判定されたとき、学習器４は、観測期間Ｌにおける選択チャネルの状態Ｓに対して、最大の平均報酬Ｖｔ＋１が得られるときのパケット長ｍを選択する（ステップＳ３３）。なお、最大の平均報酬Ｖｔ＋１が複数存在するとき、学習器４は、複数の最大の平均報酬Ｖｔ＋１のうちの任意の１つの最大の平均報酬Ｖｔ＋１が得られるときのパケット長ｍを選択する。
【0194】
一方、ステップＳ３１において、乱数ｐがε以下であると判定されたとき、またはステップＳ３２において、最大の平均報酬Ｖｔ＋１が対応表ＴＢＬ１に存在しないと判定されたとき、学習器４は、ランダムにパケット長ｍを選択する（ステップＳ３４）。
【0195】
そして、ステップＳ３３またはステップＳ３４の後、学習器４は、選択したパケット長ｍを制御手段３へ出力する（ステップＳ３５）。その後、一連の動作は、図１６のステップＳ３６へ移行する。
【0196】
図１６を参照して、図１５のステップＳ３５の後、学習器４は、パケットの送信結果を制御手段３から受ける（ステップＳ３６）。引き続いて、学習器４は、パケットの送信完了後の空き期間Ｎを制御手段３から受ける（ステップＳ３７）。
【0197】
そして、学習器４は、パケットの送信結果、空き期間Ｎおよびパケット長ｍを用いて式（２）によって即時報酬Ｒｔを算出し（ステップＳ３８）、その算出した即時報酬Ｒｔを記憶する。即時報酬Ｒｔは、動作期間Ｔにおける即時報酬である。
【0198】
その後、学習器４は、即時報酬Ｒｔを用いて式（１）によって平均報酬Ｖｔ＋１を算出し（ステップＳ３９）、観測期間Ｌにおける選択チャネルの状態Ｓに対して平均報酬Ｖｔ＋１を対応表ＴＢＬ１に格納する（ステップＳ４０）。
【0199】
そして、一連の動作は、図１５のステップＳ４１へ移行し、学習器４は、別の候補チャネルを制御手段３から受けたか否かを判定する（ステップＳ４１）。
【0200】
ステップＳ４１において、別の候補チャネルを制御手段３から受けなかったと判定されたとき、一連の動作は、ステップＳ２３へ移行する。
【0201】
一方、ステップＳ４１において、別の候補チャネルを制御手段３から受けたと判定されたとき、一連の動作は、ステップＳ２２へ移行する。
【0202】
【0203】
そして、学習器４は、図１４に示すステップＳ１の後に信号Ｓ＿ｒｅｑ＿ｍを制御手段３から受けると、図１４に示すステップＳ２において、パケット長ｍを制御手段３へ出力し（ステップＳ３５参照）、図１４に示すステップＳ３の後に信号Ｓ＿ｒｅｑ＿ＣＨを制御手段３から受けると、図１４に示すステップＳ２において、選択チャネルを制御手段３へ出力する（ステップＳ２８参照）。
【0204】
図１５および図１６に示すフローチャートによれば、学習器４は、１－εの確率で最大の平均報酬Ｖｔ＋１が得られるときのチャネルを候補チャネルから選択し（ステップＳ２６参照）、εの確率でランダムにチャネルを候補チャネルから選択する（ステップＳ２７参照）。そして、最大の平均報酬Ｖｔ＋１が得られるときのチャネルを選択するかランダムにチャネルを選択するかは、発生させる乱数ｐによって決定される（ステップＳ２３，Ｓ２４参照）。
【0205】
従って、１－εの確率で最大の平均報酬Ｖｔ＋１が得られるときのチャネルを選択してパケットを送信でき、εの確率でランダムにチャネルを選択してパケットを送信できるので、１つのチャネルを継続して用いてパケットを送信する場合に比べて他の端末装置による無線通信との衝突を回避してパケットの送信に成功する確率を高くできる。その結果、端末装置１０は、他の端末装置と共存して無線通信を行うことができる。
【0206】
また、図１５および図１６に示すフローチャートによれば、学習器４は、対応表ＴＢＬ１において、観測期間Ｌにおける選択チャネルの状態Ｓに対応する平均報酬の複数の欄の少なくとも１つの欄に平均報酬Ｖｔ＋１が格納されていれば、１－εの確率で最大の平均報酬Ｖｔ＋１が得られるときのパケット長ｍを選択する（ステップＳ３５の“ＹＥＳ”，ステップＳ３６参照）。
【0207】
最大の平均報酬Ｖｔ＋１が得られるので、選択されたパケット長ｍでパケットの送信に成功していることになり、学習を継続することによって、観測期間Ｌにおける選択チャネルの状態“００”，“０１”，“１０”，“１１”のそれぞれに対してパケットの送信に成功するパケット長ｍが決定されることになる。従って、観測期間Ｌにおける選択チャネルの状態“００”，“０１”，“１０”，“１１”に応じてパケット長ｍを変えることによってパケットの送信に成功する確率を高くできる。
【0208】
そして、観測期間Ｌにおける選択チャネルの状態Ｓに対して、最大の平均報酬Ｖｔ＋１が得られるときのパケット長ｍを選択することは、観測期間Ｌにおける選択チャネルの状態Ｓに適合したパケット長ｍを選択することに相当する。
【0209】
この場合、例えば、観測期間Ｌにおける選択チャネルの状態Ｓ（＝“００”）に対して、第１の長さのパケット長ｍ１が選択され、観測期間Ｌにおける選択チャネルの状態Ｓ（＝“０１”）に対して、第１の長さよりも長い第２のパケット長ｍ２が選択され、観測期間Ｌにおける選択チャネルの状態Ｓ（＝“１０”）に対して、第１の長さよりも短い第３のパケット長ｍ３が選択され、観測期間Ｌにおける選択チャネルの状態Ｓ（＝“１１”）に対して、第２の長さよりも長い第４のパケット長ｍ４が選択される（ｍ３＜ｍ１＜ｍ２＜ｍ４）。
【0210】
そして、最大の平均報酬Ｖｔ＋１が得られているので、パケット長ｍ１～ｍ４のいずれか１つのパケット長でパケットを送信した場合、パケットの送信に成功し、かつ、パケット長ｍに比例し、空き期間Ｎに反比例する即時報酬Ｒが得られ、その結果、平均報酬Ｖｔ＋１が大きくなる。
【0211】
この場合、パケットの送信完了後の空き期間Ｎが短くなれば、空き期間Ｎを観測する期間において他の端末装置による無線通信が行われていることを意味するので、端末装置１０は、他の端末装置と共存して無線通信を行うことができる。
【0212】
また、図１５および図１６に示すフローチャートに従って学習を繰り返すことによって、観測期間Ｌにおける選択チャネルの状態“００”，“０１”，“１０”，“１１”と、観測期間Ｌが経過した後のアイドル状態の長さとの間に、一定の傾向が存在することを見出すことができる。
【0213】
上記においては、観測期間Ｌは、２個のスロットＳＬであるとして、観測期間Ｌにおけるチャネルの状態Ｓを“００”，“０１”，“１０”，“１１”によって表したが、この発明の実施の形態においては、これに限らず、観測期間Ｌは、３個のスロットＳＬであるとして、観測期間Ｌにおけるチャネルの状態Ｓを“０００”，“００１”，“０１０”，“０１１”，“１００”，“１０１”，“１１０”，“１１１”によって表してもよく、観測期間Ｌは、４個のスロットＳＬ以上であるとして、観測期間Ｌにおけるチャネルの状態Ｓを４ビット以上で表してもよい。
【0214】
そして、観測期間Ｌが長い方が、観測期間Ｌにおけるチャネルの状態Ｓと空いているスロットＳＬとの相関関係が得られ易くなり、観測期間Ｌにおけるチャネルの状態Ｓに対して最適なパケット長ｍを選択し易くできる。
【0215】
また、上記においては、スロットＳＬ単位でパケットを送信すると説明したが、この発明の実施の形態においては、これに限らず、スロットＳＬ単位でパケットを送信しなくてもよい。
【0216】
図１７は、パケット長ｍの異なる決定方法を説明するための図である。図１７を参照して、制御手段３は、アプリケーション６から送信データを受ける。そして、例えば、観測期間Ｌの長さを２００μｓとし、上述した方法によって、１０μｓ毎にビジー状態であるかアイドル状態であるかを判定して観測期間Ｌにおける各チャネルの状態Ｓを２０ビットで表現する。また、選択可能なパケット長ｍとして、例えば、１０μｓ、２０μｓ、３０μｓ、・・・、１００μｓを設定しておく。そして、候補チャネルと、観測期間Ｌにおける各チャネルの状態Ｓと、選択可能なパケット長１～Ｍとを相互に対応付けて対応表ＴＢＬ１と同じ構成の対応表を作成する。
【0217】
観測期間Ｌにおける選択チャネルの状態Ｓに対して、１０μｓのパケット長を選択する場合、制御手段３は、送信データから１０μｓの長さを有する送信データＤ１を検出してパケットを生成する。また、制御手段３は、次のタイミングで２０μｓのパケット長を有するパケットを送信する場合、送信データＤ１に続く部分から２０μｓの長さを有する送信データＤ２を検出してパケットを生成する。更に、制御手段３は、次のタイミングで３０μｓのパケット長を有するパケットを送信する場合、送信データＤ２に続く部分から３０μｓの長さを有する送信データＤ３を検出してパケットを生成する。制御手段３は、以下、同様にして、選択されたパケット長ｍに適合する長さ有する送信データを検出してパケットを生成する。
【0218】
スロットＳＬ単位を用いない場合、即時報酬Ｒｔを算出するときの空き期間Ｎは、１０μｓ単位でビジー状態であるかアイドル状態であるかを判定して検出される。そして、空き期間Ｎが零（＝０）である場合にも即時報酬Ｒｔを算出できるようにするために、所定の時間長（例えば、１０μｓの時間長）を加算し、その加算結果の逆数にパケット長ｍを乗算した乗算結果を即時報酬として算出する。
【0219】
なお、端末装置１０の動作は、ソフトウェアによって実現されてもよい。この場合、端末装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備える。そして、ＲＯＭは、図１４に示すフローチャート（図１５および図１６に示すフローチャートを含む）の各ステップからなるプログラムＰｒｏｇ＿Ａを記憶する。
【0220】
ＣＰＵは、ＲＯＭからプログラムＰｒｏｇ＿Ａを読み出し、その読み出したプログラムＰｒｏｇ＿Ａを実行し、観測期間Lにおける選択チャネルの状態Ｓに適合するパケット長ｍを選択してパケットを送信する。ＲＡＭは、算出された即時報酬Ｒ等を一時的に記憶する。
【0221】
また、プログラムＰｒｏｇ＿Ａは、ＣＤ，ＤＶＤ等の記録媒体に記録されて流通してもよい。プログラムＰｒｏｇ＿Ａを記録した記録媒体がコンピュータに装着されると、コンピュータは、記録媒体からプログラムＰｒｏｇ＿Ａを読み出して実行し、観測期間Lにおける選択チャネルの状態Ｓに適合するパケット長ｍを選択してパケットを送信する。
【0222】
従って、プログラムＰｒｏｇ＿Ａを記録した記録媒体は、コンピュータ読み取り可能な記録媒体である。
【0223】
上述した実施の形態によれば、この発明の実施の形態による端末装置は、
第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する通信手段と、
通信手段によってパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する第１の検出手段と、
送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する第２の検出手段と、
第１の動作期間において検出された通信結果、空き期間、および観測期間における送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する学習器とを備え、
通信手段は、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信するものであればよい。
第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する通信手段と、
通信手段によってパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する第１の検出手段と、
送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する第２の検出手段と、
第１の動作期間において検出された通信結果、空き期間、および観測期間における送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する学習器とを備え、
通信手段は、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信するものであればよい。
【0224】
端末装置は、このような構成を備えていれば、観測期間における送信用チャネルの状態に適合したパケット長を選択し、観測期間が経過した後に、観測期間における送信用チャネルの状態に適合したパケット長でパケットを送信できるとともに、他の端末装置による無線通信も可能になり、他の端末装置と共存して無線通信を行うことができるからである。
【0225】
また、この発明の実施の形態によるプログラムは、
通信手段が、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する第１のステップと、
第１の検出手段が、第１のステップにおいてパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する第２のステップと、
第２の検出手段が、送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する第３のステップと、
学習器が、第１の動作期間において検出された通信結果、空き期間、および観測期間における前記送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する第４のステップとをコンピュータに実行させ、
通信手段は、第１のステップにおいて、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信するものであればよい。
通信手段が、第１の動作期間において、パケットを送信するチャネルである送信用チャネルを用いてパケットを送信する第１のステップと、
第１の検出手段が、第１のステップにおいてパケットが送信される毎に、第１の動作期間において、パケットが送信されたときの通信結果を検出するとともにパケットの送信後の無線通信の空き期間を検出する第２のステップと、
第２の検出手段が、送信用チャネルを受ける毎に、第１の動作期間において、他の端末装置による無線通信の有無を観測する期間である観測期間における送信用チャネルの状態を検出する第３のステップと、
学習器が、第１の動作期間において検出された通信結果、空き期間、および観測期間における前記送信用チャネルの状態と、パケットの送信に用いるチャネルの候補である候補チャネルとを受け付け、通信結果および空き期間に基づいて、第１の動作期間においてパケットが送信用チャネルで送信されたときに得られる報酬である即時報酬を算出する第１の処理と、観測期間における送信用チャネルの状態に対応する１つのパケット長を選択した回数によって１つの送信用チャネルにおける即時報酬の累積値を平均した報酬であり、かつ、第１の動作期間の後の動作期間である第２の動作期間における報酬である平均報酬を第１の処理において算出された即時報酬を用いて算出する第２の処理と、候補チャネルと観測期間における送信用チャネルの状態とパケットのパケット長と平均報酬とを対応付けた対応表を作成または更新し、その作成または更新した対応表に基づいて最大の平均報酬が得られるときのチャネルを所定の確率で送信用チャネルとして選択するとともに観測期間における送信用チャネルの状態に応じて最大の平均報酬が得られるときのパケット長を所定の確率で選択し、その選択した送信用チャネルおよびパケット長を出力する第３の処理とを観測期間における送信用チャネルの状態、通信結果および空き期間を受け付ける毎に実行する第４のステップとをコンピュータに実行させ、
通信手段は、第１のステップにおいて、更に、第３の処理において選択された送信用チャネルおよびパケット長を学習器から受ける毎に、第２の動作期間において、その受けた送信用チャネルが空いているとき、学習器から受けたパケット長を有するパケットを送信するものであればよい。
【0226】
プログラムが第１のステップから第４のステップをコンピュータに実行させると、観測期間における送信用チャネルの状態に適合したパケット長が選択され、観測期間が経過した後に、観測期間における送信用チャネルの状態に適合したパケット長でパケットを送信できるとともに、他の端末装置による無線通信も可能になり、他の端末装置と共存して無線通信を行うことができるからである。
【0227】
この発明の実施の形態においては、候補チャネルから選択された選択チャネルＣＨ＿Ｓｅｌｅｃｔは、「送信用チャネル」を構成する。
【0228】
また、この発明の実施の形態においては、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを検出するとともにＡＣＫパケットを受信する受信手段２と、受信電力スペクトルＰＷ＿ｃｈｎに基づいて空き期間Ｎを検出する制御手段３とは、「第１の検出手段」を構成する。
【0229】
更に、この発明の実施の形態においては、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌを検出する受信手段２と、受信電力スペクトルＰＷ＿ｃａｒｒｉｅｒ＿Ｌに基づいて観測期間Ｌにおける選択チャネルＣＨ＿Ｓｅｌｅｃｔの状態Ｓを検出する制御手段３とは、「第２の検出手段」を構成する。
【0230】
更に、この発明の実施の形態においては、パケットを送信手段５へ出力する制御手段３と、パケットを送信する送信手段５とは、「通信手段」を構成する。
【0231】
更に、この発明の実施の形態においては、スロットＳＬ単位でパケットが送信される場合において、即時報酬Ｒｔを算出するときに空き期間Ｎに加算される“１”は、１つのスロットＳＬを意味するので、式（２Ａ）の“Ｎ＋１”は、実質的に、Ｎ個のスロットＳＬの時間長に１つのスロットＳＬの時間長を加算することを意味する。また、スロットＳＬ単位でパケットが送信されない場合において、即時報酬Ｒｔを算出するとき、所定の時間長（例えば、１０μｓの時間長）が空き期間Ｎ（１０μｓのアイドル状態の総和からなる）に加算される。その結果、スロットＳＬ単位でパケットが送信される場合、およびスロットＳＬ単位でパケットが送信されない場合の両方において、即時報酬Ｒｔを算出するとき、所定の時間長が空き期間Ｎに加算されることになる。従って、スロットＳＬ単位でパケットが送信される場合において、即時報酬Ｒｔを算出するときに空き期間Ｎに加算される“１”、およびスロットＳＬ単位でパケットが送信されない場合において、即時報酬Ｒｔを算出するときに空き期間Ｎに加算される所定の時間長（例えば、１０μｓの時間長）は、空き期間Ｎに加算される「所定の期間」を構成する。
【0232】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【0233】
この発明は、端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体に適用される。
【符号の説明】
【0234】
１ アンテナ、２ 受信手段、３ 制御手段、４ 学習器、５ 送信手段、６ アプリケーション、１０ 端末装置、１００ 通信システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】