プロジェクト名

確率的データ処理

メンバー

木村、日下部

目的

統計量に対する保守的な推定法の提案，保守的な推定法を応用したアプリケーションの開発

キーワード

保守的な推定法，観測頻度，条件付き確率，尤度比

概要

事象の観測頻度を用いた統計量推定はコンピュータ上で簡単に実現でき，大規模データを扱うようになった最近でもよく行われる（例：テキスト中の単語の出現回数からその単語の出現確率を推定する）．このような推定法のほとんどは，偏りのない推定量である不偏推定量を使用している．しかし不偏推定量による推定法は，低頻度から推定を行う場合，推定値が不安定になり，推定値を過大に見積もってしまうことがある．そのため，しきい値以上の頻度のみから統計量を推定する工夫がよく行われるが，この方法ではしきい値未満の低頻度事象を扱えない．
　我々は頻度の低さに応じて推定値をあえて低めに偏らせる“保守的な推定法”というアプローチを考案した．そしてこれまでに条件付き確率，尤度比という二つの統計量に対して，保守的な推定法を提案している．さらに，相関ルールマイニング，固有表現抽出，バンディット問題といった種々の実用タスクへと保守的な推定法を応用し，その有効性を確認した．保守的な推定法によって，高頻度の事象を優先して扱いつつ，低頻度だが重要な事象も無視せず統計的に扱うことが可能になる．今後の展望として，他の統計量に対する保守的な推定法の実現，保守的な推定法を核としたアプリケーションの開発などが挙げられる．