仕組み
タイプ・トークン比(TTR)は語彙多様性の最もシンプルな指標:ユニーク語数 / 総語数。
TTRはテキストが長くなると下がるため、本ツールは長さ不変なMATTR(50語のスライディングウィンドウ)も計算します。
「ハパックス・レゴメナ」——本文中に正確に1回だけ現れる語のリストも取得できます。
タイプ・トークン比とMATTR(移動平均)で語彙の繰り返し度を確認。
語彙の幅を評価したいときに使用——語学習得評価、児童言語研究、文体分析で一般的。長さの異なる文書を比較するなら、生TTRよりMATTRが望ましい。
TTRとMATTRは補完的。TTRは直感的だが長さに敏感、MATTRは長さ不変だが説明が難しい。正式な研究にはMATTRや類縁指標(MTLD、HD-D)を優先しましょう。
タイプ・トークン比(TTR)は語彙多様性の最もシンプルな指標:ユニーク語数 / 総語数。
TTRはテキストが長くなると下がるため、本ツールは長さ不変なMATTR(50語のスライディングウィンドウ)も計算します。
「ハパックス・レゴメナ」——本文中に正確に1回だけ現れる語のリストも取得できます。
ユニーク語数を総語数で割った比。テキストが長くなると下がるため、長さに敏感です。
Moving Average Type-Token Ratio。スライディングウィンドウ(本ツールは50語)でTTRを計算し、長さの異なる文書間でも比較できるようにします。
Common words like 'the' and 'and' repeat constantly, so the ratio of unique words to total words falls steadily as the text grows. This length sensitivity is the main reason MATTR is preferred for comparing texts of different sizes.
There is no universal threshold because TTR depends heavily on text length, but within similar-length samples a higher ratio signals richer vocabulary. For fair comparisons use MATTR, which holds the window size constant.
入力
The dog ran. The dog jumped. The dog barked. The dog slept.
出力
TTR: 0.45(ユニーク5 / 総数11)— 多様性低。
"The"と"dog"が繰り返し、"ran"、"jumped"、"barked"、"slept"だけが新タイプを追加。低TTRは初心者の文章や限定語彙テキストの典型。