Penn Treebank とは？
Penn Treebankは、自然言語処理の分野において広く使用されるコーパス（言語データベース）の1つです。1989年から1996年にかけて、ペンシルバニア大学の計算言語学センターによって作成されました。
Penn Treebankは、主に英語の新聞記事から構成されており、約4.5百万の単語が含まれています。
このコーパスには、単語の品詞タグ付け、句構造解析、共参照解析などの注釈が付けられています。
これらの注釈は、自然言語処理のタスクにおいて重要な前処理ステップとして使用されます。
Penn Treebankは、自然言語処理の分野でよく知られたデータセットであり、多くの研究者によって使用されています。これは、自然言語処理の研究や開発の進歩にとって非常に重要なリソースです。
NLTKで使用される品詞タグの略語は
NLTKで使用される品詞タグの略語は、Penn Treebank のタグセットが広く使われています。
以下に、Penn Treebank タグセットに含まれる主要な品詞タグの略語とその説明を示します。
| 略語 | 説明 |
|---|---|
| CC | 接続詞 (coordinating conjunction) |
| CD | 基数 (cardinal number) |
| DT | 限定詞 (determiner) |
| EX | 存在の疑問詞 (existential there) |
| FW | 外来語 (foreign word) |
| IN | 前置詞 (preposition) / 従属接続詞 (subordinating conjunction) |
| JJ | 形容詞 (adjective) |
| JJR | 比較級の形容詞 (adjective, comparative) |
| JJS | 最上級の形容詞 (adjective, superlative) |
| LS | リスト項目マーカー (list item marker) |
| MD | 情態動詞 (modal) |
| NN | 名詞 (noun, singular or mass) |
| NNS | 名詞 (noun, plural) |
| NNP | 固有名詞 (proper noun, singular) |
| NNPS | 固有名詞 (proper noun, plural) |
| PDT | 前置限定詞 (predeterminer) |
| POS | 所有格マーカー (possessive ending) |
| PRP | 人称代名詞 (personal pronoun) |
| PRP$ | 所有格代名詞 (possessive pronoun) |
| RB | 副詞 (adverb) |
| RBR | 比較級の副詞 (adverb, comparative) |
| RBS | 最上級の副詞 (adverb, superlative) |
| RP | 粒子 (particle) |
| SYM | 記号 (symbol) |
| TO | to |
| UH | 間投詞 (interjection) |
| VB | 動詞 (verb, base form) |
| VBD | 過去形の動詞 (verb, past tense) |
| VBG | 現在分詞の動詞 (verb, gerund or present participle) |
| VBN | 過去分詞の動詞 (verb, past participle) |
| VBP | 現在形の動詞 (verb, non-3rd person singular present) |
| VBZ | 現在形の動詞 (verb, 3rd person singular present) |
| WDT | Wh-限定詞 (wh-determiner) |
| WP | Wh-代名詞 (wh-pronoun) |
| WP$ | Wh-所有格代名詞 (possessive wh-pronoun) |
| WRB | Wh-副詞 (wh-adverb) |
これ以外にも多くの品詞タグが存在しますが、省略します。
