プログラミング実習 II 応用課題
XA:言語処理とログ解析


言語処理

英語の慣用的な用法を知るには,大量の英文中に現れる単語について,その前後に使われる単語を知ることが有用である.そのためには,与えられた英文を単語単位に分割し,次いで以下のような処理がその基礎となる.

(1)各単語について,前後の単語を求め,3連の単語の組を作る.この3単語の組を3連語と呼ぼう.
(2)3連語を,中央の単語によって辞書順に並べ換え,表の形で出力する.

この表を見れば,ある単語の前後に使われる単語の傾向を知ることができる.

このような問題について,以上の説明をもとに,以下の(課題 A_1)〜(課題 A_2)を解け.なお,(課題 A_1), (課題 A_2)とも,入力に用いる英文テキストファイルは,XA_1.txt を利用すること.

(課題 A_1) 与えられた英文テキストファイルを読み込み,その英文に含まれている単語数を数えるプログラムを作成せよ.

(課題 A_2) 与えられた英文テキストファイルを読み込み,その英文に含まれている3連語を辞書順に並べ換えて出力するプログラムを作成せよ.ただし,並べ換えに当たっては,単語の頭3文字を考慮し,第4文字以降は順序決定に無関係としてよい.