Boostの使い方を思い出すためのメモ Tokenizer

(English Version is Here)

久しぶりに、手持ちのMacにBoost C++ Librariesを導入したので、思い出しがてら使ってみた。

とりあえず、Tokenizerを使ってcsvファイルを処理してみる。入力ファイルとして、次のような内容の"tokendata.csv"というファイルを用意した。

1. 1,2,3,4,5,6,7,8,9,10
2. 1,,3,4,5,6,7,8,9,10
3. boost,tokenizer,boost tokenizer,"boost tokenizer"
4. ひらがな,カタカナ,漢字

このファイルを行単位で読み込み標準出力に表示し、続けてカンマで分割したものを表示していく。ソースは以下の通り。

1. #include <iostream>
2. #include <string>
3. #include <fstream>
5. #include <cstdlib>
7. #include <boost/tokenizer.hpp>
9. using namespace std;
10. using namespace boost;
12. int main(){
13.   typedef char_separator<char> c_separator;
14.   typedef tokenizer<c_separator> tokenizer;
16.   string line;
18.   c_separator csv_sep(",", "", keep_empty_tokens);
20.   ifstream incsv("./tokendata.csv");
21.   while ( getline(incsv, line) ){
22.     cout << line << endl; 
23.     cout << "-----TOKENS-----" << endl;
24.     tokenizer csv_tokens(line, csv_sep);
25.     for (tokenizer::iterator ct_iter = csv_tokens.begin();
26.            ct_iter != csv_tokens.end();
27.            ++ct_iter){
28.       cout << "\t" << * ct_iter << endl;
29.     }
30.     cout << "-----TOKENS-----" << endl << endl;
31.   }
32.   incsv.close();
34.   return EXIT_SUCCESS;
35. }

Tknzer.cppをダウンロード

7行目：Boost Tokenizerのヘッダをインクルードする。

10行目：boost名前空間を使用する

13,14行目：名前が長いのでtypedefする。13行目が区切り文字、14行目がtokenizer本体

18行目：区切り文字を設定する。第一引数が区切り文字、第二引数はトークンとして残す区切り文字、第三引数は空トークンの扱い。第三引数のデフォルトは"drop_empty_token"となっていて、空の場合は捨てられる。今回は"keep_empty_token"を指定して、空トークンも空として認識するようにする。つまり、カンマが連続した場合は空の値として扱う。

24行目：tokenizerを定義して行をトークン分割する。

25〜29行目：イテレータを使って分割したトークンを表示する。

実行結果は

1. MacBook:work inchoki$ ./tknzer
2.  1,2,3,4,5,6,7,8,9,10
3. -----TOKENS-----
4.  1
5.  2
6.  3
7.  4
8.  5
9.  6
10.  7
11.  8
12.  9
13.  10
14. -----TOKENS-----
15. 1,,3,4,5,6,7,8,9,10
16. -----TOKENS-----
17.  1
19.  3
20.  4
21.  5
22.  6
23.  7
24.  8
25.  9
26.  10
27. -----TOKENS-----
28. boost,tokenizer,boost tokenizer,"boost tokenizer"
29. -----TOKENS-----
30.  boost
31.  tokenizer
32.  boost tokenizer
33.  "boost tokenizer"
34. -----TOKENS-----
35. ひらがな,カタカナ,漢字
36. -----TOKENS-----
37.  ひらがな
38.  カタカナ
39.  漢字
40. -----TOKENS-----

いい感じでできているみたいだ。