Atur cara mengikut ctokenizer.sf.net

CTokenizer menerima C ++ syntax sebagai input dan output vektor objek CToken, yang mengandungi rentetan token dan jenis token a(n enumerated), yang kemudiannya boleh digunakan untuk menghuraikan input.