Atur cara mengikut ewbtokenfactory.sf.net

EWBTokenFactory untuk PHP adalah tokenizer inklusif ruang putih. Kebanyakan tokenizer akan merebut setiap perkataan sebagai token dan menjatuhkan ruang putih. Tokenizer ini juga akan mengoyakkan ruang di antara token mereka s