本文目录一览：
怎么理解token,tokenize,tokenizer.
经过分词(Tokenizer)后得到的结果称为词元(Token)。
典型的(typical)实现首先创建一个Tokenizer，它将那些从Reader对象中读取字符流(stream of characters)打碎为(break into)原始的Tokens(raw Tokens)。然后一个或更多的TokenFilters可以应用在这个Tokenizer的输出上。
一种解释 token：令牌tokenize：令牌化tokenizer：令牌解析器 另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。-tokenize
在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。-tokenize
MFC中几种常用的字符串分割方法
1、定义和用法 split() 方法用于把一个字符串分割成字符串数组。 语法 stringObject.split(separator，howmany) 参数与描述 separator：必需。字符串或正则表达式，从该参数指定的地方分割 stringObject。 howmany：可选。-tokenize
2、使用CString Mid( int nFirst， int nCount ) const；参数：nFirst 此CString对象中的要被提取的子串的第一个字符的从零开始的索引。nCount 要从此CString对象中提取的字符数。-tokenize
3、在编写程序中，经常要用到分割的方法来处理一些字符串。
4、c语言中没有 string class， 假定你指 char 字符串。用 sscanf 方法可以分割。
maya如何创建定位器
1、首先选择物体，4个菜单任点其中一个，你就会发现这个物体的中心点处显示了一个坐标点，然后你就可以直接创建一个locator，用点吸附过去了。当然，要关掉物体的坐标点显示只要点回原来的命令。
2、ncloth有专门的几种约束nconstraint，步骤是先建立ncloth，然后进入点级别选中要约束的点，再使用约束，比如变换的约束，就会建立一个定位器，你再把这个定位约束到路径动画中去就可以了。-tokenize
3、二，创建一个丰富多彩的MAYA界面。MAYA的默认界面是单调的灰色。如果你是一个热爱生活，有情调的白银，那就来欣赏一下配色吧。方法是选择窗口设置/首选项颜色设置。
4、如果是玛雅2017的话，进入到动画面板之后，在菜单栏选择可视化，在下拉菜单中选择创建可编辑运动轨迹就可以了。
5、”选项，在create菜单下，选择nurbs primitives把Interactive creation勾选，同样的把plygon primitives下的ineractive creation 也勾起，就可以进行交互式创建，因为我用的是12版本的，16版本的没用过，看看这个命令还在不在。-tokenize
6、Snapto projected center，吸附到投影中心。这个是maya2014新增加的功能，主要就是让骨架或定位器在设定时能够自动与几何体中心靠齐，这个功能在介绍骨架的时候会用到。
