strtok函数简析

「爱情、让人受尽委屈。」 2022-09-27 03:57 283阅读 0赞

//官方的strtok函数，用来通过分隔字符（不支持字符串，传入的串中每个字符单独当分隔符，如下例子组合的如123会处理1而23会被跳过），返回分隔的串的首地址  
//比如调用strtok("abc123def","123456");  
//返回值是指向abc的指针  
//下次要获得"def"，需要调用strtok(NULL,"123456");函数用了一个类似全局变量的宏\_TOKEN（想看实现的可以去查源码）来存储上次解析到的位置  
  
/\*  
这里的方法比较巧，用一个32的byte数组当做索引表，其中的每一位表示ascii字符表中的255个字符是否存在，  
用的是位移的方法，关键就是这句，map\[\*ctrl >> 3\] |= (1 << (\*ctrl & 7));  
\*ctrl >> 3：用字符的前5位来当索引，将255个字符分为32组  
1 << (\*ctrl & 7)：用后三位的值来当每一组的索引，表明自己是哪一位，比如:后三位是010=2，说明是第二位  
|=：最后来个或操作，将那一位置为1  
\*/  
/\*  
要判断字符是不是存在在索引中也就简单了，  
map\[\*str >> 3\] & (1 << (\*str & 7))  
值为1说明这个字符是存在的  
\*/

unsigned char map\[32\]; /\* Clear control map \*/ for(count = 0; count < 32; count++) map\[count\] = 0; /\* Set bits in delimiter table \*/ do\{ map\[\*ctrl >> 3\] |= (1<< (\*ctrl & 7)); \} while(\*ctrl++); /\* Initialize str \*/ /\* If string is NULL, set str to the saved \* pointer (i.e., continue breaking tokens out of the string \* from the last strtok call) \*/ if(string) str = string; else str = \_TOKEN; /\* Find beginning of token (skip over leading delimiters). Note that \* there is no token iff this loop sets str to point to the terminal \* null (\*str == '/0') \*/ while( (map\[\*str >> 3\] & (1<< (\*str & 7))) && \*str ) str++; string = str; /\* Find the end of the token. If it is not the end of the string, \* put a null there. \*/ for( ; \*str ; str++ ) if( map\[\*str >> 3\] & (1<< (\*str & 7)) ) \{ \*str++ = '/0'; break; \} /\* Update nextoken (or the corresponding field in the per-thread data \* structure \*/ \_TOKEN = str; /\* Determine if a token has been found. \*/ if( string == str ) return NULL; else return string;