Lucene4.3进阶开发之千象奔鸣(十二)

迷南。 2022-04-21 14:36 106阅读 0赞

\[b\]\[color=red\]\[size=x-large\]转载请务必注明，原创地址，谢谢配合!  
\[url\]http://qindongliang1922.iteye.com/\[/url\]  
\[/size\]\[/color\]\[/b\]  
\[b\]\[size=large\]DocValues 对于一些存储的值，通常我们可以取得内容，通过docid，有时候为了实现更快的访问，我们可以将其存储的值通过DocValues来把它加载到主存中，存储的值用于在检索时搜索结果汇总，而docvalues的值则对于一些评分因素是非常有用的。\[/size\]\[/b\]  
  
\[b\]\[color=olive\]\[size=large\]DocValues的文件格式.dv.cfs和.dv.cfe。  
信息存在一个复合文件中  
  
<segment>\_<fieldNumber>.dat: 存储数据的值  
<segment>\_<fieldNumber>.idx: 为dat文件建立的索引  
  
  
DocValues有许多种不同的编码方式，从文件名的角度来说，所有的类型存储他们的值在一个复合格式的dat文件里，在dereferenced/sorted类型的情况下，.dat实际上只包含一个唯一的值，还有一个额外的idx索引文件来存储引用这些值的指针  
  
Fixed（固定长度）  
Var （变长）  
  
DocValues存储的格式如下:  
VAR\_INTS .dat --> Header, PackedType, MinValue, DefaultValue, PackedStream  
FIXED\_INTS\_8 .dat --> Header, ValueSize, Bytemaxdoc  
FIXED\_INTS\_16 .dat --> Header, ValueSize, Shortmaxdoc  
FIXED\_INTS\_32 .dat --> Header, ValueSize, Int32maxdoc  
FIXED\_INTS\_64 .dat --> Header, ValueSize, Int64maxdoc  
FLOAT\_32 .dat --> Header, ValueSize, Float32maxdoc  
FLOAT\_64 .dat --> Header, ValueSize, Float64maxdoc  
BYTES\_FIXED\_STRAIGHT .dat --> Header, ValueSize, (Byte \* ValueSize)maxdoc  
BYTES\_VAR\_STRAIGHT .idx --> Header, TotalBytes, Addresses  
BYTES\_VAR\_STRAIGHT .dat --> Header, (Byte \* variable ValueSize)maxdoc  
BYTES\_FIXED\_DEREF .idx --> Header, NumValues, Addresses  
BYTES\_FIXED\_DEREF .dat --> Header, ValueSize, (Byte \* ValueSize)NumValues  
BYTES\_VAR\_DEREF .idx --> Header, TotalVarBytes, Addresses  
BYTES\_VAR\_DEREF .dat --> Header, (LengthPrefix + Byte \* variable ValueSize)NumValues  
BYTES\_FIXED\_SORTED .idx --> Header, NumValues, Ordinals  
BYTES\_FIXED\_SORTED .dat --> Header, ValueSize, (Byte \* ValueSize)NumValues  
BYTES\_VAR\_SORTED .idx --> Header, TotalVarBytes, Addresses, Ordinals  
BYTES\_VAR\_SORTED .dat --> Header, (Byte \* variable ValueSize)NumValues  
  
数据类型：  
  
Header --> CodecHeader  
PackedType --> Byte  
MaxAddress, MinValue, DefaultValue --> Int64  
PackedStream, Addresses, Ordinals --> PackedInts  
ValueSize, NumValues --> Int32  
Float32 --> 32-bit float encoded with Float.floatToRawIntBits(float) then written as Int32  
Float64 --> 64-bit float encoded with Double.doubleToRawLongBits(double) then written as Int64  
TotalBytes --> VLong  
TotalVarBytes --> Int64  
LengthPrefix --> Length of the data value as VInt (maximum of 2 bytes)  
  
  
（1）PackedType 是0的时候，代表着是被压缩过的，当写入的流是一个64位的int时，这个值为1  
（2）地址存储指针的实际字节位置和docid有关，在VAR\_STRAIGHT的情况下，每个值可以有不同的长度，所以确定长度来自docid+1。  
（3）在索引的时候，term id默认是有序的，在FIXED\_SORTED的情况下，地址被存储在dat文件里，可以通过Header+ValueSize+(ordinal\*ValueSize)计算；在VAR\_SORTED的情况下，可以间接的通过docid -> ordinal -> address计算，所以决定长度的是ord+1的地址。  
（4）BYTES\_VAR\_STRAIGHT BYTES\_VAR\_STRAIGHT相比其他的直接格式，通过idx文件，来提升性能。  
  
  
限制：  
二进制的doc values的值被限制在MAX\_BINARY\_FIELD\_LENGTH。  
\[/size\]\[/color\]\[/b\]  
  
  
\[b\]\[color=green\]\[size=large\].del文件用来标记在索引中被删除的记录，它仅仅出现在当一个段出现删除操作时，该文件才会生成，这个文件也维护外部的复合段文件  
  
Deletions (.del) --> Format,Header,ByteCount,BitCount, Bits | DGaps (depending on Format)  
  
Format,ByteSize,BitCount --> Uint32  
Bits --> <Byte> ByteCount  
DGaps --> <DGap,NonOnesByte> NonzeroBytesCount  
DGap --> VInt  
NonOnesByte --> Byte  
Header --> CodecHeader  
Format is 1: indicates cleared DGaps.  
  
ByteCount indicates the number of bytes in Bits. It is typically (SegSize/8)+1.  
  
BitCount indicates the number of bits that are currently set in Bits.  
  
Bits contains one bit for each document indexed. When the bit corresponding to a document number is cleared, that document is marked as deleted. Bit ordering is from least to most significant. Thus, if Bits contains two bytes, 0x00 and 0x02, then document 9 is marked as alive (not deleted).  
  
DGaps represents sparse bit-vectors more efficiently than Bits. It is made of DGaps on indexes of nonOnes bytes in Bits, and the nonOnes bytes themselves. The number of nonOnes bytes in Bits (NonOnesBytesCount) is not stored.  
  
For example, if there are 8000 bits and only bits 10,12,32 are cleared, DGaps would be used:  
  
(VInt) 1 , (byte) 20 , (VInt) 3 , (Byte) 1  
\[/size\]\[/color\]\[/b\]  
  
\[b\]\[color=red\]\[size=x-large\]转载请务必注明，原创地址，谢谢配合!  
\[url\]http://qindongliang1922.iteye.com/\[/url\]  
\[/size\]\[/color\]\[/b\]