admin 管理员组文章数量: 888299
field data
#(主要是聚合使用，索引会从这里面获取term数据)
聚合通常通过一个叫fielddata的结构进行工作，fielddata经常会吃集群大量的内存，所以理解它咋工作的是非常重要的。
fileddata能飞快的加载到内存中，or built at index time and stored on disk。后面我们会谈论到在硬盘上的fileddata-doc values,现在我们要谈的是内存中的fielddata，这个是es的默认设置，也许将来会改变。
倒排索引的存在仅仅是对于核心的操作是非常高效的，倒排索引主要用于发现一个term是所在的那些文档，而对于一个文档中哪些term存在表现并不是非常好，agg却需要第二种场景。
看看下面这种场景
Term Doc_1 Doc_2 Doc_3
------------------------------------
brown | X | X |
dog | X | | X
dogs | | X | X
fox | X | | X
foxes | | X |
in | | X |
jumped | X | | X
lazy | X | X |
leap | | X |
over | X | X | X
quick | X | X | X
summer | | X |
the | X | | X
—————————————————
如果你想查询提到brown这个单词的所有文档，我们可以这样建立查询语句
GET /my_index/_search
{
"query" : {
"match" : {
"body" : "brown"
}
},
"aggs" : {
"popular_terms": {
"terms" : {
"field" : "body"
}
}
}
}
这个查询是简单并且高效的，倒排索引通过term进行排序，首先我们发现brown在terms列表中，然后遍历所有列看看哪个doc包含brown，我们可以非常轻松的发现doc_1 和doc_2有
对于agg部分，我们需要发现doc_1和doc_2中所有的独立term（用term去doc搜）,使用倒排索引去做这件事情是非常昂贵的，我们必须在doc_1和doc_2中迭代所有独立的term,这将是非常慢的，而且随着文档和term的增加会越来越慢。
fielddata通过颠倒关系解决这个问题，我们得到一个index maps terms,就是文档包含term，如下
Doc Terms
-----------------------------------------------------------------
Doc_1 | brown, dog, fox, jumped, lazy, over, quick, the
Doc_2 | brown, dogs, foxes, in, lazy, leap, over, quick, summer
Doc_3 | dog, dogs, fox, jumped, over, quick, the
————————————————————————————————
一旦数据成为这样，系统将会去doc收集独立的token（用doc得到term），然后set即可。
fielddata的缓存数据是针对每个segment的，换句话说，当一个新的segment可用于搜索的时候，老的segment中的fielddata仍然是可用的，仅仅是新的fileddata需要再加载到内存中罢了。
当然，搜索和聚合是密不可分的，搜索通过倒排索引查询数据，聚合收集数据通过fileddata，但fielddata是由倒排数据生成的。
这个章节的剩下部分，会包含减少fileddata的内存占用还有增加执行速度。
fileddata不仅仅用在聚合，对于任何一种需要查看一个文档中包含的值的方法中都会用到，还有sorting,那些使用到field values的脚本，父子关系，还有查询filter等，例如 geo_distance filter。
本文标签： field data
版权声明：本文标题：field data 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1693586630h230808.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论