国精品**一区二区三区在线蜜桃,成人成人成人在线视频,国产三级视频在线看

Searching

SIMONE — Mon, 09 Jul 2012 02:29:00 GMT

http://beijingit.blog.163.com/blog/static/29639092201212145312231/

Solr's XML response format
status�Q�始�l��ؓ0。除非查询发生错误，��返回错误码
QTime: 查询耗时。由于有内部�~�存�Q�所以两个相同的查询的QTime是相同的�Q�但是查询速度更快
numFound: ��d��查询到的�l�果�?br />start:查询�q�回�l�果集的起始�?br />maxScore:查询�l�果中所有数据的最高得分，如果查询��h��的fl��h��参数没有指定score,那么�q�回�l�果中doc中是不会有得分字�D늚�
�q�回的结果中的每一个doc对应的就是一条查询出来的数据�Q�一一对应于烦引中的document�Q�数据类型��用solr中的基本数据�c�d��呈现�Q�如果是多值字�D�，则以排序的多个字�D�呈玎ͼ�每个字段同样是简单类型�?br />result节点之后可能会有facet highlight�{?br />
Parsing the URL
url中的文本必须是utf-8�~�码�Q?br />
Request handlers
在solrconfig.xml中配�|�，允许配置两�g事情1.配置默认的参数和一些不会改变的帔R��?。注册solr查询�l��g�Q�例如faceting highlighting�{?br />��在实际应用中针对每一�U�类型的查询配置单独的request handler�Q�这样做的好处是可以通过配置修改参数�Q��ƈ且对于查询统计提供更好的�_�度
qt="handler name";

none
20

a_type:group

false

1。defaults: 默认参数讄��Q�请求时参数会覆盖此�?br />2。appends:可以讄��多次的参数。像fq,除了��h��参数中指定的同时此��g��会被讄��?br />3.invariants:此值是帔R��|��q�且不会被覆盖（此值用于安全目�?.
4.first-components, components, last-components:注册当前handler可能会用到的handler。默认情况下已经注册了一些组�Ӟ��例如faceting highlighting�{�。设�|�first-components和last-components会分别前�|�或�q�加到这个列表中�Q�设�|?components会完全覆盖默认的列表讄��?br />
Query parameters
对于boolean�c�d��的参敎ͼ�真值可以是true,on,yes�Q�假值可以�ؓfalse,off,no.

Search criteria related parameters

q: query的简写，指查询字�W�串�Q�查询语法��用defType的设�?/div>

defType�Q�默认是lucene,大多数情况下��会使用dismax 或edismax

dismax和edismax支持许多增强的功能，更少的语法限制可以防止用户得��C��希望的结果或者是不小心��用lucene语法时提�C�出错�?/div>

fq�Q�用��h��询时�q��o条�g的范��_��c�M��于sql中的where�Q�此参数不会影响得分(scoring),此参数可以重复�?/div>

qt�Q�查询类型。就是前�Ҏ��到的request handler,一�U�方法就是用/aaa来命名，然后��可以在url中用aaa?....来访�?/div>

Result pagination related parameters

start�Q�默认是0�Q�返回结果集中的起始位置�Q�如果此值大于结果集的��L��Q�那么将不会�q�回��M��document�Q�但是solr也不认�ؓ�q�是一个错�?/div>

rows�Q�默认是10�Q?/div>

Output related parameters

fl�Q�返回的字段列表�Q�值用�Q? 或空格分��|��使用*�W�号�q�回所有字�D�但是不包括score�Q�要惌��回此字段必须��d��

sort�Q�排序字�D�，例如r_name asc,score desc�Q�默认是score desc,也可以用function�q�行排序

wt�Q�返回的格式�Q�在solrconfig.xml中定义，目前支持的有xml�Q�默认的�Q�，json,phthon,php,phps,ruby,javabin,csv,xslt,velocity.

version�Q�不是很有用�?/div>

Diagnostic related parameters

用于开发调试，

indent�Q�boolean��|��用于使输出更�Ҏ��阅读�?/div>

debugQuery�Q?如果为true,那么接下来的查询�l�果会有的调试信息，其中包括转换的查询字�W�串�Q�score的计��，以及处理faceting所耗时 ��_��explainOther�Q�如果想知道��Z��么某个document没有被匹配，或者得分不高，那么可以讄��此值来�q�行查询�Q�例�?id:"Release:12345",�q�样debugQuery的输��定会包含�W�一个匹配此查询的结果�?/div>

echoHandler�Q�如果�ؓtrue�Q�将输出与solr request handler匚w��的java �c�d��?/div>

echoParams�Q?控制是否在response header中包含查询参敎ͼ�可以用来调试url�~�码�q�的查询字符�Ԍ��none��用�Q�默认的request handler讄��此属性�ؓexplicit,可以使用all来包含所有request handler中的配置参数�Q�除了url中的�?/div>

timeAllowed�Q�用来指定查询的最长时��_��以毫�U��ؓ单位�?/div>

Query parsers and local-params

solr中默认的query parser是lucene,

Query syntax (the lucene query parser)

solr完整的查询语法是实现的lucene query parser.

lucene不支持查询所有文档，solr使用*:*可以查询所有文�?/div>

mandatory(强制性）prohibited(��止�Q�和优化

mandatory�Q?/strong>+aaa:只匹配包含aaa�?nbsp;

prohibited�Q?/strong> -aaa�Q�匹配所有的,但是除了包含aaa�?/span>

optional: aaa 可选的

如果查询语句臛_��有一个mandatory�Q�那么optional��是可选的�Q�但是他有一个很有用的功能就是文��得分，会匹配更多的�Q�也��是说文档中可以包含optional也可以没有）

如果查询语句没有mandatory,那么臛_��要匹配一个optional�Q�也��是说文档中必须要包含optional�Q��?/div>
optional也可以指定一个确定的数或癑ֈ�比来�q�行匚w��或不匚w��Q�这��L��话就必须用dismax的min-should-match功能�?/div>
solr4��不再��用这�U�方�?/div>
Boolean operators
AND OR NOT
如果没有明确标记为prohibited�Q�那么AND or && 两边的操作会被认为是mandatory�Q�例如aaa AND bbb �{�同�?aaa +bbb
同样的，OR操作会被认�ؓ是optional�?NOT�{�同于prohibited
Sub-queries
(aaa AND bbb) OR (cccc || ddd )
Limitations of prohibited clauses is sub-queries
lucene 不支持纯�_�的否定查询�Q�例�?Smashing -Pumpkins。solr对lucene�q�行增强来支持这�U�查询，但是仅仅只能在顶层查询，看下面这个例�?Smashing (-Pumpkins),�q�个查询是在问：那个document包含Smashing或者不包含pumpkins吗？无论怎样�Q�这样写都不会有正确�l�果的。正��的写法应该是让子表辑ּ�只包含否定语句，�q�且��d��查询所有的查询“*:*"��像�q�样Smashing (-Pumpkins *:*)�Q�这个限制只能应用在edismax查询中�?/div>
Field qualifier
member_name:aaa
+member_name:aaa +member_name:bbb 也可以用��写�Ş�?member_name:(+aaa +bbb),圆括号代表的是子查询�Q�这个查询的目标字段都是同一个�?/div>
Wildcard queries
要注意的几点
1. 不要对包含通配�W�的查询字符串应用文本分析，甚至是小写，假如你想查找Sma开头的单词�Q��ƈ且烦引中的字�D늱�型包含小写，那么��应该��用sma*而不能用 Sma*。这是SOLR-219中的一个缺炏V��此外，假如你要使用的字�D�|��应用了文本分析的�Q�那么smashing*是不会匹配到Smashing的，�?为文本分析会把Smash转换为smash�Q�因此，不要应用文本分析�?/div>
2.通配�W�查询是很慢的，使用ReversedWildcardFilterFactory可以提高很多�Q�最坏的情况是在单词两端应用*受��?/div>
3.起始通配�W�应�?��L��话结果会�q�回错误�Q�除非��?span style="line-height: 22px;">ReversedWildcardFilterFactory�?/span>
例子�Q�sma* ,sma*ing, sma??*(臛_��后边跟两个或者更�?
每一个匹配项都会得到相同的score�Q�不��他使用那种查询模式。lucene以牺牲性能来支持多�U�score�Q�不�q�得�q�行一些设�|�让solr来完�?/div>
有一个问题只是一�?号会怎么样呢�Q�结果取决于schema文�g中是否有��M��一个字�D늱�型，即��索引链中没有应用一个ReversedWildcardFilterFactory,*号都会应用所有field�Q�如果不是这��P��那么会得��C��?#8221;不支持前导通配�W?#8220;的错误�?/div>
Fuzzy queries
例子: Smashing~
波浪��L��于模�p�查询，可以通过修改�怼�度（0-1�Q�默�?.5�Q�来�q�行查询如：Smashing~0.7
��像使用通配�W�查询一��P��如果要��用模�p�查询就应该��查询字�W�串转�ؓ��写�?/div>
Range queries
例如�Q�a_type:2 AND a_begin_date:[1990-01-01T00:00:00.000Z TO 1999-02-02T22:59:59.999Z]
"[]"包含两端的��|��”{}“不包含两端的��|��solr3中，要么都包含，要么都不包含。solr4两个都允许�?/div>
也可以��用a_duration:[3000 TO *] 此处"*"��L��方式lucene是不支持�?/div>
范围查询也可用于文本字段�Q�不常用�Q�，此时所应用的烦引字�D�只能有一个term 例如:somefield:([B TO C] -C)
Date math
solr 扩展了lucene原始的查询�{换器�Q��date应用范围查询时再加方便，��像数字计算一栗��另外还可以通过”NOW“(�_��到毫�U��)来获取当前时��_�� 其语法还提供了补充，如减法，四舍五入�Ҏ��不同的粒度，如年�Q�秒�{�。操作可以链接到一��P��q�且从左向右执行�Q�不允许有空根{��例
r_event_date:[* TO NOW-2YEAR]
因�ؓNOW是精��到毫秒�U�的�Q�所以如果只是想到天的话可以�?#8221;/"向下舍入�Q�此�W�号只会向下舍入�Q?/div>
r_event_date:[* To NOW/DAY-2YEAR]
可选的单位有YEAR,MONTH,DAY,DATE(与DAY相同)�Q�HOUR,MINUTE,SECOND,MILISECOND,MILIT(与MILISECOND相同)
DateMath 不只是用于查询，同样用于索引�Q�用于烦引时应该使用正确的精度，否则�_��到毫�U��的话不仅占用更多的磁盘空��_��而且也会降低查询速度�Q�常用的索引日期字段是这��L��
Score boosting
通过��d��乘数可以修改查询字符串中的条文�A献给最�l�得分的�E�度�Q�这叫做增强�Q?�?之间的值减��得分，大于1的值增加得分，
例：a_member_name:Billy^2 OR Smashing 或�?+Billy Bob Corgan^0.7

Existence (and non-existence) queries
如果要查询某个字�D�下的所有文��可以这样a_name:[* TO * ]
也可以查询某个字�D�下没有值的所有文档，-a_name:[* TO *]
Escaping special characters
+ - && || ! () {} [] ^ '' ~ * ? : \ 要想使用�q�些字符的原意可以用"\" 例id:artist\:aaa 通过双引号也可以实现同样效果id:"artist:aaa"
如果使用solrj与solr交互�Q�可以��用ClientUtils.escapeQueryChars()�q�行转义
The Dismax query parser
dismax 是lucene的DisjunctionMaxQuery之后的名�?�q�个query parser对于scoring 有直接关�p?
edismax中的e是extended的意思，�q�个parser是在solr3.1中增加的�Q�他由dismax的演化而来�?/div>
Searching multiple fields
a_name a_alias^0.7 a_member_name^0.4如果��x��据scoring排序�Q�可以将scoring讑֤�一点，�q�样��׃��排在最上边
�?于schema中定义的stop words的效果，如果qf指定的字�D�中其中一些字�D��用stop words而别一些没有��用，那么查询stop words��不会返回�Q何结果。edismax把查询字�W�串中的stop words认�ؓ都是可选的�Q�也��是可有可无�Q�，除非查询字符串中全部使用stop words�Q��用dismax 你可以确保查询字�D�中的查询分杉K��q��o出相同的stop words倹{�?/div>
Limited query syntax
edismax首先会把用户的查询��用lucene支持的所有语法进行�{换，�q�行两次调整�Q�如果�{换失败，它接下来会蟩到原始的dismax的语法规则�?/div>
or和and�q�有布尔�q�算可以用小写�Ş式，�q�且支持�U�否定子查询�?/div>
如果使用dismax�Q�对于terms,phrase它都会限制可以��用的语法,�q�且使用+�?�Q�而不是AND,OR,&&,||�Q�来�Ҏ��文应用强制应用和��止应用�?/div>
�q�有��是是否需要对相关查询的有效性进行�{义。�ؓ了不触发错误�Q�除非��用edismax否则��必��ȝ��码来处理某些�H�出的问题�?/div>
Min-should-match
lucene query parser有两�U�操作，一是默认操作是or,也就是说只要有一个条文匹配就可以�Q�另一个就是��用AND来��所有条文匹配。它不能使用+�?�q�行明确�?定。这是两�U�极端的情况。dismax有一个方法叫min-should-mathc,它用来指定多��条文必��d��配，或者有多少个是��止的。这个值可以设 �|��ؓ癑ֈ�比或��定的数倹{��在配置文�g中可以通过查询参数“mm"来设�|�。语法也比较��单�?/div>
Basic rules
mm参数的四个基本语法如下：
1�Q? 必须匚w��3个条文，其余的是可选的�?/div>
2�Q?2 2个条文是可选的�Q�其余的是必��ȝ��?/div>
3�Q?6% 66%的条文是必须的，其余的是可选的�?/div>
4�Q?25% 25%的条文是可选的�Q�其余的是必��ȝ��?/div>
�?意：-是对必须的除以可选的的逆向取��|��它在�q�儿的定义其实没有否定多��的意思。虽�?5%�?25%看�v来一��P��但是在rounding的时候就不一�?了，例如有五个查询条文，�W�一个条文需要三�ơ，�W�二个条文需要四�ơ，�q�也��p��明如果要�q�行rounding计算�Q�那么就需要反转标志再�?00减去此倹{�?/div>
另外两点�Q?.如果mm的值是一个确定的值n�Q�但是查询的条文数小于此��|��那么n会减��到查询�l�果中的条文��L��。例如mm��gؓ-5但是查询中的条文一共只�?个，所以结果就是所有条文都是可选的�?/div>
2.��C��一�?不管是lucene�q�是solr�Q�在所有查询中�Q�必��L��一个条文是匚w��的，即��所有条文都是可选的�Q?/div>
Multiple rules
�?以空格分隔的一个串�Q�例如number2<75% 9<-3 �q�个规则的意思是��_��如果条文��L��大于9�Q�那么其�?个是可选的�Q�其它的都是必须的。如果条文��L��大于2�Q�那�?5%是必��ȝ��。其它情况（也就是条文��L��只有1个或2个）那么所有条文都是必��ȝ��Q�这是默认）�?/div>
What to choose
Min-should-match的简单配�|�是使所有terms都是可选的。它的效果相当于默认的Lucene query parser 的OR操作�Q�默认是0%。反�q�来的另一�U�极端就是所有terms都是必须的，�q�个��q��当于AND操作�Q�就�?00%�?/span>
�?意：你可能想让所有terms都匹配，实事上这也是默认讄��。但是如果有一个term没有扑ֈ��Q�那么不会返回�Q何结果。当你设�|�一些terms是可选的�?候，匚w��的结果会以score排序�Q�包含最多terms的结果会排在�剙��。还有一�Ҏ��是在没有返回结果的时候进行二�ơ查询，但是solr是不支持的，�?�q�可以通过客户端很�Ҏ��的实现�?/span>

A default search
dismax 查询支持一个默认查询。也��是用户没有指定q的时候。参数是q.alt。例�?lt;str name="q.alt">*:*。这个参数通常讄��在solrconfig.xml文�g的request handler中来查询所有文档。在faceting中会使用到这个设�|�。如果不惌��回�Q何结果可以设�|��ؓ-*:*;

Filtering
filter查询不会影响scoring�Q�不像用��h��询。要��d��一个filter�Q�只要��用fq参数。��用filter可以改进执行效率�Q�因为每一个filter查询都会�~�存在solr的filter cache中�ƈ且执行速度相当快�?/span>
solr 3.4通过本地参数cache来控制是否启用缓�?/span>

Sorting
使用sort参数�Q�默认是score desc。例�Q�sort=a_type desc,score desc
�q�行排序字段的数值类型必��L��single valued,indexed,�q�且是not-tokenized�?/div>
另外solr�q�支持function query �Q�它通常用来计算�I�间地理位置的距��，或现在与字段值的旉��差等。例sort=sub(begin_time,end_time) desc

SIMONE 2012-07-09 10:29 发表评论

SIMONE — Wed, 04 Jul 2012 10:42:00 GMT
     摘要: http://www.cnblogs.com/phinecos/archive/2012/02/29/2372682.html    在上一��中介绍了连接Zookeeper集群的方法，�q�一��将围绕一个有��的话题---来展开�Q�这��是Replication�Q�烦引复�Ӟ��Q�关于Solr Replication的详�l�介�l�，可以参考http://wiki.apache.org...  阅读全文

SIMONE 2012-07-04 18:42 发表评论

Phinecos(�z�庭散�h) 专注于开源技术的研究与应�?深入剖析SolrCloud�Q�三�Q?

SIMONE — Wed, 04 Jul 2012 10:41:00 GMT

http://www.cnblogs.com/phinecos/archive/2012/02/16/2354834.html

�?/span>上一��?/span>中介�l�了SolrCloud的第一个模�?/span>---构徏��理solr集群状态信息的zookeeper集群。当我们�?/span>solr服务器启动时拥有了这样一�?/span>Zookeeper集群后，昄��我们需要连接到Zookeeper集群的方便手�D�，在这一��中我将�?/span>Zookeeper客户端相关的各个��装�c�进行分析�?/span>

SolrZkClient�c�L��Solr服务器用来与Zookeeper集群�q�行通信的接口类�Q�它包含的主要组件有�Q?/span>

  private ConnectionManager connManager;
  private volatile SolrZooKeeper keeper;
  private ZkCmdExecutor zkCmdExecutor = new ZkCmdExecutor();

    其中ConnectionManager�?/span>Watcher的实现类�Q�主要负责对客户端与Zookeeper集群之间�q�接的状态变化信息进行响应，关于Watcher的详�l�介�l�，可以参�?/span>http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html#ch_zkWatches�Q?/span>

SolrZooKeeper�c�L��一个包装类�Q�没有实际意义，ZkCmdExecutor�c�L��负责在连接失败的情况下，重试某种操作特定�ơ数�Q�具体的操作�?/span>ZkOperation�q�个抽象�cȝ��具体实现子类�Q�其execute�Ҏ��中包含了具体操作步骤�Q�这些操作包括新��Z��?/span>Znode节点�Q�读�?/span>Znode节点数据�Q�创�?/span>Znode路径�Q�删�?/span>Znode节点�{?/span>Zookeeper操作�?/span>

首先来看它的构造函敎ͼ�先创�?/span>ConnectionManager对象来响应两端之间的状态变化信息，然后ZkClientConnectionStrategy�c�L��一个连接策略抽象类�Q�它包含�q�接和重�q�两�U�策略，�q�且采用模板�Ҏ��模式�Q�具体的实现是通过静态篏不类ZkUpdate来实现的�Q?/span>DefaultConnectionStrategy是它的一个实现子�c�，它覆写了connect�?/span>reconnect两个�q�接�{�略�Ҏ��?/span>

  public SolrZkClient(String zkServerAddress, int zkClientTimeout,
      ZkClientConnectionStrategy strat, final OnReconnect onReconnect, int clientConnectTimeout) throws InterruptedException,
      TimeoutException, IOException {
    connManager = new ConnectionManager("ZooKeeperConnection Watcher:"
        + zkServerAddress, this, zkServerAddress, zkClientTimeout, strat, onReconnect);
    strat.connect(zkServerAddress, zkClientTimeout, connManager,
        new ZkUpdate() {
          @Override
          public void update(SolrZooKeeper zooKeeper) {
            SolrZooKeeper oldKeeper = keeper;
            keeper = zooKeeper;
            if (oldKeeper != null) {
              try {
                oldKeeper.close();
              } catch (InterruptedException e) {
                // Restore the interrupted status
                Thread.currentThread().interrupt();
                log.error("", e);
                throw new ZooKeeperException(SolrException.ErrorCode.SERVER_ERROR,
                    "", e);
              }
            }
          }
        });
    connManager.waitForConnected(clientConnectTimeout);
    numOpens.incrementAndGet();
  }

值得注意的是�Q�构造函��C��生成�?/span>ZkUpdate匿名�c�d��象，它的update�Ҏ��会被调用�Q?/span>

在这个方法里�Q�会首先��已有的老的SolrZooKeeperg关闭掉，然后攄��上一个新�?/span>SolrZooKeeper。做好这些准备工作以后，��׃��去连�?/span>Zookeeper服务器集��，

connManager.waitForConnected(clientConnectTimeout);//�q�接zk服务器集��，默认30�U�超时时�?/span>

其实具体的连接动作是new SolrZooKeeper(serverAddress, timeout, watcher)引发的，上面那句代码只是在等待指定时��_��看是否已�l�连接上�?/span>

如果�q�接Zookeeper服务器集��成功，那么��可以进�?/span>Zookeeper的常规操作了�Q?/span>

1�Q?nbsp;是否已经�q�接

  public boolean isConnected() {
    return keeper != null && keeper.getState() == ZooKeeper.States.CONNECTED;
  }

2�Q?nbsp;是否存在某个路径�?/span>Znode

  public Stat exists(final String path, final Watcher watcher, boolean retryOnConnLoss) throws KeeperException, InterruptedException {
    if (retryOnConnLoss) {
      return zkCmdExecutor.retryOperation(new ZkOperation() {
        @Override
        public Stat execute() throws KeeperException, InterruptedException {
          return keeper.exists(path, watcher);
        }
      });
    } else {
      return keeper.exists(path, watcher);
    }
  }

3�Q?nbsp;创徏一�?/span>Znode节点

  public String create(final String path, final byte data[], final List acl, final CreateMode createMode, boolean retryOnConnLoss) throws KeeperException, InterruptedException {
    if (retryOnConnLoss) {
      return zkCmdExecutor.retryOperation(new ZkOperation() {
        @Override
        public String execute() throws KeeperException, InterruptedException {
          return keeper.create(path, data, acl, createMode);
        }
      });
    } else {
      return keeper.create(path, data, acl, createMode);
    }
  }

4�Q?nbsp;获取指定路径下的孩子Znode节点

  public List getChildren(final String path, final Watcher watcher, boolean retryOnConnLoss) throws KeeperException, InterruptedException {
    if (retryOnConnLoss) {
      return zkCmdExecutor.retryOperation(new ZkOperation() {
        @Override
        public List execute() throws KeeperException, InterruptedException {
          return keeper.getChildren(path, watcher);
        }
      });
    } else {
      return keeper.getChildren(path, watcher);
    }
  }

5�Q?nbsp;获取指定Znode上附加的数据

  public byte[] getData(final String path, final Watcher watcher, final Stat stat, boolean retryOnConnLoss) throws KeeperException, InterruptedException {
    if (retryOnConnLoss) {
      return zkCmdExecutor.retryOperation(new ZkOperation() {
        @Override
        public byte[] execute() throws KeeperException, InterruptedException {
          return keeper.getData(path, watcher, stat);
        }
      });
    } else {
      return keeper.getData(path, watcher, stat);
    }
  }

6�Q?nbsp;在指�?/span>Znode上设�|�数�?/span>

  public Stat setData(final String path, final byte data[], final int version, boolean retryOnConnLoss) throws KeeperException, InterruptedException {
    if (retryOnConnLoss) {
      return zkCmdExecutor.retryOperation(new ZkOperation() {
        @Override
        public Stat execute() throws KeeperException, InterruptedException {
          return keeper.setData(path, data, version);
        }
      });
    } else {
      return keeper.setData(path, data, version);
    }
  }

7�Q?nbsp;创徏路径

  public void makePath(String path, byte[] data, CreateMode createMode, Watcher watcher, boolean failOnExists, boolean retryOnConnLoss) throws KeeperException, InterruptedException {
    if (log.isInfoEnabled()) {
      log.info("makePath: " + path);
    }
    boolean retry = true;

    if (path.startsWith("/")) {
      path = path.substring(1, path.length());
    }
    String[] paths = path.split("/");
    StringBuilder sbPath = new StringBuilder();
    for (int i = 0; i < paths.length; i++) {
      byte[] bytes = null;
      String pathPiece = paths[i];
      sbPath.append("/" + pathPiece);
      final String currentPath = sbPath.toString();
      Object exists = exists(currentPath, watcher, retryOnConnLoss);
      if (exists == null || ((i == paths.length -1) && failOnExists)) {
        CreateMode mode = CreateMode.PERSISTENT;
        if (i == paths.length - 1) {
          mode = createMode;
          bytes = data;
          if (!retryOnConnLoss) retry = false;
        }
        try {
          if (retry) {
            final CreateMode finalMode = mode;
            final byte[] finalBytes = bytes;
            zkCmdExecutor.retryOperation(new ZkOperation() {
              @Override
              public Object execute() throws KeeperException, InterruptedException {
                keeper.create(currentPath, finalBytes, ZooDefs.Ids.OPEN_ACL_UNSAFE, finalMode);
                return null;
              }
            });
          } else {
            keeper.create(currentPath, bytes, ZooDefs.Ids.OPEN_ACL_UNSAFE, mode);
          }
        } catch (NodeExistsException e) {

          if (!failOnExists) {
            // TODO: version ? for now, don't worry about race
            setData(currentPath, data, -1, retryOnConnLoss);
            // set new watch
            exists(currentPath, watcher, retryOnConnLoss);
            return;
          }

          // ignore unless it's the last node in the path
          if (i == paths.length - 1) {
            throw e;
          }
        }
        if(i == paths.length -1) {
          // set new watch
          exists(currentPath, watcher, retryOnConnLoss);
        }
      } else if (i == paths.length - 1) {
        // TODO: version ? for now, don't worry about race
        setData(currentPath, data, -1, retryOnConnLoss);
        // set new watch
        exists(currentPath, watcher, retryOnConnLoss);
      }
    }
  }

8�Q?nbsp;删除指定Znode

  public void delete(final String path, final int version, boolean retryOnConnLoss) throws InterruptedException, KeeperException {
    if (retryOnConnLoss) {
      zkCmdExecutor.retryOperation(new ZkOperation() {
        @Override
        public Stat execute() throws KeeperException, InterruptedException {
          keeper.delete(path, version);
          return null;
        }
      });
    } else {
      keeper.delete(path, version);
    }
  }

         我们再回�q�头来看�?/span>ConnectionManager�c�L��如何响应两端的连接状态信息的变化的，它最重要的方法是process�Ҏ��Q�当它被触发回调�Ӟ��会从WatchedEvent参数中得��C��件的各种状态信息，比如�q�接成功�Q�会话过期（此时需要进行重�q�）�Q�连接断开�{��?/span>

  public synchronized void process(WatchedEvent event) {
    if (log.isInfoEnabled()) {
      log.info("Watcher " + this + " name:" + name + " got event " + event + " path:" + event.getPath() + " type:" + event.getType());
    }

    state = event.getState();
    if (state == KeeperState.SyncConnected) {
      connected = true;
      clientConnected.countDown();
    } else if (state == KeeperState.Expired) {
      connected = false;
      log.info("Attempting to reconnect to recover relationship with ZooKeeper...");
      //��试重新�q�接zk服务�?/span>
      try {
        connectionStrategy.reconnect(zkServerAddress, zkClientTimeout, this,
            new ZkClientConnectionStrategy.ZkUpdate() {
              @Override
              public void update(SolrZooKeeper keeper) throws InterruptedException, TimeoutException, IOException {
                synchronized (connectionStrategy) {
                  waitForConnected(SolrZkClient.DEFAULT_CLIENT_CONNECT_TIMEOUT);
                  client.updateKeeper(keeper);
                  if (onReconnect != null) {
                    onReconnect.command();
                  }
                  synchronized (ConnectionManager.this) {
                    ConnectionManager.this.connected = true;
                  }
                }

              }
            });
      } catch (Exception e) {
        SolrException.log(log, "", e);
      }
      log.info("Connected:" + connected);
    } else if (state == KeeperState.Disconnected) {
      connected = false;
    } else {
      connected = false;
    }
    notifyAll();
  }

SIMONE 2012-07-04 18:41 发表评论

Phinecos(�z�庭散�h) 专注于开源技术的研究与应�?深入剖析SolrCloud�Q�一�Q?

SIMONE — Wed, 04 Jul 2012 10:40:00 GMT

http://www.cnblogs.com/phinecos/archive/2012/02/10/2345634.html

    SolrCloud是基�?/span>Solr�?/span>Zookeeper的分布式搜烦�Ҏ��Q�是正在开发中�?/span>Solr4.0的核心组件之一�Q�它的主要思想是��?/span>Zookeeper作�ؓ集群的配�|�信息中心。它有几个特色功能：1�Q�集中式的配�|�信�?/span> 2�Q�自动容�?/span> 3�Q�近实时搜烦 4�Q�查询时自动负蝲均衡

基本可以用上面这�q�图来概�q�ͼ��q�是一个拥�?/span>4�?/span>Solr节点的集��，索引分布在两�?/span>Shard里面�Q�每�?/span>Shard包含两个Solr节点�Q�一个是Leader节点�Q�一个是Replica节点�Q�此外集��中有一个负责维护集��状态信息的Overseer节点�Q�它是一个��L��制器。集��的所有状态信息都攑֜�Zookeeper集群中统一�l�护。从图中�q�可以看刎ͼ��M��一个节炚w��可以接收索引更新的请求，然后再将�q�个��h��转发到文��所应该属于的那�?/span>Shard�?/span>Leader节点�Q?/span>Leader节点更新�l�束完成�Q�最后将版本号和文��转发�l�同属于一�?/span>Shard�?/span>replicas节点�?/span>

下面我们来看一个简单的SolrCloud集群的配�|�过�E��?/span>

首先�?/span>https://builds.apache.org/job/Solr-trunk/lastSuccessfulBuild/artifact/artifacts/下蝲Solr4.0的源码和二进制包�Q�注�?/span>Solr4.0现在�q�在开发中�Q�因此这里是Nightly Build版本�?/span>

�C�Z��1�Q�简单的包含2�?/span>Shard的集��?/span>

�q�个�C�Z��中，我们把一�?/span>collection的烦引数据分布到两个shard上去�Q�步骤如下：

��Z��?/span>2�?/span>solr服务器，我们拯��一�?/span>example目录

cp -r example example2

然后启动�W�一�?/span>solr服务器，�q�初始化一个新�?/span>solr集群�Q?/span>

cd example
java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar

-DzkRun参数是启动一个嵌入式�?/span>Zookeeper服务器，它会作�ؓsolr服务器的一部分�Q?/span>-Dbootstrap_confdir参数是上传本地的配置文�g上传�?/span>zookeeper中去�Q�作为整个集��共用的配置文�g�Q?/span>-DnumShards指定了集��的逻辑分组数目�?/span>

然后启动�W�二�?/span>solr服务器，�q�将其引向集��所在位�|?/span>

cd example2
java -Djetty.port=7574 -DzkHost=localhost:9983 -jar start.jar

-DzkHost=localhost:9983��是指明�?/span>Zookeeper集群所在位�|?/span>

我们可以打开http://localhost:8983/solr/collection1/admin/zookeeper.jsp 或�?/span>http://localhost:8983/solr/#/cloud看看目前集群的状态，

现在�Q�我们可以试试烦引一些文��，

cd exampledocs
java -Durl=http://localhost:8983/solr/collection1/update -jar post.jar ipod_video.xml
java -Durl=http://localhost:8983/solr/collection1/update -jar post.jar monitor.xml
java -Durl=http://localhost:8983/solr/collection1/update -jar post.jar mem.xml

最后，来试试分布式搜烦�?/span>:

http://localhost:8983/solr/collection1/select?q

Zookeeper�l�护的集��状态数据是存放�?/span>solr/zoo_data目录下的�?/span>

现在我们来剖析下�q�样一个简单的集群构徏的基本流�E�：

先从�W�一�?/span>solr服务器说��P��

1)       它首先启动一个嵌入式�?/span>Zookeeper服务器，作�ؓ集群状态信息的��理者，

2�Q?/span> ��自��p��个节�Ҏ��册到/node_states/目录�?/span>

3�Q?/span> 同时��自己注册到/live_nodes/目录�?/span>

4�Q�创�?/span>/overseer_elect/leader�Q��ؓ后箋Overseer节点的选�D做准备，新徏一�?/span>Overseer�Q?/span>

5) 更新/clusterstate.json目录�?/span>json格式的集��状态信�?/span>

6) 本机�?/span>Zookeeper中更新集��状态信息，�l�持�?/span>Zookeeper上的集群信息一�?/span>

7�Q�上传本地配�|�文件到Zookeeper中，供集��中其他solr节点使用

8) 启动本地�?/span>Solr服务器，

9) Solr启动完成后，Overseer会得�?/span>shard中有�W�一个节点进来，更新shard状态信息，�q�将本机所在节点设�|��ؓshard1�?/span>leader节点�Q��ƈ向整个集��发布最新的集群状态信息�?/span>

10�Q�本��Z��Zookeeper中再�ơ更新集��状态信息，�W�一�?/span>solr服务器启动完毕�?/span>

然后来看�W�二�?/span>solr服务器的启动�q�程�Q?/span>

1�Q?nbsp;本机�q�接到集��所在的Zookeeper�Q?/span>

2�Q?nbsp;��自��p��个节�Ҏ��册到/node_states/目录�?/span>

3�Q?nbsp; 同时��自己注册到/live_nodes/目录�?/span>

4�Q?nbsp;本机�?/span>Zookeeper中更新集��状态信息，�l�持�?/span>Zookeeper上的集群信息一�?/span>

5�Q?nbsp;从集��中保存的配�|�文件加�?/span>Solr所需要的配置信息

6�Q?nbsp;启动本地solr服务器，

7�Q?nbsp;solr启动完成后，��本节点注册为集��中�?/span>shard�Q��ƈ��本��|��ؓshard2�?/span>Leader节点�Q?/span>

8�Q?nbsp;本机�?/span>Zookeeper中再�ơ更新集��状态信息，�W�二�?/span>solr服务器启动完毕�?/span>

�C�Z��2�Q�包�?/span>2�?/span>shard的集��，每个shard中有replica节点

如图所�C�，集群包含2�?/span>shard�Q�每�?/span>shard中有两个solr节点�Q�一个是leader�Q�一个是replica节点�Q?/span>

cp -r example exampleB
cp -r example2 example2B
cd exampleB
java -Djetty.port=8900 -DzkHost=localhost:9983 -jar start.jar
cd example2B
java -Djetty.port=7500 -DzkHost=localhost:9983 -jar start.jar

我们可以打开http://localhost:8983/solr/collection1/admin/zookeeper.jsp 看看包含4个节点的集群的状态，

�q�个集群现在��具备容错性了�Q�你可以试着�q�掉一�?/span>Solr服务器，然后再发送查询请求。背后的实质是集��的ov erseer会监��各�?/span>shard�?/span>leader节点�Q�如�?/span>leader节点挂了�Q�则会启动自动的定w��机制�Q�会从同一�?/span>shard中的其他replica节点集中重新选�D��Z��?/span>leader节点�Q�甚臛_��?/span>overseer节点自己也挂了，同样会自动在其他节点上启用新�?/span>overseer节点�Q�这样就��保了集��的高可用性�?/span>

�C�Z��3 包含2�?/span>shard的集��，�?/span>shard备䆾�?/span>zookeeper集群机制

上一个示例中存在的问题是�Q�尽��?/span>solr服务器可以容忍挂掉，但集��中只有一�?/span>zookeeper服务器来�l�护集群的状态信息，单点的存在即是不�E�_��的根源。如果这�?/span>zookeeper服务器挂了，那么分布式查询还是可以工作的�Q�因为每�?/span>solr服务器都会在内存中维护最�q�一�ơ由zookeeper�l�护的集��状态信息，但新的节�Ҏ��法加入集��，集群的状态变化也不可知了。因此，��Z��解决�q�个问题�Q�需要对Zookeeper服务器也讄��一个集��，让其也具备高可用性和定w��性�?/span>

有两�U�方式可选，一�U�是提供一个外部独立的Zookeeper集群�Q�另一�U�是每个solr服务器都启动一个内嵌的Zookeeper服务器，再将�q�些Zookeeper服务器组成一个集��?/span> 我们�q�里用后一�U�做�C�Z��Q?/span>

cd example
java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -DnumShards=2 -jar start.jar
cd example2
java -Djetty.port=7574 -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -jar start.jar
cd exampleB
java -Djetty.port=8900 -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -jar start.jar
cd example2B
java -Djetty.port=7500 -DzkHost=localhost:9983,localhost:8574,localhost:9900 -jar start.jar

我们可以打开http://localhost:8983/solr/collection1/admin/zookeeper.jsp 看看包含4个节点的集群的状态，可以发现其实和上一个没有�Q何区别�?/span>

后箋的文章将从实现层面对SolrCloud�q�个分布式搜索解��x��案进行进一步的深入剖析�?/span>

SIMONE 2012-07-04 18:40 发表评论

SIMONE — Wed, 04 Jul 2012 10:40:00 GMT

http://www.cnblogs.com/phinecos/archive/2012/02/15/2353007.html

上一��?/span>介绍�?/span>SolrCloud的基本概念，从这一��开始我��深入到其实��C��码中�q�行剖析�?/span>
SolrCloud最重要的一点就是引入了ZooKeeper来统一��理各种配置和状态信息�?/span>zookeeper是一个开源分布式的服�?/span>,它提供了分布式协�?/span>,分布式同�?/span>,配置��理�{�功�?/span>. 其实现的功能�?/span>google�?/span>chubby基本一�?/span>.zookeeper的官方网站已�l�写了一��非常经典的概述性文�?/span>,请大家参�?/span>:ZooKeeper: A Distributed Coordination Service for Distributed Applications.

        上一��?/span>的示例中是在启动每个solr服务器前�Q�内嵌启动了一�?/span>Zookeeper服务器，再将�q�几�?/span>Zookeeper服务器组成一个集��，��保Solr集群信息的高可用性和定w��性�?/span>
   构徏一个可用的Zookeeper集群�Q�这��是SolrCloud要做的第一件工作�?/span>下面来看�?/span>SolrCloud是如何实现这一功能的：

1�Q?nbsp;首先�?/span>web.xml中配�|�了一�?/span>filter

<filter>
    <filter-name>SolrRequestFilterfilter-name>
    <filter-class>org.apache.solr.servlet.SolrDispatchFilterfilter-class>
      filter>

   �?/span>web容器启动时会��d��载�ƈ初始�?/span>SolrDispatchFilter�q�个filter,它的init�Ҏ��会被调用�Q�这个方法中做的最主要的事情是初始化一�?/span>Solr核容器�?/span>

  CoreContainer.Initializer init = createInitializer();
    // web.xml configuration
    this.pathPrefix = config.getInitParameter( "path-prefix" );
this.cores = init.initialize();

2) 初始�?/span>Solr核容器时�Q�首先找�?/span>solr的根目录�Q�这个目录下最重要的是solr.xml�q�个配置文�g�Q�这个配�|�文件用于初始化容器中加载的各个solr核，如果没有提供solr.xml�Q�则会启用默认的配置信息�Q?/span>

  private static final String DEF_SOLR_XML ="\n" +
          "\n" +
          "  \n" +
          "    \n" +
          "  \n" +
          "";

  3�Q?nbsp;初始化过�E�的其中一步就是初始化Zookeeper服务器，你可以选择单机�?/span>Zookeeper服务器，也可以构�?/span>Zookeeper集群�Q�下面以集群��Z��q�行代码分析�?/span>

    if (zkRun != null) {
      zkServer = new SolrZkServer(zkRun, zookeeperHost, solrHome, hostPort);
      zkServer.parseConfig();
      zkServer.start();

      // set client from server config if not already set
      if (zookeeperHost == null) {
        zookeeperHost = zkServer.getClientString();
      }
}

         SolrZkServer�c�d��是伴�?/span>solr启动的内嵌的Zookeeper服务器，首先来看parseConfig�Ҏ��Q�它负责解析zoo.cfg文�g�Q�读�?/span>Zookeeper启动时所需要的配置信息�Q�这些配�|�信息由SolrZkServerProps�c�表�C�，

首先讄��Zookeeper存储数据的目�?/span>

    if (zkProps == null) {
      zkProps = new SolrZkServerProps();
      // set default data dir
      // TODO: use something based on IP+port???  support ensemble all from same solr home?
      zkProps.setDataDir(solrHome + '/' + "zoo_data");
      zkProps.zkRun = zkRun;
      zkProps.solrPort = solrPort;
}

然后��d��zoo.cfg配置文�g中的信息�Q��ؓ启动zookeeper服务器提供完整的配置信息�Q?/span>

      props = SolrZkServerProps.getProperties(solrHome + '/' + "zoo.cfg");
      SolrZkServerProps.injectServers(props, zkRun, zkHost);
      zkProps.parseProperties(props);

    下面是一个示例配�|�文�Ӟ��

tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

注意�Q?/span>server.x�q�些行就指明�?/span>zookeeper集群所包含的机器名�U�ͼ�每台Zookeeper服务器会使用3个端口来�q�行工作�Q�其中第一个端口（端口1�Q�用来做�q�行期间server间的通信�Q�第二个端口�Q�端�?/span>2�Q�用来做leader election�Q�另外还有一个端口（端口0�Q�负责接收客��L��h��。那么一台机器怎样��定自己是谁呢？�q�是通过dataDir目录下的myid文本文�g��定�?/span>myid文�g只包含一个数字，内容��是所�?/span>Server�?/span>ID�Q?/span>QuorumPeerConfig.myid�?/span>

1�Q?准备好集��所需要的配置信息后，��可以启�?/span>Zookeeper集群了。启动时是生成一�?/span>Zookeeper服务器线�E�，�Ҏ��配置信息来决定是单机�q�是集群模式�Q�如果是单机模式�Q�则生成ZooKeeperServerMain对象�q�启动，如果是集��模式，则��?/span>QuorumPeerMain对象启动。最后将服务器线�E�设�|��ؓDaemon模式�Q�就完成�?/span>Zookeeper服务器的启动工作了�?/span>

    public void start() {
        zkThread = new Thread() {
            @Override
            public void run() {
                try {
                    if (zkProps.getServers().size() > 1) {//zk集群
                        QuorumPeerMain zkServer = new QuorumPeerMain();
                        zkServer.runFromConfig(zkProps);
                        if (logger.isInfoEnabled()) {
                            logger.info("启动zk服务器集��成�?);
                        }
                    } else {//单机zk
                        ServerConfig sc = new ServerConfig();
                        sc.readFrom(zkProps);
                        ZooKeeperServerMain zkServer = new ZooKeeperServerMain();
                        zkServer.runFromConfig(sc);
                        if (logger.isInfoEnabled()) {
                            logger.info("启动单机zk服务器成�?);
                        }
                    }
                    logger.info("ZooKeeper Server exited.");
                } catch (Throwable e) {
                    logger.error("ZooKeeper Server ERROR", e);
                    throw new SolrException(SolrException.ErrorCode.SERVER_ERROR, e);
                }
            }
        };
        if (zkProps.getServers().size() > 1) {
            logger.info("STARTING EMBEDDED ENSEMBLE ZOOKEEPER SERVER at port " + zkProps.getClientPortAddress().getPort());
        } else {
            logger.info("STARTING EMBEDDED STANDALONE ZOOKEEPER SERVER at port " + zkProps.getClientPortAddress().getPort());
        }

        zkThread.setDaemon(true);
        zkThread.start();
        try {
            Thread.sleep(500); // pause for ZooKeeper to start
        } catch (Exception e) {
            logger.error("STARTING ZOOKEEPER", e);
        }
    }

��Z��验证集群是否启动成功�Q�可以��?/span>Zookeeper提供的命令行工具�q�行验证�Q�进�?/span>bin目录下，�q�行�Q?/span>

zkCli.cmd –server zookeeper服务器地址1:端口

    �q�是�q�接到集��中1�?/span>Zookeeper服务器，然后创徏一�?/span>ZNode,往其中加入一些数据，你再�q�接到集��中其他的服务器上，查看数据是否一��_��卛_��知道Zookeeper集群是否已经构徏成功�?/span>

SIMONE 2012-07-04 18:40 发表评论