7.理论上现在可以开始build impala?/strong>Q但是实际buildq程中可能会出现问题Q我到的问题和 Boost相关?具体错误不记得了)Q最后发现是׃boost版本太低D的，CentOS 6.2pȝ默认yum源中的boost和boost-devel版本?.41Q但是impala~译需?.44以上的版本，因此需要做的是自己重新~?译boostQ我用的是boost 1.46版本?/p> #删除已安装的boost和boost-devel
yum remove boost
yum remove boost-devel
#下蝲boost
#可以?http://www.boost.org/users/history/)下蝲boost
#下蝲后解压羃
tar xvzf boost_1_46_0.tar.gz
mv boost_1_46_0 /usr/local/
cd /usr/include
./bootstrap.sh
./bjam
#执行后若打印以下内容Q则表示安装成功
# The Boost C++ Libraries were successfully built!
# The following directory should be added to compiler include paths:
# /usr/local/boost_1_46_0
# The following directory should be added to linker library paths:
# /usr/local/boost_1_46_0/stage/lib
#现在q需要设|Boost环境变量和Impala环境变量
export BOOST_ROOT=’/usr/local/boost_1_46_0′
export IMPALA_HOME=’/home/extend/impala’
#注意一下，q里虽然安装了boostQ但是我在实际用的时候，~译q是会报错的Q报的错误是找不到这个包Q?libboost_filesystem-mt.soQ这个包是由boost-devel提供的，所以我的做法是把boost-devell重新装?br /> #我没有试q如果之前不删除boost-devel会不会有问题Q能定的是按这里写的流E做是没问题?/p>
yum install boost-devel
8.现在l于可以~译impala?/strong>
cd $IMPALA_HOME
./build_public.sh -build_thirdparty
#~译首先会编译C++部分Q然后再用mvn~译java部分Q整个过E比较慢Q我在虚拟机上大概需?-2个小时?br /> #Impala~译完后的东西在be/build/debug里面
9.启动impala_shell需要用到的python?/strong>
#W一ơ执行impalad_shell可能会报错，q里需要安装python的两个包:thrift和prettytableQ用easy_install卛_
easy_install prettytable
easy_install thrift
10.如果你以为到q里׃事大吉就太天真了Q在配置、启动、用Impala的时候还会有很多奇葩的问题；
问题1QHive和Hadoop使用的版?/strong>
CDH对版本的依赖要求比较高，Z保证Impala正常q行Q强烈徏议用Impala里面thirdparty目录中自带的Hadoop(native lib已经~译好的)和Hive版本?br /> Hadoop的配|文件在$HADOOP_HOME/etc/hadoop中，要注意的是需要启用native lib
#修改hadoop的core-site.xmlQ除了这个选项之外Q其他配|和问题2中的core-site.xml一?br /> <property>
<name>hadoop.native.lib</name>
<value>true</value>
<description>Should native hadoop libraries, if present, be used.</description>
</property>
问题2QImpala的配|文件位|?/strong>
Impala默认使用的配|文件\径是在bin/set-classpath.sh中配|的Q徏议把CLASSPATH部分Ҏ
CLASSPATH=\
$IMPALA_HOME/conf:\
$IMPALA_HOME/fe/target/classes:\
$IMPALA_HOME/fe/target/dependency:\
$IMPALA_HOME/fe/target/test-classes:\
${HIVE_HOME}/lib/datanucleus-core-2.0.3.jar:\
${HIVE_HOME}/lib/datanucleus-enhancer-2.0.3.jar:\
${HIVE_HOME}/lib/datanucleus-rdbms-2.0.3.jar:\
${HIVE_HOME}/lib/datanucleus-connectionpool-2.0.3.jar:
卌求Impala使用其目录下的Conf文g夹作为配|文Ӟ然后创徏一下Conf目录Q把3样东西拷贝进来：core-site.xml、hdfs-site.xml、hive-site.xml?br /> core-site.xml的配|，下面几个选项是必要配置的，
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.200.4.11:9000</value>
</property>
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.client.use.legacy.blockreader.local</name>
<value>false</value>
</property>
<property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
</property>
</configuration>
hdfs-site.xml的配|?/p>
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.block.local-path-access.user</name>
<value>${your user}</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>${yourdatadir}</value>
</property>
<property>
<name>dfs.client.use.legacy.blockreader.local</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>750</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout</name>
<value>5000</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/home/extend/cdhhadoop/dn.8075</value>
</property>
</configuration>
最后是hive-site.xmlQ这个比较简单，指定使用DBMS为元数据存储卛_(impala必须和hive׃n元数据，因ؓimpala?法create table)QHive-site.xml使用mysql作ؓmetastore的说明在很多地方都可以查刎ͼ配置如下Q?/p>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.28.0.190:3306/impala?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>
记得把mysql-connector的jar包给拯到hive的lib里面去，同样也要拯limpala ( 拯?IMPALA_HOME/fe/target/dependency)
11.启动Impala。到此，Impala是可以正常启动的。这里说明一下，官方文档没有说很清楚Impala的Service之间是如何互相协调的Q按照官方的步骤Q最后通过如下Ҏ来在一台机器上启动Impala ServiceQ?/p>
#启动单机impala service
${IMPALA_HOME}/bin/start-impalad.sh -use_statestore=false
#启动impala shell
${IMPALA_HOME}/bin/impala-shell.sh
然后impala-shell可以连接到localhostq行查询了；注意Q这里只是单机查询，可以用来验证你的Impala是否正常work 了；如何启动一个Impala集群Q蟩到第12步。这里l说一下可能遇到的问题Q我遇到的一个比较奇葩的问题是show tables和count(1)没有问题Q但是select * from table的时候impala在读取数据的时候就崩溃?有时报错could not find method close from class org/apache/hadoop/fs/FSDataInputStream with signature ()V )Q这里修改了两个地方解决q个问题:
a.修改impala的set-classpath.shq移?IMPALA_HOME/fe/target/dependency目录中除了hadoop-auth-2.0.0-*.jar之外所有hadoop-*开头的jar包?/p>
#把impala dependency中和hadoop相关的包l弄出来Q只保留auth
mv $IMPALA_HOME/fe/target/dependency/hadoo* $IMPALA_HOME
mv $IMPALA_HOME/hadoop-auth*.jar mv $IMPALA_HOME/fe/target/dependency
#修改bin/set-classpath.shQ将$HADOOP_HOME中的libl加入，在set-classpath.sh最后一行export CLASSPATH之前#d
for jar in `ls $HADOOP_HOME/share/hadoop/common/*.jar`; do
CLASSPATH=${CLASSPATH}:$jar
done
for jar in `ls $HADOOP_HOME/share/hadoop/yarn/*.jar`; do
CLASSPATH=${CLASSPATH}:$jar
done
for jar in `ls $HADOOP_HOME/share/hadoop/hdfs/*.jar`; do
CLASSPATH=${CLASSPATH}:$jar
done
for jar in `ls $HADOOP_HOME/share/hadoop/mapreduce/*.jar`; do
CLASSPATH=${CLASSPATH}:$jar
done
for jar in `ls $HADOOP_HOME/share/hadoop/tools/lib/*.jar`; do
CLASSPATH=${CLASSPATH}:$jar
done
b.注意到Impala对待table的时候只能够使用hive的默认列分隔W，如果在hive里面create table的时候用了自定义的分隔W，Impala servive׃在读数据的时候莫名其妙的崩溃?/p>
12.启动Impala 集群
Impala实际上由两部分组成，一个是StateStoreQ用来协调各个机器计，相当于MasterQ然后就是ImpaladQ相当于SlaveQ启动方法如下：
#启动statestore
#Ҏ1Q直接利用impala/bin下面的这个python脚本
#q个脚本会启动一个StateStoreQ同时启?s个数量的Impala Service在本?br /> $IMPALA_HOME/bin/start-impala-cluster.py -s 1 –log_dir /home/extend/impala/impalaLogs
#Ҏ2Q手动启动StateStore
$IMPALA_HOME/be/build/debug/statestore/statestored -state_store_port=24000
#启动impala service
#在每个编译安装了impala的节点上执行命o
#参数-state_store_host指定启动了stateStore的机器名
#-nn即namenodeQ指定hadoop的namenode
#-nn_port是namenode的HDFS入口端口?br /> $IMPALA_HOME/bin/start-impalad.sh -state_store_host=m11 -nn=m11 -nn_port=9000
正常启动之后Q访问http://${stateStore_Server}:25010/ 可以看到StateStore的状态，其中的subscribers面可以看到已经q接上的impala service nodeQ?/p>
13.使用Impala客户?/strong>
q一步最单，随便找一个机器启?/p> $IMPALA_HOME/bin/impala-shell.sh
#启动之后可以随便q接一个impala service
connect m12
#q接上之后就可以执行show tables之类的操作了
#需要注意的是，如果hive创徏表或更新了表l构Qimpala的节Ҏ不知道的
#必须通过客户端连接各个impala serviceq执行refresh来刷新metadata
#或者重启所有impala service
]]>
And when you need random, realtime read/write access to your Big Data.