thrift访问hdfs

近期尝试用thrift这个多语言代码生成框架访问hdfs,遇到了一些错误,google找都不是正确的解法。只能自己摸索。还好摸索出来了。

hadoop-x.x.x/src/contrib/thriftfs/if/hadoopfs.thrift就是一个thrift描述文件。

在hadoop-x.x.x/src/contrib/thriftfs/scripts中有已经写好的api。其中包括一个start_thrift_server.sh(用于启动hdfs_thrift服务器的脚本);hdfs.py是一个python交互文件,用于实现对hdfs访问。

步骤如下:

首先需要对hadoop进行编译release:

cd $HADOOP_INSTALL
ant compile

然后后台启动start_thrift_server.h:

$HADOOP_INSTALL/src/contrib/thriftfs/scripts/start_thrift_server.h 9999 &

其中9999是hdfs_thrift服务器监听的端口,如果没指定此端口会随机指派一个。


用hdfs.py脚本对hdfs进行操作:

python hdfs.py
然后双击tab即可看到支持的操作。用help operation既可看到operation的usage.
相关文章
相关标签/搜索