背景介绍
最近搭建hadoop分布式环境时,参考了网上很多资料并成功搭建起来。为了将搭建步骤记录下来且方便以后再次使用,尝试将所有配置信息通过脚本的方式进行自动化(主要也是为了日后使用Docker)。因此遇到了在shell中配置XML(如 $HADOOP_HOME/etc/hadoop/core-site.xml)的需求。
初步调查
通过搜索,发现很多网页都是推荐 xmlstarlet 命令,其有 ed(edit) 命令,可以编辑 xml 文件,并通过 -i/-a/-s 等命令即可在指定 xpath 下 插入/追加/建立子节点 。 不过测试发现,当要添加的节点信息比较复杂时,保存的节点信息会被转码。如想生成如下xml信息时:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
尝试了多种命令组合(如):
xmlstarlet ed -s /configuration -t elem -n "" \
-v "<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> \
<property><name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value></property>" \
hadoop/core-site.xml
结果却如下所示(进行了转码,根本不是我想要的结果):
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value></property></></configuration>
更改xmlstarlet源码
考虑到xmlstarlet是开源的,因此决定下载并分析其源码,进行改造,从而满足我的要求。
经过两天的分析和修改,总算完成了改动,并将代码共享到 github 上。
使用方式
下载源码后,执行以下命令即可编译,安装和使用(示例即是修改 hadoop/core-site.xml)。
./configure && make && make install
注意:
- 在 make install 时根据你的系统和账号,可能需要 sudo;
- 我在 Ubuntu 16.4 上编译安装的后的 可执行文件名是 xml 而不是 xmlstarlet
- 通过 make check 可以执行其单元测试,由于更改了 ed 命令的执行效果,有些以前能通过的测试现在无法通过。通过分析,已经更改了几个,但有些示例没有看懂作者的意图,暂未更改。通过比较 ed-backref2 等文件的修改,就可以发现当采用修改版本的 xmlstarlet 来加入复杂节点信息时将会变得多么简单。
- 如果发现问题或需求,可以在 github 上提出issue,有时间的话我会尽量更改。并联系原作者,希望将该功能合并进官方版本。