Study Notes

上午发现三节点集群中的node555没有启动，可能是系统盘出了问题。修复后让node555启动进入系统，此时在Web界面中刷新并没有看到node555上线。在node555中执行jps，发现没有列出datanode。结合昨天的实验内容，在node555上手动启动datanode后，Web界面中可以看到node555上线。注意之前node555被配置为SecondNameNode,此次并未列出(可能也需要手动启动)。

# jps
10053 Jps （未列出DataNode）
# cd /usr/hadoop-2.10.0/sbin/
# ./hadoop-daemon.sh start datanode
starting datanode, logging to /usr/hadoop-2.10.0/
logs/hadoop-root-datanode-node555.out
# jps
10092 DataNode (列出DataNode)
10205 Jps

通过调整权限很快解决了web不能上传文件的问题，参考了HDFS的Shell文档，将测试目录的权限开到最大。以下操作在NameNode的node333中进行。无法上传到20191212目录的原因是其它用户没有写权限

# hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - root supergroup   0 2019-12-12 02:01 /20191212

如Web上传到此目录，将提示Couldn’t upload the file

新创建一个20191213目录，分配写权限。注意，在创建时“20191213”和”/20191213″是完全不同的。如果不带”/”，将在”/”目录下生成一个/user/root/20191213目录。

# hdfs dfs -mkdir -p /20191213
# hdfs dfs -ls /20191213                                                                    
# hdfs dfs -ls /
Found 2 items
drwxr-xr-x  - root supergroup  0 2019-12-12 02:01 /20191212
drwxr-xr-x  - root supergroup  0 2019-12-12 21:38 /20191213
# hdfs dfs -chmod -R 777 /20191213
# hdfs dfs -ls /
Found 2 items
drwxr-xr-x  - root supergroup  0 2019-12-12 02:01 /20191212
drwxrwxrwx  - root supergroup  0 2019-12-12 21:38 /20191213

然后就可以上传文件到20191213了:

查看文件详细信息时，可以看到文本文件的head和tail部分(和Linux的head/tail一样)。