2025莞纺大数据竞赛队
CentOS 7.9 大数据基础配置
Linux虚拟机IP分配
Hadoop+JDK配置
Zookeeper集群配置
Kafka配置
Hadoop搭建
数据可视化总结
数据分析总结
CentOS 7.9 基础指令大全
Flume安装配置
MySQL安装配置与运维
用户画像数据库表及数据.sql
本文档使用 OkDoc 发布
-
+
首页
CentOS 7.9 大数据基础配置
# CentOS基础配置 #### 常用单词和指令 | 单词/指令 | 翻译/意思 | | --- | --- | | system | 系统 | | OS | 操作系统 | | systemctl | 系统操作,这是指令 | | firewall | 防火墙 | | status | 状态 | | static | 静态/静止 | | stop | 停止 | | start | 启动 | | enable | 启用 | | disable | 禁用 | | service | 服务 | | cfg | config的缩写 | | config | 配置 | | vi | Linux系统内置的文本编辑器 | | vim | 高级版vi文本编辑器| | mkdir | 创建目录,英文意思:Make(创建)Directory(目录) | | mkdir -p | 一次性创建多层目录,并且如果文件夹存在也不会报错 | | tar | 常用tar、tar.gz文件解压指令 | | tar -zxf | 解压tar.gz文件 | | tar -v | 展示解压过程 | | tar -xf | 解压.tar文件 | | scp 文件 | Linux通过网络复制(Copy)到另一台机器 | | scp 文件 本地 > 远程 | scp 本地路径 用户@远程IP:远程路径 | | scp 文件 远程 > 本地 | scp 用户@远程IP:远程路径 本地路径 | | scp 文件 远程 > 远程 | scp 用户@IP_A 用户@IP_B | | scp -r url user@ip:url | 拷贝目录,加 -r 递归 | | chown -R hadoop:hadoop /HADOOP | 设置/HADOOP目录包括子文件的所属者为hadoop用户| >w **SSH连接高延迟问题** > > <span style="color:#ff3b30">CentOS的SSHD服务默认开启了**DNS 反向解析 + GSSAPI 认证**需要修改/etc/ssh/sshd_config文件来关闭这些功能,延迟可降到1s。</span> ```/etc/ssh/sshd_config sudo vim /etc/ssh/sshd_config # 找到并修改两行 UseDNS no GSSAPIAuthentication no ``` #### Vim快捷键 | 作用 | 快捷键 | | --- | --- | | 光标移动到文档最后 | G | | 光标移动到文档最前 | g+g | | 光标移动到行首 | 0 | | 光标移动到行尾 | $ | | 在光标当前行的<下/上>方新建一行 | o/O | #### 基础相关配置 ``` SELinux配置文件位置 vim /etc/selinux/config ``` ```打开网络配置提示符可视化界面(ip设置方法1) nmtui ``` ```使用vim打开网络配置文件(ip设置方法2) vim /etc/sysconfig/network-scripts/ifcfg-ens160 #这个160是自己网卡的编号,不一定就是160,但绝对是ens开头且仅有一个 #下面是ifcfg-ens里面的文本 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no *BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens160 UUID=983f4ba0-1246-441f-8d2e-6a39400955fc DEVICE=ens160 *ONBOOT=yes **IPADDR=10.155.151.96 **PREFIX=24 **GATEWAY=10.155.151.254 **DNS1=10.155.144.61 **DNS2=10.225.1.61 #单星号代表需要改,比如说ONBOOT他默认是No,我们要改成yes #双型号代表默认是不存在的,需要手动输入添加进去,最下面几行都是,第一个是IP地址,第三个是网关,DNS是DNS服务器 ``` ```设置防火墙服务 #关闭防火墙 systemctl stop firewalld #系统控制 停止 firewalld #这里的system是系统的意思,ctl代表控制的意思,stop是停止,firewall这个单词是是防火墙,但是服务的名字是firewalld所以结尾要加d #永久关闭防火墙(重启之后依然保持禁用) systemctl disable firewalld #系统控制 禁用 firewalld #disable是禁用的意思 #查看防火墙的状态 systemctl status firewalld #系统控制 状态 firewalld #status是状态的意思 ``` ```设置ssh服务 # 启动ssh服务 systemctl start sshd # 启用ssh服务 start改enable # 查看ssh服务状态 改status # 禁用服务 改disable ``` ```ssh使用 # 远程连接其他电脑(使用root账户登录) ssh root@ip # 退出远程 exit # 创建密钥 ssh-keygen # 复制密钥给其他主机 ssh-copy-id ip ``` ```给Hadoop用户提权 #以root身份输入 visudo #进入编辑权限配置文件 hadoopuser ALL=(ALL) ALL #普通安全方法 hadoopuser ALL=(ALL) NOPASSWD:ALL #免密方法 # 以root用户执行 usermod -aG root hadoopuser #将hadoopuser列入root用户组 ``` ```Hadoop用户设置免密 #切换到hadoopuser ssh-keygen -t rsa -b 4096 ``` ```设置hadoop文件夹的权限 #修改hadoop_env.sh文件的权限 chmod 754 ./hadoop_env.sh #解释:所有者可读/写/执行(7),组可读/执行(5),其他只读(4) #修改hadoop文件夹的权限-递归修改目录权限 chmod -R 755 /path/to/hadoop ```
MARKJY
2025年11月19日 10:25
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档(打印)
分享
链接
类型
密码
更新密码