疯狂小兵

向往自由，追求卓越！阅读次

nginx 4：Nginx日志管理

日志配置示例： http { log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_age...

作者: 疯狂小兵 | 2016-12-30 | [Nginx]

提高hadoop配置效率的shell脚本

协助脚本每个脚本都需要执行chmod 755 xxxx.sh命令，为脚本赋执行权限。同步机器上的时间网络时间同步从指定的网络服务器（1.cn.pool.ntp.org）同步时间将h2m1，h2s1,h2s2机器上的时区修改为当前时区(上海时区)：cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 脚本文件名为dateS...

作者: 疯狂小兵 | 2016-12-21 | [Shell]

Hive编程指南之一

Hive QL详解表的操作语句，数据类型不区分大小写,但SerDe和属性名区分大小写，注释是单引号的字符串 DDL操作 1) 创建表语法： Create [external] table [if not exists] table_name [( Col_name data_type [comment col_comment] )] [comment table_commen...

作者: 疯狂小兵 | 2016-12-20 | [Hive]

Hive的安装

Hive安装注意点：在正常运行hive之前，必须先正常启动HDFS和YARN（带有MR）集群。下载包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 解压更名 tar -xzvf apache-hive-2.1.1-bin.tar.gz...

作者: 疯狂小兵 | 2016-12-20 | [Hive]

Ambari服务器安装

准备环境 CentOS 6.5 64位虚拟机 jDK v1.7.0_75 安装Ambari服务器下载Ambari公共库文件 wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo 添加下载源 mv ambari.repo /etc/yum...

作者: 疯狂小兵 | 2016-12-20 | [Hadoop]

Ambari服务器管理集群

操作步骤通过访问http://h2m1:8080/#/installer/step0根据向导设置集群命名集群点Next按钮。选择HDP版本默认选择最高，因为没有Apache的版本，只能选择hortonworks。点Next按钮。添加FQDN（全限定域名）和ssh私钥文件 FQDN即主机名。 ssh私钥文件可以从远程集群机器的~/.ssh/下获得，如文件...

作者: 疯狂小兵 | 2016-12-20 | [Hadoop]

HBase分布式安装

1.单机安装HBase 当前机器为h2m1 1.1 下载HBase的Bin包 hbase-1.2.4-bin.tar.gz wget http://mirrors.hust.edu.cn/apache/hbase/1.2.4/hbase-1.2.4-bin.tar.gz 解压hbase到指定目录指定目录为/usr/local tar -xzvf hbase-1.2.4-bi...

作者: 疯狂小兵 | 2016-12-15 | [HBase]

windows下Eclipse远程调试运行MR程序

准备环境运行环境 hadoop2.7.2 集群环境（三个节点，h2m1,h2s1,h2s2） jdk 1.7.0_75版本 centos6.5系统开发环境 windows7 企业版 64位 8G内存 eclipse 4.5 插件 hadoop-eclipse-plugin-2.6.0.jar，用于查看远端的HDFS上的文件将Linux上成...

作者: 疯狂小兵 | 2016-12-15 | [Hadoop]

基于MapReduce新的API的编程Demo-wordCount

概述进行MapReduce开发暂且认为分为8步，依次为：获取输入输出路径参数删除已经存在输出目录根据系统类型进行configuration的配置获取Job实例为Job配置Jar,MapperClass,CombinerClas,ReducerClass 为Job配置输出的key和value类型设置文件格式化提交Job并等待完成准备...

作者: 疯狂小兵 | 2016-12-14 | [Hadoop]

window下Eclipse远程只读HDFS上的文件

准备环境运行环境 hadoop2.7.2 集群环境（三个节点，h2m1,h2s1,h2s2） jdk 1.7.0_75版本 centos6.5系统开发环境 windows7 企业版 64位 8G内存 eclipse 4.5 插件 hadoop-eclipse-plugin-2.6.0.jar 配置插件将插件hadoop-...

作者: 疯狂小兵 | 2016-12-14 | [Hadoop]

TOP