疯狂小兵

向往自由,追求卓越! 阅读

nginx 4:Nginx日志管理

日志配置示例: http { log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_age...

提高hadoop配置效率的shell脚本

协助脚本 每个脚本都需要执行chmod 755 xxxx.sh命令,为脚本赋执行权限。 同步机器上的时间 网络时间同步 从指定的网络服务器(1.cn.pool.ntp.org)同步时间 将h2m1,h2s1,h2s2机器上的时区修改为当前时区(上海时区):cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 脚本文件名为dateS...

Hive编程指南之一

Hive QL详解 表的操作语句,数据类型不区分大小写,但SerDe和属性名区分大小写,注释是单引号的字符串 DDL操作 1) 创建表 语法: Create [external] table [if not exists] table_name [( Col_name data_type [comment col_comment] )] [comment table_commen...

Hive的安装

Hive安装 注意点: 在正常运行hive之前,必须先正常启动HDFS和YARN(带有MR)集群。 下载包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 解压更名 tar -xzvf apache-hive-2.1.1-bin.tar.gz...

Ambari服务器安装

准备环境 CentOS 6.5 64位虚拟机 jDK v1.7.0_75 安装Ambari服务器 下载Ambari公共库文件 wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo 添加下载源 mv ambari.repo /etc/yum...

Ambari服务器管理集群

操作步骤 通过访问http://h2m1:8080/#/installer/step0根据向导设置集群 命名集群 点Next按钮。 选择HDP版本 默认选择最高,因为没有Apache的版本,只能选择hortonworks。 点Next按钮。 添加FQDN(全限定域名)和ssh私钥文件 FQDN即主机名。 ssh私钥文件可以从远程集群机器的~/.ssh/下获得,如文件...

HBase分布式安装

1.单机安装HBase 当前机器为h2m1 1.1 下载HBase的Bin包 hbase-1.2.4-bin.tar.gz wget http://mirrors.hust.edu.cn/apache/hbase/1.2.4/hbase-1.2.4-bin.tar.gz 解压hbase到指定目录 指定目录为/usr/local tar -xzvf hbase-1.2.4-bi...

windows下Eclipse远程调试运行MR程序

准备环境 运行环境 hadoop2.7.2 集群环境(三个节点,h2m1,h2s1,h2s2) jdk 1.7.0_75版本 centos6.5系统 开发环境 windows7 企业版 64位 8G内存 eclipse 4.5 插件 hadoop-eclipse-plugin-2.6.0.jar,用于查看远端的HDFS上的文件 将Linux上成...

基于MapReduce新的API的编程Demo-wordCount

概述 进行MapReduce开发暂且认为分为8步,依次为: 获取输入输出路径参数 删除已经存在输出目录 根据系统类型进行configuration的配置 获取Job实例 为Job配置Jar,MapperClass,CombinerClas,ReducerClass 为Job配置输出的key和value类型 设置文件格式化 提交Job并等待完成 准备...

window下Eclipse远程只读HDFS上的文件

准备环境 运行环境 hadoop2.7.2 集群环境(三个节点,h2m1,h2s1,h2s2) jdk 1.7.0_75版本 centos6.5系统 开发环境 windows7 企业版 64位 8G内存 eclipse 4.5 插件 hadoop-eclipse-plugin-2.6.0.jar 配置插件 将插件hadoop-...

  • 第11页 / 跳第 页 / 共26页
TOP