疯狂小兵

向往自由,追求卓越! 阅读

YARN上节点标签

节点标签是一组具有相似特征的节点,应用程序可以指定在哪里运行。 现在只支持节点分区,如下: 一个节点只有一个节点分区,因此一个集群可以通过节点分区分割为互不相交的几个子集群。默认,节点属于DEFAULT分区(partition=”“)。 用户需要配置每个分区上不同的队列有多少资源可以使用。 以下有两种节点分区: ...

编写第一个MapReduce的wordcount程序

准备环境 hadoop2.7.2 集群环境(三个节点,h2m1,h2s1,h2s2) jdk 1.7.0_75版本 centos6.5系统 该MR代码支持输入源为多个文件或多个目录,不可以文件和目录混合作为输入源 搭建程序 使用eclipse新建maven程序,开发在window环境,运行在linux环境 在maven的pom.xml文件中配置 <?xml...

NodeManager的重启

介绍 该文档给出了NodeManager(NM)重启的概要,开启NM在重启时不会丢失运行在节点上的活跃容器的特性。在该高度上,NM存储任一必要状态到本地状态存储,处理容器管理的请求。 当NM重启时,会首先为多个子系统加载状态恢复。并且然后让那些子系统使用已经加载的状态执行恢复。 启用NM的重启 步骤1.为了启用NM重启功能,需要在yarn-site.xml中将如下属性设置为true。...

搭建JStorm集群

搭建jstorm集群环境 预置环境 zookeeper集群 三个节点:h2m1,h2s1,h2s2。 jdk1.7及以上的64位版本 检查预置环境配置 运行hostname -i,检查是否配置了内网ip地址而非127.0.0.1,如果没有配置需要配置ip; 运行java -version,检查jdk版本是否在1.7及以...

YARN上的web应用代理

应用代理 web的应用代理是YARN的一部分。默认情况下是作为RM的一部分运行的,但是也可以配置成独立运行的模式。 代理的原因是减少通过YARN进行web攻击的可能性。 在YARN中,ApplicationMaster(AM)负责提供web的界面并且并发送链接到RM。这里有许多潜在的问题。 RM作为可信的用户在运行,并且人们访问该web地址将探测到它,并认为它提供给他们的链接是可信的。...

YARN上的ResourceManager的高可用方案

介绍 该指南提供了对YARN上的ResourceManager(RM)的高可用概述,并详细讲解了怎样配置和使用该特性。 RM负责跟踪寄去哪上的资源,并调度应用(比如,Mapreduce任务)。在Hadoop2.4之前,RM在整个的YARN集群中存在单点故障。 高可用的特性会以主从RM对的方式增加冗余来避免单点故障。 架构 RM故障切换 RM的HA是通过主备架构实现的-在任何时间...

配置vmware中的虚拟机使用宿主机的共享网络

VM共享宿主机网络 预置环境: 宿主机:win7 64位 企业版 虚拟机软件:VMware® Workstation 11.1.2 build-2780323 虚拟机系统:centos 6.5 64位 设置虚拟机的ip 为了SSH连接Linux虚拟机方便,建议将虚拟机的ip设置为静态ip。 推荐使用linux桌面配置ip,假设配置好的ip信息为: ip:192....

YARN架构简述

架构 YARN的基本思想是将资源的管理功能和Job调度/监控的功能切分到两个守护进程中。 该思想是为了有一个全局的资源管理器(RM)和每个应用的ApplicationMaster(AM)。应用要么是单任务,要么是DAG的任务序列。 资源管理器(RM)和节点管理器(NM)构成了数据计算的框架。RM是整个系统资源的最终仲裁者。 NM是每个机器上负责容器,监控他们的资源(cpu、内存、磁盘、...

HDFS 架构

介绍 HDFS是设计用来运行在普通硬件上的分布式文件系统,与已经存在的分布式文件系统有很多相似之处。然而,与其他DFS最大的不同是其象征意义。 HDFS是高容错并设计用来部署在廉价硬件上。HDFS提供了高吞吐量的访问应用的数据的能力,并适用于海量数据集。HDFS没有严格遵循POSIX协议来支持流式访问文件系统数据。 HDFS最初设计作为WEB搜索引擎Nutch的基础组件。HDFS现在是H...

Spring的统一异常处理机制

目标 主要为了避免将详细的异常信息抛到前端页面,导致用户体验不好;也避免爆出详细异常信息,会让安全方面的人获得详细的破解情报。 配置 主要有两种配置: 通过实现拦截器HandlerInterceptorAdapter,自己实现拦截逻辑; 通过使用spring的ControllerAdvice和ExceptionHandler方式; 实现...

  • 第12页 / 跳第 页 / 共26页
TOP