说明

本文的目标是：在windows下，使用idea编写spark任务，并可直接右键运行提交至远程Linux Spark集群上，不需要打包后再拷贝至远程Linux服务器上，再使用命令运行。

准备工作

• 软件
  • win10
  • jdk1.7(windows版本:1.7.0_79)
  • scala2.11.8(windows版本：scala-2.11.8.zip)
  • idea 2016.3.2(windows版本：ideaIU-2016.3.2.exe)
  • hadoop2.7.3(linux版本：hadoop-2.7.3.tar.gz)
  • spark2.0.2(linux版本：spark-2.0.2-bin-hadoop2.7.tgz)
  • idea scala插件（scala-intellij-bin-2016.3.4.zip，https://plugins.jetbrains.com/idea/plugin/1347-scala）
  • winutil.exe等（winutil下载地址）
  • maven3.3.9(windows版本：apache-maven-3.3.9-bin.zip)
    阅读全文 »

概述

本文是对spark2.0.2分布式集群搭建的一个详细说明。旨在通过阅读该文章帮助开发人员快速搭建spark分布式集群。

三种集群资源管理概述

• Spark Standalone
  作为Spark的一部分,Standalone是一个简单的集群管理器。它具有master的HA，弹性应对WorkerFailures，对每个应用程序的管理资源的能力，并且可以在现有的Hadoop一起运行和访问HDFS的数据。该发行版包括一些脚本，可以很容易地部署在本地或在AmazonEC2云计算。它可以在Linux，Windows或Mac OSX上运行。

• Apache Mesos
  Apache Mesos ,分布式系统内核，具有HA的masters和slaves，可以管理每个应用程序的资源，并对Docker容器有很好的支持。它可以运行Spark工作， Hadoop的MapReduce的，或任何其他服务的应用程序。它有Java， Python和C ++ 的API。它可以在Linux或Mac OSX上运行。

• Hadoop YARN
  Hadoop YARN，作业调度和集群资源管理的分布式计算框架，具有HA为masters和slaves，在非安全模式下支持Docker容器，在安全模式下支持Linux和Windows Container executors，和可插拔的调度器。它可以运行在Linux和Windows上运行。

本文将使用Hadoop YARN方式进行集群搭建。

概述

本文是搭建hadoop分布式集群的一个详细说明，旨在通过本文，快速入手hadoop

部署方案

hadoop部署方案包括：单机模式、伪分布模式、完全分布模式

本文将使用完全分布模式进行集群搭建

redis部署说明

• 版本
  使用redis最新版3.2.3进行安装
• 主从关系
  使用1个主节点，3个从节点。主节点提供读写操作，从节点只提供读操作。主节点Master安装在dbp模块，提供大量的写操作服务； 3个从节点。
• 哨兵机制
  配置3个哨兵，主节点dbp安装1个哨兵，另外3台从服务器选其中两台各安装一个。作为HA高可用方案，防止主节点单点失败，通过重新选举主节点实现故障快速转移。
  阅读全文 »