Machine Learning (4) 썸네일형 리스트형 Hadoop 사용 Port Ports Hadoop App Port Hosts Notes Hadoop HDFS NameNode 8020 analytics1001,analytics1002 Hadoop HDFS over HTTP (HTTPFS) 14000 analytics1001,analytics1002 Hadoop HDFS NameNode HTTP UI 50070 analytics1001,analytics1002 Hadoop HDFS NameNode HTTPS UI 50470 analytics1001,analytics1002 Hadoop HDFS HA JournalNode 8485 analytics1028,analytics1035,analytics1052 Hadoop HDFS DataNode 50010 analytics1028-ana.. Mesos를 Standalone으로 돌리기 Mesos에 익숙하지 않은 사람은 Apache Mesos 프로젝트 사이트를 읽어보세요.. 개략적으로 설명드리면 Mesos는 클러스터 관리 플랫폼으로 여러대의 서버를 하나의 공유 Pool로 합치는 역할을 합니다. 여기서 Hadoop, 젠틴스, 카산드라, ElasticSearch 같은 어플리케이션이나 프레임워크를 돌릴 수 있습니다. Mesos는 아주 효과적으로 부하를 분산하고 배치 작업이나 long-running 서비스에게 독립적인 리소스를 제공합니다. Mesos용으로 빌드된 어플리케이션이나 프레임워크는 Mesos site에서 확인하세요. 추가적으로 Mesosphere Marathon과 ZooKeeper가 설치되어야합니다. Marathon은 long-running 서비스를 위한 프레임워크입니다. long-r.. Spark 빌드하기 원문: http://spark.apache.org/docs/latest/Spark는 pre-build 바이너리를 사용해서도 설치가 가능하나 여기서는 Ubuntu 14.04에서 직접 빌드하는 것을 알아보도록 하겠습니다.빌드를 위해서는 먼저 Maven 3.3.3 이상 그리고 Java 7 이상이 필요합니다.Maven이 설치되어 있지 않다면 먼저 아래 방법에 따라 먼저 maven 3를 설치합니다. 우선 maven 3 repository를 등록해야합니다.sudo -H gedit /etc/apt/sources.list아래 라인을 sources.list 파일에 추가합니다.deb http://ppa.launchpad.net/natecarlson/maven3/ubuntu precise maindeb-src http://.. Ubuntu에 Hadoop Single Node로 설치하기 머신러닝을 돌려보려고해도 환경이 구축되지 않으면 어렵습니다.대부분 Clustering 환경에서 돌아가기 때문엔 서버가 여러대가 필요하지만 여기서는 집에서도 간단하게 공부할 수 있도록 Ubuntu 14.04에 Hadoop을 Single-Node로 설치하는 법을 알아보겠습니다. 먼저 Java를 설치해야합니다. 여기에서는 OpenJDK 1.7을 설치했지만 Oracle JDK나 1.8을 사용하셔도 무방합니다.k@laptop:~$ cd ~ # Update the source list k@laptop:~$ sudo apt-get update # The OpenJDK project is the default version of Java # that is provided from a supported Ubuntu re.. 이전 1 다음