반응형 netplan4 [Hadoop] 하둡 MapReduce 기본 실습 가이드 (Fully Distributed 모드) Hadoop MapReduce실습 - WordCount standalone 모드로 실습하는 법 (HDFS 사용X)https://konkukcodekat.tistory.com/251 [Hadoop] 하둡 설치 및 Standalone 모드로 wordCount 기본 예제 실습Hadoop 실습 환경 구성 (VM 기반)https://konkukcodekat.tistory.com/250 [Hadoop] 하둡 실습을 위한 VM 환경 세팅 (virtual box, VMware Fusion)Ubuntu 기반 하둡 실습 환경 구축: 네트워크 설정 가이드 하둡 실습을 위해선 Vkonkukcodekat.tistory.com Fully Distributed 모드로 실행하기 위해서는 HDFS 실행이 돼야한다.https://kon.. 2025. 4. 14. [Hadoop] 하둡 HDFS 실습 환경 설정 (Fully Distributed 모드) Hadoop Fully Distributed Mode + HDFS Setup 가이드1. Hadoop 실행 모드 소개Standalone Mode모든 프로세스를 단일 JVM에서 실행하며, HDFS를 사용하지 않음개발 및 테스트에 적합core-site.xml, mapred-site.xml, hdfs-site.xml 등에 설정 없음 → 로컬 파일 시스템 사용Fully Distributed Mode여러 노드에 Hadoop 구성요소를 분산 설치하여 운영하는 방식대규모 데이터 처리 환경에 적합장점:고가용성: 일부 노드 장애 시에도 시스템 운영 가능확장성: 노드 추가로 시스템 확장 가능병렬 처리 효율: 분산 저장과 MapReduce 기반 동시 처리2. Hadoop 주요 모듈 구조HDFS (Hadoop Distribut.. 2025. 4. 14. [Hadoop] 하둡 설치 및 MapReduce 기본 예제 실습 (Standalone 모드) Hadoop MapReduce Standalone mode - WordCount 실습 Hadoop 실습 환경 구성 (VM 기반)https://konkukcodekat.tistory.com/250 [Hadoop] 하둡 실습을 위한 VM 환경 세팅 (virtual box, VMware Fusion)Ubuntu 기반 하둡 실습 환경 구축: 네트워크 설정 가이드 하둡 실습을 위해선 VM(Ubuntu)의 네트워크 설정이 매우 중요하다.이 글에서는 cloud-init 비활성화, VM 네트워크 어댑터 설정, IP 수동 할당, 그konkukcodekat.tistory.com Hadoop이란?Hadoop은 대용량 데이터를 효율적으로 저장하고 처리할 수 있는 오픈소스 기반의 분산 처리 프레임워크이다. 단일 서버에서 수천 .. 2025. 4. 14. [Hadoop] 하둡 실습을 위한 VM 환경 세팅 (virtual box, VMware Fusion) Ubuntu 기반 하둡 실습 환경 구축: 네트워크 설정 가이드 하둡 실습을 위해선 VM(Ubuntu)의 네트워크 설정이 매우 중요하다.이 글에서는 cloud-init 비활성화, VM 네트워크 어댑터 설정, IP 수동 할당, 그리고 VMware Fusion과 VirtualBox 각각에서 네트워크 구성법을 단계별로 안내한다. 하둡 실습을 하려면 VM을 '최소' 2개 만들어야 한다 (master, slave1) VM에 ubuntu 설치하는건 이글의 주제를 벗어나므로 ubuntu가 설치됐다고 가정하고 진행하겠다. master, slave VM을 각각 생성하고 아래 과정을 각 vm마다 수행해주면 된다Step 1. Cloud-init 비활성화Ubuntu의 cloud-init은 부팅 시 네트워크를 포함한 다양한 설정.. 2025. 4. 14. 이전 1 다음
