반응형 네트워크17 [Hadoop] 하둡 Inverted Index 실습 가이드 (Fully Distributed 모드) Hadoop Inverted Index 실습이 글에서는 Hadoop Fully Distributed Mode 환경에서 Inverted Index를 만드는 실습을 진행합니다. Inverted Index는 검색 엔진에서 핵심적으로 사용되는 자료구조로, 각 단어가 어떤 문서에 등장했는지를 저장합니다. 이 실습에 앞서 HDFS가 구축이 돼야 합니다.https://konkukcodekat.tistory.com/252 [Hadoop] 하둡 HDFS 실습 환경 설정 (Fully Distributed 모드)Hadoop Fully Distributed Mode + HDFS Setup 가이드1. Hadoop 실행 모드 소개Standalone Mode모든 프로세스를 단일 JVM에서 실행하며, HDFS를 사용하지 않음개발 및.. 2025. 4. 14. [Hadoop] 하둡 MapReduce 기본 실습 가이드 (Fully Distributed 모드) Hadoop MapReduce실습 - WordCount standalone 모드로 실습하는 법 (HDFS 사용X)https://konkukcodekat.tistory.com/251 [Hadoop] 하둡 설치 및 Standalone 모드로 wordCount 기본 예제 실습Hadoop 실습 환경 구성 (VM 기반)https://konkukcodekat.tistory.com/250 [Hadoop] 하둡 실습을 위한 VM 환경 세팅 (virtual box, VMware Fusion)Ubuntu 기반 하둡 실습 환경 구축: 네트워크 설정 가이드 하둡 실습을 위해선 Vkonkukcodekat.tistory.com Fully Distributed 모드로 실행하기 위해서는 HDFS 실행이 돼야한다.https://kon.. 2025. 4. 14. [Hadoop] 하둡 HDFS 실습 환경 설정 (Fully Distributed 모드) Hadoop Fully Distributed Mode + HDFS Setup 가이드1. Hadoop 실행 모드 소개Standalone Mode모든 프로세스를 단일 JVM에서 실행하며, HDFS를 사용하지 않음개발 및 테스트에 적합core-site.xml, mapred-site.xml, hdfs-site.xml 등에 설정 없음 → 로컬 파일 시스템 사용Fully Distributed Mode여러 노드에 Hadoop 구성요소를 분산 설치하여 운영하는 방식대규모 데이터 처리 환경에 적합장점:고가용성: 일부 노드 장애 시에도 시스템 운영 가능확장성: 노드 추가로 시스템 확장 가능병렬 처리 효율: 분산 저장과 MapReduce 기반 동시 처리2. Hadoop 주요 모듈 구조HDFS (Hadoop Distribut.. 2025. 4. 14. [Hadoop] 하둡 설치 및 MapReduce 기본 예제 실습 (Standalone 모드) Hadoop MapReduce Standalone mode - WordCount 실습 Hadoop 실습 환경 구성 (VM 기반)https://konkukcodekat.tistory.com/250 [Hadoop] 하둡 실습을 위한 VM 환경 세팅 (virtual box, VMware Fusion)Ubuntu 기반 하둡 실습 환경 구축: 네트워크 설정 가이드 하둡 실습을 위해선 VM(Ubuntu)의 네트워크 설정이 매우 중요하다.이 글에서는 cloud-init 비활성화, VM 네트워크 어댑터 설정, IP 수동 할당, 그konkukcodekat.tistory.com Hadoop이란?Hadoop은 대용량 데이터를 효율적으로 저장하고 처리할 수 있는 오픈소스 기반의 분산 처리 프레임워크이다. 단일 서버에서 수천 .. 2025. 4. 14. [Hadoop] 하둡 실습을 위한 VM 환경 세팅 (virtual box, VMware Fusion) Ubuntu 기반 하둡 실습 환경 구축: 네트워크 설정 가이드 하둡 실습을 위해선 VM(Ubuntu)의 네트워크 설정이 매우 중요하다.이 글에서는 cloud-init 비활성화, VM 네트워크 어댑터 설정, IP 수동 할당, 그리고 VMware Fusion과 VirtualBox 각각에서 네트워크 구성법을 단계별로 안내한다. 하둡 실습을 하려면 VM을 '최소' 2개 만들어야 한다 (master, slave1) VM에 ubuntu 설치하는건 이글의 주제를 벗어나므로 ubuntu가 설치됐다고 가정하고 진행하겠다. master, slave VM을 각각 생성하고 아래 과정을 각 vm마다 수행해주면 된다Step 1. Cloud-init 비활성화Ubuntu의 cloud-init은 부팅 시 네트워크를 포함한 다양한 설정.. 2025. 4. 14. [네트워크] 비디오 스트리밍 원리와 DASH, P2P, CDN 소개 Peer-to-Peer (P2P) 네트워크P2P 네트워크에서는 중앙 서버 없이 각 피어가 직접 서로 통신한다. 피어는 다른 피어에게 서비스를 제공하고, 그 대가로 서비스를 받는다("give and take"). 피어 간 서비스는 주로 파일 공유나 스트리밍 형태로 이루어지며, 대표적 서비스는 BitTorrent, KanKan 등이 있다.P2P의 특징과 장점확장성(Scalability)새로운 피어의 참여로 인해 서비스 용량과 수요가 동시에 증가한다.피어는 간헐적으로(intermittently) 네트워크에 접속하며, 위치 및 IP가 변할 수 있다. P2P 아키텍처항상 켜져 있는 서버가 없음 (no always-on server)임의의 종단 시스템(end system)끼리 직접 통신함각 peer는 다른 peer.. 2025. 4. 10. [네트워크] 이메일 시스템과 프로토콜(SMTP, IMAP, POP, HTTP) 이메일 시스템이메일 시스템은 크게 세 가지 요소로 구성된다:User Agent (UA): 이메일을 작성하고 읽는 클라이언트 프로그램 (예: Outlook, Gmail 등)Mail Server: 사용자 메일박스를 관리하고 메시지를 저장SMTP(Simple Mail Transfer Protocol): 메일 서버 간 메시지를 전송하는 프로토콜메일 서버는 다음 두 가지 주요 구조를 가진다:Mailbox: 사용자의 수신 메시지를 저장하는 공간Message Queue: 전송 대기 중인 아웃고잉 메시지를 임시 저장하는 큐 즉, 메일 서버는 수신된 메시지를 저장하고, 발신 메시지를 다른 메일 서버로 전송하는 두 가지 역할을 동시에 수행한다.이메일의 전송 과정은 다음과 같다:사용자는 User Agent를 통해 이메일을 .. 2025. 4. 4. 이전 1 2 3 다음
