반응형 빅데이터처리2 하둡(Hadoop)의 아키텍처, 병렬처리, 장애처리 전략 목차1. 하둡 기반 오픈소스의 시대2. 하둡의 마스터-슬레이브 아키텍처3. 병렬처리 구조와 아키텍처 종류, 역사4. 분산 아키텍처 스타일과 하둡 아키텍처의 진화5. 하둡 장애처리 전략6. 하둡 최종 아키텍처⭐️하둡(Hadoop) 기반 빅데이터, AI, 오픈소스 시대과거에는 기업들이 하둡 기반의 시스템들을 오픈소스로 구현해 사용했음.예를 들어 LG 같은 기업도 자체 솔루션을 만들어 활용했음.다양한 기업들이 각자의 하둡 기반 솔루션을 만들어 쓰다가, 어느 시점부터는 내부 시스템으로 정착되어 외부 관심에서는 사라지게 됨.하지만 "사라졌다고 해서 사용하지 않는 것이 아니라", 오히려 내부적으로 안정된 솔루션으로 계속 사용 중임. AI 시대에서도 하둡은 살아 있다지금은 AI 시대이며, 대부분의 분석 및 모델링 도.. 2025. 4. 2. 빅데이터 처리와 람다 아키텍처 소개(Hadoop) 클라우드, AI, 빅데이터 시대의 도래2013년부터 핸드폰 보급률 증가 → 빅데이터 시대 도래2020년 이후 IoT 보급 → 초연결 사회로 진입클라우드는 가상화(Virtualization) 기술을 통해 시스템의 유연성과 확장성을 크게 향상시킴AI는 미래 사회의 필수 기반 기술이 됨 AI 시대의 핵심 요소컴퓨팅 파워 (GPU, Parallel Processing)Advanced Algorithm (딥러닝, 머신러닝 등)Massive Dataset (대규모 데이터셋)이 3가지 요소가 결합되며, 2017년 이후 본격적인 AI 대중화가 시작됨.빅데이터의 정의: 컴퓨터에 저장할 수 없는 데이터빅데이터는 다음의 3V 특성을 가진다.Volume (크기): 대규모 데이터, TB → PB → ZB 단위로 확장Variet.. 2025. 4. 2. 이전 1 다음
