본문 바로가기
반응형

전체 글217

[데이터베이스] 모델링, 관계집합, E-R 다이어그램(ERD) 데이터베이스 모델링 (Modeling)데이터베이스는 다음과 같이 모델링할 수 있다:엔티티들의 집합(Collection)엔티티들 간의 관계(relationship)엔티티(Entity)엔티티는 존재하며 다른 객체들과 구별 가능한 객체를 의미한다.예시: 특정 학생 (예: Williams)속성(Attribute)엔티티는 여러 개의 속성(특징) 을 가진다.예시: 학생은 이름(name), 전화번호(phone number) 등의 속성을 가짐엔티티 집합(Entity Set) = relation같은 유형(Type)의 엔티티들이 모인 집합이며, 동일한 속성을 공유한다.예시: 모든 학생들의 집합, 모든 학과들의 집합 등 Entity Sets instructor and studentinstructor = entity set .. 2025. 4. 4.
[네트워크] DNS(Domain Name System)개념, 계층 구조와 메세지 포맷, 보안 DNS (Domain Name System)1. DNS란?DNS는 사람이 기억하기 쉬운 도메인 이름(예: www.google.com)을컴퓨터가 통신에 사용하는 IP 주소(예: 142.250.206.132)로 변환해주는 분산형 데이터베이스 시스템이다.이 기능은 웹 브라우징, 이메일, 스트리밍 등 거의 모든 인터넷 서비스의 기초가 되며,인터넷의 핵심 기능 중 하나(core Internet function)로 간주된다.DNS는 애플리케이션 계층의 프로토콜이며, 네트워크의 Edge에서 동작한다DNS는 애플리케이션 계층의 프로토콜이다.호스트(클라이언트)와 DNS 서버가 통신하여 이름을 IP 주소로 변환한다.DNS는 네트워크의 가장자리(edge) 에서 수행되는 복잡한 기능 중 하나이며, 클라이언트 가까운 위치(사용.. 2025. 4. 4.
[네트워크] 이메일 시스템과 프로토콜(SMTP, IMAP, POP, HTTP) 1. 이메일 시스템이메일 시스템은 크게 세 가지 요소로 구성된다:User Agent (UA): 이메일을 작성하고 읽는 클라이언트 프로그램 (예: Outlook, Gmail 등)Mail Server: 사용자 메일박스를 관리하고 메시지를 저장SMTP(Simple Mail Transfer Protocol): 메일 서버 간 메시지를 전송하는 프로토콜메일 서버는 다음 두 가지 주요 구조를 가진다:Mailbox: 사용자의 수신 메시지를 저장하는 공간Message Queue: 전송 대기 중인 아웃고잉 메시지를 임시 저장하는 큐 즉, 메일 서버는 수신된 메시지를 저장하고, 발신 메시지를 다른 메일 서버로 전송하는 두 가지 역할을 동시에 수행한다.이메일의 전송 과정은 다음과 같다:사용자는 User Agent를 통해 이메.. 2025. 4. 4.
[네트워크] 웹 캐시와 HTTP framing Web Cache1. Web Cache (웹 캐시)1.1 정의Web Cache는 클라이언트의 요청을 원 서버(origin server)로 보내지 않고도 응답할 수 있도록 하는 중간 서버이다.일반적으로 Proxy Server(프록시 서버) 라고도 불리며, 대신 요청을 처리해주는 대리인(Agent) 역할을 한다.1.2 동작 원리사용자는 브라우저 설정을 통해 Web Cache를 사용하도록 구성한다.브라우저는 모든 HTTP 요청을 Web Cache로 보낸다.Web Cache의 처리:요청한 객체가 캐시에 있다면, Web Cache는 그 객체를 클라이언트에 직접 전달한다.캐시에 없다면, Web Cache는 원 서버에 요청을 보내고, 응답 받은 객체를 자신의 캐시에 저장한 후, 클라이언트에 전달한다.2. Web Ca.. 2025. 4. 4.
Ceph의 소개와 HDFS와 차이 Ceph: 고확장성 오브젝트 기반 분산 파일 시스템Ceph는 오픈소스 객체 기반 분산 파일 시스템으로, 높은 확장성과 가용성, 유연성을 제공하며 다양한 형태의 스토리지 인터페이스(Block, File, Object)를 지원한다. 특히 클라우드 환경에서 VM 백엔드 저장소, 오브젝트 저장소 등으로 널리 활용된다.1. Ceph의 주요 특징Unified Storage: Block, File, Object 스토리지 지원Scalable: 수만~10만 개 노드까지 확장 가능 (엑사바이트 단위)Active-Active 구조: 모든 컴포넌트가 동시에 읽기/쓰기 처리 가능Self-healing: 장애 발생 시 자동 복구Open Source: GPL 기반, 다양한 상용 서비스에 활용 가능멀티 OS 지원: CentOS, U.. 2025. 4. 3.
HDFS(하둡 분산 파일 시스템) 구조 및 작동 방식 HDFS: Hadoop Distributed File SystemHDFS는 대용량 파일 저장 및 분산 처리에 최적화된 분산 파일 시스템이다. 다음과 같은 설계 철학을 기반으로 한다:설계 목적매우 큰 파일 저장: 수백 MB ~ 수 TB에 이르는 대규모 파일스트리밍 데이터 접근 패턴: Write-once, Read-many-times 방식일반 하드웨어(Commodity Hardware)에서 구동 가능HDFS의 제한 사항HDFS는 모든 유형의 워크로드에 적합하지 않다. 대표적인 제한 사항은 다음과 같다:낮은 지연시간 요구에 부적합: HDFS는 고처리량(Throughput)에 최적화되어 있으며, 실시간 처리에는 부적절하다.예: 실시간 쿼리 → HBase 추천작은 파일이 많은 경우 비효율:메타데이터를 NameNo.. 2025. 4. 3.
하둡(Hadoop)의 아키텍처, 병렬처리, 장애처리 전략 목차1. 하둡 기반 오픈소스의 시대2. 하둡의 마스터-슬레이브 아키텍처3. 병렬처리 구조와 아키텍처 종류, 역사4. 분산 아키텍처 스타일과 하둡 아키텍처의 진화5. 하둡 장애처리 전략6. 하둡 최종 아키텍처⭐️1. 하둡(Hadoop) 기반 빅데이터, AI, 오픈소스 시대과거에는 기업들이 하둡 기반의 시스템들을 오픈소스로 구현해 사용했음.예를 들어 LG 같은 기업도 자체 솔루션을 만들어 활용했음.다양한 기업들이 각자의 하둡 기반 솔루션을 만들어 쓰다가, 어느 시점부터는 내부 시스템으로 정착되어 외부 관심에서는 사라지게 됨.하지만 "사라졌다고 해서 사용하지 않는 것이 아니라", 오히려 내부적으로 안정된 솔루션으로 계속 사용 중임. AI 시대에서도 하둡은 살아 있다지금은 AI 시대이며, 대부분의 분석 및 모델.. 2025. 4. 2.
빅데이터 처리와 람다 아키텍처 소개(Hadoop) 클라우드, AI, 빅데이터 시대의 도래2013년부터 핸드폰 보급률 증가 → 빅데이터 시대 도래2020년 이후 IoT 보급 → 초연결 사회로 진입클라우드는 가상화(Virtualization) 기술을 통해 시스템의 유연성과 확장성을 크게 향상시킴AI는 미래 사회의 필수 기반 기술이 됨 🔧 AI 시대의 핵심 요소컴퓨팅 파워 (GPU, Parallel Processing)Advanced Algorithm (딥러닝, 머신러닝 등)Massive Dataset (대규모 데이터셋)이 3가지 요소가 결합되며, 2017년 이후 본격적인 AI 대중화가 시작됨.빅데이터의 정의: 3V빅데이터는 다음의 3V 특성으로 정의된다.Volume (크기): 대규모 데이터, TB → PB → ZB 단위로 확장Variety (다양성): 정.. 2025. 4. 2.
[네트워크] 전송계층과 HTTP와 쿠키(Cookie) 애플리케이션이 필요로 하는 Transport Layer 서비스는 무엇인가?애플리케이션에 따라 요구하는 전송 계층(Transport Layer) 서비스는 다르다. 이를 이해하면 적절한 전송 프로토콜(TCP, UDP)을 선택할 수 있다.1. Data Integrity (데이터 무결성)일부 애플리케이션은 100% 신뢰성 있는 데이터 전송(reliable data transfer) 을 요구한다.예: 파일 전송(file transfer), 웹 거래(web transactions) 등반면 일부 애플리케이션은 일부 손실(loss) 을 허용할 수 있다.예: 오디오(audio) 스트리밍. 인간의 귀는 작은 손실을 인지하지 못할 수도 있기 때문이다.2. Timing (타이밍, 시간 민감도)특정 애플리케이션은 낮은 지연(l.. 2025. 4. 1.
[네트워크] 응용계층과 프로토콜, P2P, 클라이언트-서버 아키텍처 응용 계층응용 계층은 네트워크에서 사용자가 직접 사용하는 서비스들이 동작하는 계층이다. 웹 브라우징, 이메일, 파일 전송, 스트리밍 등 모든 인터넷 애플리케이션이 바로 이 응용 계층에서 작동한다. 응용 계층을 학습하는 목적응용 계층 학습의 핵심 목표는 다음과 같다:응용 계층 프로토콜의 개념적 구조와 구현 방식을 모두 이해한다.전송 계층 서비스 모델(Transport-layer service model) 을 이해한다.클라이언트-서버 패러다임(Client-Server paradigm) 과 피어-투-피어 패러다임(Peer-to-Peer paradigm) 을 비교 분석한다.HTTP, SMTP, IMAP, DNS, 영상 스트리밍 시스템, CDN 등 실제로 사용되는 응용 계층 프로토콜을 분석한다.소켓 API를 활용.. 2025. 4. 1.

티스토리툴바