두 번 세 번 아니 네 번은 다시 검토해라

Ambari 란

대규모 분산 데이터 처리 시스템인 Apache Hadoop의 설치, 구성, 관리를 단순화하는 도구

버전 및 Documents

- Ambari : 2023년 6월 19일 기준 Latest 2.7.5
- hadoop : Ambari 2.7.5 supports only HDP-3.1.5 and HDF-3.2.0
- python : Python 2.7.12 (with python-devel*)
- 참고 : https://docs.cloudera.com/HDPDocuments/Ambari-2.7.5.0/bk_ambari-installation/content/determine_product_interop.html

- OS 설정
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.5.0/bk_ambari-installation/content/meet_minimum_system_requirements.html

- Spark Install
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/installing-spark/content/installing_spark.html

mpack (Management Pack) 이란

Ambari에 추가적인 기능과 서비스를 제공하는 패키지

mpack 과 bigtop의 차이

- Ambari MPack은 클러스터 관리를 위한 서비스, 컴포넌트, 스택 등의 추가 패키지를 설치하고 관리하는 데 사용
- Bigtop은 다양한 Hadoop 에코시스템 프로젝트(예: Hadoop, Hive, Pig, Spark 등)의 소스 코드를 컴파일하고, 패키지화하여 배포 가능한 형태로 제공

사용 이유

Ambari에 새로운 서비스, 컴포넌트, 매트릭, 대시보드, 사용자 정의 작업 등을 추가할 수 있다. (Ambari 유연성 향상 및 맞춤화)

Ambari mpack 구조

StackXYZ Management : Ambari hadoop의 핵심 구성 요소(YARN, HIVE, HDFS 등)를 설치(빌드) 전에 관리하는 용도
Add-On Service Management : Ambari 클러스터에 추가적인 구성 요소로 통합하여 관리할 수 있는, 스택의 일부가 아닌 서비스들을 설치(빌드)하는 용도(Spark, Zeppelin, Flink 등)

StackXYZ Management 구조

mpack.json : Ambari 설치 시에 설치하려는 서비스들에 대한 스펙이 작성되어 있는 파일
common-services : 스택 내에 사용되는 공통 서비스들(여러서비스들)에 적용할 수 있는 정의, 구성 등의 모든 소스들을 포함하는 디렉토리
stacks : 스택을 구성하는 서비스들의 각 개별 서비스의 정의, 구성 소스들을 포함하는 디렉토리(각각의 서비스에 대한 특정 구성을 적용하려면 여기에 있는 소스를 변경해야함)

Add-On Service Management 구조

mpack.json : Ambari 설시에 코어 서비스외에 추가적인 요소를 설치할 때 설치되는 서비스들에 대한 스펙을 작성하는 파일
common-services : 위와 동일
custom-services : 추가하려는 서비스들의 각 개별 정의, 구성 소스들을 포함하는 디렉토리

- mpack documents(Install, Structure)

참고 :  https://cwiki.apache.org/confluence/display/AMBARI/Management+Packs#ManagementPacks-InstallingManagementPack

HCP, HDP

- HDP(Hortonworks Data Platform) : Hadoop 기술 스택을 포함하는 데이터 관리 분석 플랫폼
- HCP(Hortonworks Data Cloud for AWS) : AWS 클라우드에서 HDP 기반의 데이터 플랫폼을 제공하는 솔루션

linux 정식 배포 날짜, 최대 지원 날짜

8.8 버전 기준 2023-05-19 배포, 2024년까지 general support, security support는 2029-05-01 까지
참고 : https://docs.rockylinux.org/release_notes/#rocky-8

Linux Minimal, normal 제공 패키지 차이 (+ 적합한 환경)

Minimal 버전은 필수적인 시스템 패키지와 핵심 도구만 포함, Normal 버전이 디스크 공간은 많이 사용하지만 많은 패키지가 포함되어 있어서 별도로 설치해야하는 패키지들이 줄어들어 작업 속도가 빨라질 수 있다.

- Minimal 버전은 리소스가 제한이 있는 작은 설치 크기, 가벼운 시스템 구조의 임베디드 시스템 환경

- Normal 버전은 데스크톱, 응용 프로그램 개발 등에 적합한 환경.

Rocky 8 관련 공식 패키지 다운로드
참고 : https://download.rockylinux.org/pub/rocky/8/BaseOS/x86_64/os/Packages/

Install
참고 : https://docs.rockylinux.org/guides/8_6_installation/#os-installation-prerequisites

오브젝트 스토리지란

객체라고 하는 비정형 형식으로 데이터를 저장하고 관리하는 기술

사용이유

- Restful API 지원

장점

- 비정형 데이터를 쉽고 빠르게 저장
- 평면(flat) 구조로 데이터 확장에 제한이 없음

단점

- 데이터 수정 불가능 (덮어쓰는 방법 사용)

오브젝트 구조

- 오브젝트에는 데이터와 식별번호, 메타데이터가 포함
- 128비트 정수로 구성된 고유식별자(UUID)로 빠른 데이터 검색

- 참고 URL
https://tech.gluesys.com/blog/2021/04/20/storage_9_intro.html
https://www.dknyou.com/blog/?q=YToxOntzOjEyOiJrZXl3b3JkX3R5cGUiO3M6MzoiYWxsIjt9&bmode=view&idx=10474168&t=board

쿠버네티스란

컨테이너화된 애플리케이션의 관리 플랫폼

사용 이유

1. 뛰어난 컨테이너 이식성으로 빠르게 변화 및 확장해야하는 요구사항에 적합
2. 여러 호스트에서 사용되는 컨테이너들을 효율적으로 관리할 수 있다.
3. 시스템 리소스를 효율적으로 분배 및 사용할 수 있다.

구성 요소

[master node]
- etcd : 쿠버네티스 클러스터의 모든 데이터를 담고 있는 key-value 저장소
- kube-api-server : 쿠버네티스 내의 서비스, 외부 컴포넌트 등이 서로 통신할 수 있도록하는 API
- kube-scheduler : 클러스터 중 자원 할당 가능한 노드 선택 후 파드 생성 역할
- kube-controller-namanger : 파드들을 관리하는 컨트롤러
- cloud-controller-manager : 클라우드 서비스와 연결하여 컨트롤러들을 관리

[worker node]

- kubelet : 다른 노드들과 통신, 컨테이너 관리 및 체크
- kube-proxy : 네트워크 프록시
(proxy : "대리"라는 의미로 클라이언트에서 서버로 접속할 때 직접이 아닌 중간에 대신 전달해주는 서버를 의미)
- runtime : 실제로 컨테이너를 실행시키는 컴포넌트(주로 Docker)

[Basic Object]

- Pod : 컨테이너를 하나 이상으로 모아 놓은 것, 쿠버네티스 애플리케이션의 최소 단위
- Service Volume : pod에 종속되는 디스크 (여러개의 컨테이너 공유해서 사용될 수 있다)
- Namespace : 하나의 클러스터 안의 논리적인 구분 공간 (개발/운영/테스트 3개로 분리 가능)

참고

https://www.redhat.com/ko/topics/containers/what-is-kubernetes
https://ooeunz.tistory.com/118

Redis란

레디스는 고성능 키-값 저장소로서 문자열, 리스트, 해시, 셋, 정렬된 셋 형식의 데이터를 지원하는 NoSQL이다.

Redis를 사용하는 이유

사용자가 늘어난다면 데이터 베이스가 디스크에 접근 수가 많아지면서 과부하 될 수 있기 때문에 이때 캐시 서버(Redis)를 도입하여 사용

캐시란

캐시는 한번 읽어온 데이터를 임의의 공간에 저장하여 다음에 읽을 때는 빠르게 결과값을 받을 수 있도록 도와주는 공간

패턴 종류

- Look aside cache 패턴 : 데이터요청 -> 캐시서버조회 -> 없으면 DB조회 -> 응답데이터전달
- Write Back 패턴 : 웹서버 데이터 캐시서버에 저장(특정시간동안) -> 캐시서버데이터 DB에저장 -> DB저장된 캐시서버데이터 삭제

특징

- 쿼리 사용 X
- 영속성을 지원하는 인 메모리 데이터 저장소
- 메모리에서 데이터를 처리하기 때문에 속도가 빠름
- String, Lists, Sets, Sorted Sets, Hashes 자료 구조를 지원
- 한 번에 하나의 명령만 처리하는 Single Threaded

영속성이란

데이터를 생성한 프로그램이 종료되더라도 데이터가 사라지지 않는 특성을 Persistence(영속성)이라고 합니다.

데이터를 DISK에 저장하는 두 가지 방식(영속성)

RDB(Snapshotting) : 순간적으로 메모리에 있는 내용을 DISK에 전체를 옮겨 담는 방식
AOF(Append On File) : Redis의 모든 write/update 연산 자체를 모두 log 파일에 기록하는 형태

참고 URL

https://wildeveloperetrain.tistory.com/21
https://devlog-wjdrbs96.tistory.com/374
https://aws.amazon.com/ko/redis/

JenKins란 

젠킨스는 소프트웨어 개발 시 지속적으로 통합 서비스를 제공하는 툴(CI)

사용이유

빌드, 배포, 구동 등의 과정을 자동화하여 개발 효율을 증가시키는 목적

기능

- 컴파일 오류 검출
- 빌드 자동화
- 자동화 테스트 수행
- 정적 코드 분석 기능을 통해 코드 품질 검사
- 애플리케이션 서버로의 Deploy(배포) 등 간략화

생각해볼만한 부분

지속적인 통합과 관리가 이루어진다면 소스 관리에 많은 비용이 발생하기 때문에 프로젝트 팀의 요구에 따라 적절하게 구성하는 것이 중요.

참고한 URL

https://tjdrnr05571.tistory.com/12
https://jjeongil.tistory.com/810
https://2mukee.tistory.com/237
https://haningya.tistory.com/19

SPA(Single Page Application)란

서버로부터 새로운 페이지를 불러오지 않고 현재의 페이지를 동적으로 다시 작성함으로써 사용자와 소통하는 웹 애플리케이션이나 웹사이트

특징

- 웹 앱에 필요한 모든 정적 리소스를 처음에 한번 다운로드
- 페이지 간 이동 시, 페이지 갱신에 필요한 데이터만을 JSON으로 전달받아 페이지를 갱신
- 네이티브 앱과 유사한 사용자 경험을 제공함으로써 모바일 웹에 최적화
- 프론트엔드와 백엔드의 분리

단점

- 초기 구동속도가 느린 편
- SEO(검색엔진 최적화) 어려움

SEO(Search Engine Optimization)란

포털 사이트에서 검색 시 상위에 노출되도록 웹 페이지를 구성하는 것

관련 프레임워크

- Angular.js
- React.js
- Vue.js

참고

https://www.ascentkorea.com/seo-for-spa/
https://velog.io/@gwanuuoo/SPA%EB%8A%94-%EA%B8%B0%EC%A1%B4-%EC%9B%B9%EC%82%AC%EC%9D%B4%ED%8A%B8%EC%99%80-%EC%B0%A8%EC%9D%B4
https://jsj0903.tistory.com/4
https://www.ascentkorea.com/seo-checklist-for-spa/
https://yozm.wishket.com/magazine/detail/1540/

Node.js란

javascript 언어로 http 서버를 구축할 수 있고, 구축한 서버에서 작성한 JavaScript가 작동되도록 해주는 런타임 환경
(런타임 : 프로그래밍 언어가 동작하는 컴퓨터 환경)

중요한 부분

- Node.js에 포함된 라이브러리 및 http모듈을 이용하여 서버 생성
- 프론트 개발, 백엔드 개발 둘 다 사용
- 입출력이 잦고 데이터를 실시간으로 다루는 앱에 적합(데이터 스트리밍 앱, 실시간 채팅 앱, 서버사이드 웹 앱, 싱글페이지 앱 등)

특징

- 구글 V8 자바스크립트 엔진
- 빠른 속도의 네트워크 서버
- 단일 쓰레드(Single Thread) 이벤트 루프(Event Loop) 기반
- 비동기 I/O 처리(Non-Blocking I/O)
- 자바스크립트 언어 사용
- 간편한 소스 작성으로 개발 생산성 향상
- 방대한 모듈 제공(NPM)

비동기 I/O 처리(Non-Blocking I/O)란

Node.js에서는 모든 API가 비동기 방식이므로, 호출 후 응답을 기다지리 않고 다른 API를 호출한다. 이전에 호출했던 API의 응답이 오면 이벤트 루프가 확인하여 처리한다.

NPM(Node Packaged Manager)이란

node-js에 필요한 라이브러리들을 관리하는 역할, package.json 파일을 통해 의존성을 관리함. (maven과 비슷)

개발 환경

VSCode(Visual Studio Code by Microsoft), Atom, Sublime Text, Brackets 등 사용

참고 URL

https://junspapa-itdev.tistory.com/3
https://perfectacle.github.io/2017/06/18/what-is-node-js/
https://dkwjdi.tistory.com/187
https://library.gabia.com/contents/7989/

DDD(Domain Driven Design)

비즈니스 도메인을 중심으로 소프트웨어 시스템을 설계하는 방법론으로, 마이크로서비스에 사용되는 디자인 패턴 중 하나

DDD의 아키텍처

- Presentation Layer: 사용자 인터페이스(UI)와 상호작용하는 레이어
- Application Layer: 사용자 요청을 처리하고 도메인 모델에게 전달하는 레이어
- Domain Layer: 도메인 모델이 위치하는 핵심 레이어
- Infrastructure Layer: 데이터베이스, 메시징, 네트워킹 등과 같은 인프라스트럭처 기술과 연동하는 레이어
- Persistence Layer: 데이터베이스와 연동하여 영속성(persistence)을 관리하는 레이어

DDD 왜 사용하려고 할까?

설계자와 개발자 둘의 언어 장벽을 해결 하기 위해

DDD 설계의 중요한 포인트

1. 도메인 모델의 구체화
도메인을 완벽히 이해하고, 비즈니스 요구사항과 기존 시스템의 도메인을 정확하게 파악

2. 컨텍스트 매핑
각 도메인 모델의 경계를 명확히 하고, 서로 다른 모델 간의 상호작용을 정의

3. 리팩토링
개발 과정에서 도메인 모델의 변경이 필요할 경우, 리팩토링을 수행

4. 테스트
테스트 주도 개발(TDD)을 적극적으로 활용

5. 도메인 전문가와의 소통
도메인 모델링 과정에서는 도메인 전문가와의 소통으로 요구사항을 정확하게 파악하는 것이 매우 중요

참고 URL

https://huisam.tistory.com/entry/DDD
https://incheol-jung.gitbook.io/docs/q-and-a/architecture/ddd
https://velog.io/@dnflekf2748/DDDDomain-Driven-Design
https://cocoder16.tistory.com/78