Apache Atlas?
메타데이터를 관리하기 위해 사용하는 애플리케이션
기능 및 특징
- UI 제공
- 테이블 및 컬럼에 권한 부여
- 접근 제한
- 마스킹처리
- 메타데이터 간 관계를 Lineage로 자동 생성하여 제공
구조
메타 정보 저장은 Hbase, 검색엔진은 Solr or ES, 시각화는 JanusGraph 사용
관련 용어
- 데이터 거버넌스() : 데이터의 보안, 개인정보 보호, 정확성, 가용성, 사용성을 보장하기 위해 수행하는 모든 작업(데이터 관리 정책)
- 데이터 계보(Lineage) : 시간 경과에 따른 데이터 흐름을 추적하는 프로세스로, 데이터의 출처, 데이터에 일어난 변화, 데이터 파이프라인 내에서의 최종 목적지에 대한 자세한 정보를 제공
지원 서비스
hive, hbase, ranger, sqoop, storm, kafka, falcon 등
참고자료
http://www.kwangsiklee.com/2018/05/apache-atlas%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80/
Apache Atlas란 무엇인가?
개요 Apache Atlas는 데이터 표준 및 계보(Data Lineage)를 관리할 수 있는 플랫폼이다. 이 플랫폼을 도입하기 위해 찾아보고 소스를 분석해본 내용을 기반으로 플랫폼에 대한 오버뷰를 정리해둔다. 플
www.kwangsiklee.com
https://www.ibm.com/kr-ko/topics/data-lineage
https://atlas.apache.org/#/
Apache Atlas – Data Governance and Metadata framework for Hadoop
atlas.apache.org
'IT' 카테고리의 다른 글
| KeyCloak(키클락) (0) | 2023.07.13 |
|---|---|
| DataHub(데이터허브) of Linkedin (0) | 2023.07.12 |
| Apache Ranger[레인저] (0) | 2023.07.10 |
| DBT(디비티) : Data Build Tool (0) | 2023.07.09 |
| apache druid(드루이드) (0) | 2023.07.08 |