데이터 노트

MSA를 보고 나니 AWS ECS라는게 있던데.. 뭐지 하고 찾아보게 되었다.개념AWS ECS란?ECS는 마이크로서비스 아키텍처에서 사용되는 컨테이너들을 관리해주는 오케스트레이션 도구→ 고로, MSA 아키텍처에 대한 이해가 필요하다. (이전 글 참고)컨테이너의 생성과 종료, 자동 배치 및 복제, 로드 밸런싱, 클러스터링, 장애 복구, 스케줄링 등의 역할 수행ECS 관련 요소 및 구성ECRElastic Container Registry도커 파일을 통해 생성된 이미지는 Docker Registry에 보관하여 가져와 사용할 수 있는데, AWS는 ECR.ECR에 저장된 도커 이미지를 가져와 ECS에서 이미지를 실행해 컨테이너를 생성한다.Docker hub를 써도 연결이 가능하지만 ECR은 IAM 인증을 통해 P..

아키텍처를 구상할 때, MSA 아키텍처에 대해 많이 이야기 하는데, 이에 대해 조금 더 개념적인 정리를 하면서, 연관된 개념들 역시 같이 정리해보았다.MAMA(Monolithic Architecture)란?- 모놀로식 아키텍처.- 전통 아키텍처를 지칭하는 것으로, MSA(MicroService Architecture, 마이크로서비스 아키텍처)와 반대되는 말.- 하나의 서비스 또는 어플리케이션션이 하나의 거대한 아키텍처를 가질 때, 모놀로식 아키텍처라고 한다. 특징- 모놀로식 아키텍처를 갖는 소프트웨어는 내부 요소 간의 의존성이 강하다.- 각 비즈니스 컴포넌트들이 강한 결합 구조를 가지고 있으며, 통일성이 있다.    → 비즈니스 로직이 서비스에 최적화된 코드를 만들어 내는데 좀 더 집중할 수 있으나, 복..

localhost는 127.0.0.1 은 무슨 차이가 있을까?같은 것이라고 알고 있었는데, 각각이 의미하는 것이 무엇인지에 대해 궁금해져 알아보게 되었다.localhost 와 127.0.0.1현재 나는 리액트, 플라스크로 웹 플랫폼을 구축 중인데, 이 때 localhost:3000 을 주로 사용한다. localhost는 자기 자신이라고 주로 말하는데, local(지역) + host(호스트)로 자신의 컴퓨터를 의미한다.여기서 localhost의 ip주소가 127.0.0.1 이다. localhost는 우리가 웹 브라우저에서 입력하는 사이트 주소와 같은 www.naver.com  과 같은 것이고,127.0.0.1은 www.naver.com 입력 시, DNS를 통해 ip 주소로 변환되어 125.209.222.1..

Github만 사용하다가 이번에 Gitlab을 사용하게 되어서 새롭게 설정하는 겸, 기록해본다. 최초 설정git 저장소 만들기나는 레포지토리를 clone 해서 가져올 것이기 때문에 clone 기준으로 작성하였다.git initgit clone {https://Gitlab주소/프로젝트}# 브랜치 ## 생성git branch {브랜치명}## 변경git checkout {브랜치명}## 브랜치 생성과 동시에 변경git checkout -b {브랜치명}# 커밋할 파일 추가git add 파일명# 커밋git commit -m "{커밋 메세지}"# 상태 확인git status# Gitlab 서버에 pushgit push -u origin master이름과 이메일 등록git config --global user.name..

얼마 전 면접을 보고, 용어나 프로그램들의 기본적인 개념에 대해 부족한 부분이 많은 것 같아 차근차근 정리해보려고 한다.그 중에서 이번에는 parquet 파일이란 무엇이며, 어떠한 장점이 있어 사용되고 있는지 정리해본다. Parquet(파케이) 파일이란?하둡 에코시스템에서 많이 사용되는 파일 포맷 중 하나Twitter, Cloudera에서 개발하여, 현재 Apache에서 관리columnar 저장 포맷 (기존의 row 기반 포맷과 다름)생겨난 배경Twitter에서는 HDFS에 SNS에서 발생한 대량의 데이터를 저장하고 있었는데,데이터의 양이 방대해 너무 많은 디스크를 소모하는 것을 개선하기 위해데이터 사이즈를 줄이는 파일 포맷을 개발하게 됨.→ 작은 파일 사이즈와 낮은 I/O 사용을 목적으로 개발장점압축률..