일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- Redshift
- spark
- airflow설치
- ubuntu
- sparkstreaming
- 설치
- airflow
- kafka
- Dag
- docker
- javascript
- pySpark
- 오블완
- BigQuery
- SQL
- jmx-exporter
- Python
- vectorDB
- grafana
- hadoop
- milvus
- metadabatase
- MSA
- dockercompose
- prometheus
- aiagent
- RAG
- 루프백주소
- amazonlinux
- Streamlit
- Today
- Total
목록전체 글 (36)
데이터 노트

계기이전 아차차 프로젝트를 진행할 당시, hadoop을 단순 저장소로만 활용하고 분산 시스템으로서 활용하지 못한 것이 아쉬웠기 때문에, 해당 프로젝트를 디벨롭 하는 과정에서 하둡 분산 클러스터를 구축해보고자 했다.구성 및 설정AWS EC2를 4대 구성하여 활용하였다.여러 레퍼런스들을 찾아보았지만 같은 계정 내에서 3~4대 구성한 경우는 많았지만 각기 다른 계정에서 각각 구축하여 연동한 케이스는 많이 없어 고생 좀 했다.각 EC2 서버는 이하와 같이 설정해 주었다.서버 구성서버노드EC2 - 1namenode01EC2 - 2namenode02EC2 - 3datanode01EC2 - 4datanode02또한, 이후 작업하면서 통신이 잘 되지 않는 경우가 여러 번 발생하였는데, 이는 AWS EC2 사이트 내에서..

계기팀원들과 프로젝트를 진행하는데 있어서, 자원적으로 부족함이 있어 안 쓰는 Window 노트북을 갈아 엎고 Ubuntu 서버로 활용하자!는 취지에서 진행하게 되었다.작업 시작!주의사항 : 작업 시작 전, 필요한 데이터는 모두 백업 해두기1. Ubuntu ISO 파일 다운로드Ubuntu 사이트에서 다운로드 받아도 되지만, 다운로드 속도가 느리다고 하여 다른 사이트에서 진행했다.우분투 사이트의 경우, https://ubuntu.com/download/desktop이하 사이트에서 ubuntu-releases를 클릭, 원하는 Ubuntu 버전을 선택, Desktop image를 다운로드한다.http://mirror.kakao.com/2. bootable USB 파일 만들기준비물 : 8GB 이상 USB Wind..
WAS는 동적인 파일을, WS는 정적인 파일들을 처리한다는 개념만 알고, 얄팍하게 이해하고 있어 정리해보았다.기본 개념WSWeb Server정적인 파일들을 주로 처리함ex) html, css, javascript ...WASWeb Application Server동적인 파일들을 주로 처리함동적인 파일이란? : DataBase를 조회하거나 어떠한 로직을 처리해야하는 컨텐츠들을 말함그렇다면 이렇게 나누어서 사용하는 이유는 무엇일까일반적으로 클라이언트가 어떠한 요청을 했을 때, WS가 먼저 앞에 있고 WAS가 그 다음에 위치하는 구조를 가짐. WS 없이 WAS로 모두 가져와 데이터를 처리할 수 있지만,그렇게 하기엔 서버가 부담이 되고 무거워질 가능성이 있기 때문에WS에서 앞서 정적인 파일들을 처리하고 WAS에..

이미 docker에서 한 번 mysql 설치를 진행한 적이 있지만,왜인지 연동이 잘 되지 않는 것 같아서 새롭게 다시 복기할 겸 설치해보려 한다. docker 설치하기docker desktop 다운로드 나는 이미 설치가 되어있는 상태라 바로 다음 스텝으로 넘어간다.(기존에 설치되어 있는 건 삭제했다.) mysql image 리스트 확인, 가져오기- docker images: docker에서 이미 가져온 image 리스트 확인하기$ docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEubuntu_miniconda 0.1 00e9e90394d7 2 weeks..
학습 예제를 살펴보던 중, 정확한 사용의 차이를 파악하기 위해 찾아 정리하게 되었다.querySelector()- 지정된 선택자와 일치하는 문서 내 첫 번째 element를 반환- 일치하는 요소가 없으면 null 반환- selecotrs는 유효한 css 선택자여야 함 querySelectorAll()- 지정된 선택자 그룹과 일치하는 문서 내 element 목록을 반환 (NodeList로 반환)- 일치하는 것이 없는 경우에는 빈 NodeList 반환 확인!querySelector는 element 하나를 가져오지만, querySelectorAll은 NodeList로 가져오므로,함수에서 실행 시, 반복문을 통해 배열을 실행시켜야 함ex) for, for each ... 참고자료MDN ※잘못된 정보는 댓글..
기본적인 용어에 대한 이해도가 낮은 듯하여, 각각의 정의를 다시금 정리하게 되었다.속성(프로퍼티)- property- 객체 내부에 있는 값이며, 객체는 프로퍼티로 구성됨cf) 배열 내부에 있는 값은 요소- 속성은 모든 자료형을 가질 수 있음메소드- method- 객체의 속성 중, '함수 자료형' 속성일 경우 메소드라고 함생성자- constructor- 객체를 생성하기 위한 함수를 생성자라고 함- 생성자를 사용할 경우, 생성자 내에서 객체의 프로퍼티를 정의하고 이를 사용할 경우 객체에 대한 초기화가 이루어짐-> 코드에 대한 재사용성이 대폭 높아짐.- 예시function Animal(animal){ this.animal = animal; this.say = function(){ return "I ..