DataRami DataRami

기존 환경 - EMR 6.2.0 + PrestoSql 343 - Re:dash 8.0.0 1. Terraform을 통한 EMR Trino 업그레이드 + File Access Control 설정 - EMR 6.4.0 + Trino 359 업그레이드를 위한 Terraform Configuration 파일 수정사항 - Classification의 'prestosql'을 'trino'로 변경 - 일부 설정값 호환 여부 확인 ---- 변경 전 { "Classification": "prestosql-connector-hive", "Properties": { "hive.metastore": "glue", "hive.metastore.glue.datacatalog.enabled": "true", "hive.s3-fil..

배경 - Airflow를 Staging과 Production 환경으로 나누어 운영 중 - Github Actions를 이용하여 PR 생성 시 Staging에 배포 -> master merge 시 Production에 배포 프로세스 문제점 - 기본 airflow dag 템플릿에 맞추어 작업할 때, 하나의 dag.py 파일 아래 복수의 태스크를 작성함 - 여러 사람이 동시에 서로 다른 Task 추가를 위해 같은 DAG를 편집하면 Staging 환경에서 Conflict 발생 대안 - DAG 파일 하나를 동시에 수정하는 일이 없도록 개별 태스크를 각각의 파일로 처리한다. - DAG 파일에서 각 Task 생성은 함수로 처리한다. 코드 참조 from datetime import timedelta from utils..

remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. 8월 13일부터 github 패스워드 인증 지원이 만료되었습니다. 이후 Personal Access Token을 사용해서 인증해야 하는데요, Pycharm을 활용하는 방법과 Terminal에 적용하기 위한 방법이 각각 달랐습니다. 1. Pycharm 계정 추가 Github 계정 추가 메뉴에서 Log In with Token을 선택하고 우측에서 Generate를 클릭하면 최소한의 필요한 권한이 선택된 토큰 발급 화면으로 넘어갑니다. 페이지 하단의 Generate Token 버튼을 누르고 나타나는..

1. Airflow Configuration # airflow.cfg [webserver] rbac = True # webserver_config.py ... from flask_appbuilder.security.manager import AUTH_DB, AUTH_OAUTH ... AUTH_TYPE = AUTH_OAUTH AUTH_USER_REGISTRATION = True AUTH_USER_REGISTRATION_ROLE = "User" # --not 'Public' # Google OAuth example: OAUTH_PROVIDERS = [{ 'name':'google', 'token_key':'access_token', 'icon':'fa-google', 'remote_app': { 'api_b..

aws ubuntu instance에 jupyterhub 구축 후, share 디렉토리의 노트북 파일들을 더 편리하게 공유하기 위해 nbviewer를 연동했습니다. jupyter/nbviewer nbconvert as a web service: Render Jupyter Notebooks as static web pages - jupyter/nbviewer github.com nbviewer 레포를 clone하고 해당 디렉토리로 이동해 설치 및 설정을 계속합니다. git clone https://github.com/jupyter/nbviewer.git cd nbviewer pip install -r requirements.txt pip install -r requirements-dev.txt npm in..

Docker 설치 및 jupyterhub 세팅 curl -s https://get.docker.com | sudo sh sudo usermod -aG docker $USER docker pull jupyterhub/jupyterhub sudo service docker status vi lib/systemd/system/docker.service #수정 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --data-root=/home/ubuntu/data/ docker volume create data sudo docker run -it -p 8000:8000 -v data:/data -v /var/run/do..

대용량 분산처리 시스템 Hadoop 공부를 위해서 설치를 진행해 봤습니다. 환경 : Synology Docker - Ubuntu container apt-get update apt-get upgrade apt-get install software-properties-common add-apt-repository ppa:openjdk-r/ppa apt-get update apt-get install openjdk-8-jdk java -version 기본 환경 및 java 설치 후 hadoop 유저 설정 및 hadoop 홈 폴더를 만들고 파일을 내려받아 설치합니다. sudo adduser hadoop passwd hadoop -d su hadoop cd ~ mkdir hadoop cd hadoop wget ..

리눅스에서 파일 목록을 조회할 때 기본적으로 사용되는 ls 명령어 대신 숨겨진 파일과 권한, 소유자, 업데이트 시점까지 확인 가능한 ll 명령어를 편리하게 쓰고 있는데요, 초기 세팅에서 ll 명령어가 동작하지 않을 때 아래와 같이 alias를 지정해 주시면 됩니다. echo "alias ll='ls --color=auto -alF'" >> ~/.bashrc source ~/.bashrc