DataRami DataRami

대용량 분산처리 시스템 Hadoop 공부를 위해서 설치를 진행해 봤습니다. 환경 : Synology Docker - Ubuntu container apt-get update apt-get upgrade apt-get install software-properties-common add-apt-repository ppa:openjdk-r/ppa apt-get update apt-get install openjdk-8-jdk java -version 기본 환경 및 java 설치 후 hadoop 유저 설정 및 hadoop 홈 폴더를 만들고 파일을 내려받아 설치합니다. sudo adduser hadoop passwd hadoop -d su hadoop cd ~ mkdir hadoop cd hadoop wget ..

python 파일로 이루어진 Airflow Dag를 관리하는 데에는 여러 방법이 있습니다. 가장 보편적으로 git을 이용하는 것, 그리고 데이터 분석 목적으로 사용하는 데는 이런 방법도 있다고 해서 적용해 봤습니다. 물론 git처럼 버전 관리에 유용한 건 아니지만 jupyter notebook으로 테스트를 하면서 동시에 dag를 띄울 수 있어서 복잡하지 않은 dag를 관리하는 데는 나쁘지 않은 방법이라는 생각이 듭니다. 일단, docker를 통해 설치해 둔 airflow 컨테이너에 접속합니다. docker exec -it airflow /bin/bash 앞의 airflow 세팅 과정에서 miniconda도 설치되어 있기 때문에 바로 jupyter lab 셋업으로 넘어갑니다. 2020/12/15 - [et..

2020/07/09 - [etc.] - Synology NAS -> Docker -> Jupyter Notebook 설치하기 Synology NAS -> Docker -> Jupyter Notebook 설치하기 설치환경 : Synology NAS DS218+ Synology NAS DSM -> Docker 패키지를 실행합니다. 레지스트리에서 ubuntu를 검색하고 적절한 이미지를 설치합니다. Jupyter Notebook 용도이기 때문에 설치 단계에서 8888포트를.. datarami.tistory.com 위 글과 같이 Synology NAS에 Docker 세팅을 하면서 컨테이너를 띄우기 전 접속 포트와 함께 로컬과 연결할 공유 폴더 볼륨 설정을 해 줍니다. 다음으로 아래 명령어를 차례로 입력해 airf..

Docker 컨테이너 터미널에서 locale 명령어로 언어 설정을 확인합니다. 기본 설정이 아래와 같이 나온다면 한글을 입력할 수 없습니다. LANG= LANGUAGE= LC_CTYPE="POSIX" LC_NUMERIC="POSIX" LC_TIME="POSIX" LC_COLLATE="POSIX" LC_MONETARY="POSIX" LC_MESSAGES="POSIX" LC_PAPER="POSIX" LC_NAME="POSIX" LC_ADDRESS="POSIX" LC_TELEPHONE="POSIX" LC_MEASUREMENT="POSIX" LC_IDENTIFICATION="POSIX" LC_ALL= 아래 커맨드를 입력하면 한글도 사용할 수 있습니다. export LC_ALL=C.UTF-8 unzip 에서 한글..

설치환경 : Synology NAS DS218+ Synology NAS DSM -> Docker 패키지를 실행합니다. 레지스트리에서 ubuntu를 검색하고 적절한 이미지를 설치합니다. Jupyter Notebook 용도이기 때문에 설치 단계에서 8888포트를 열어 주었습니다. Docker에서 제공하는 터미널도 있지만, 좀 더 편리하게 작업하기 위해 Mac Terminal에서 NAS에 접속합니다. ssh {username}@{Server Host} -p 22 SSH 기본 포트는 22번이지만 NAS 보안을 위해 바꾸어 사용하시길 권장합니다. DSM 제어판에서 아래와 같이 변경할 수 있습니다. 다음 커맨드로 Docker Container에 접속합니다. sudo docker exec -it {컨테이너 이름} /..