DataRami DataRami

python 파일로 이루어진 Airflow Dag를 관리하는 데에는 여러 방법이 있습니다. 가장 보편적으로 git을 이용하는 것, 그리고 데이터 분석 목적으로 사용하는 데는 이런 방법도 있다고 해서 적용해 봤습니다. 물론 git처럼 버전 관리에 유용한 건 아니지만 jupyter notebook으로 테스트를 하면서 동시에 dag를 띄울 수 있어서 복잡하지 않은 dag를 관리하는 데는 나쁘지 않은 방법이라는 생각이 듭니다. 일단, docker를 통해 설치해 둔 airflow 컨테이너에 접속합니다. docker exec -it airflow /bin/bash 앞의 airflow 세팅 과정에서 miniconda도 설치되어 있기 때문에 바로 jupyter lab 셋업으로 넘어갑니다. 2020/12/15 - [et..

Airflow Macro란? 지정된 변수를 호출해서 태스크에 적용할 수 있는 기능입니다. 만약 실행하는 코드에 날짜 설정이 now() 등으로 되어 있다면 backfill이나 과거의 작업을 재실행할 때 문제가 되는데, 이 때 {{execution_date}} 처럼 airflow task가 실행되는 날짜를 불러와서 적용할 수 있다는 것이 장점입니다. airflow.apache.org/docs/apache-airflow/stable/macros-ref.html Macros reference — Airflow Documentation airflow.apache.org BashOperator에서는 매크로를 그대로 기입하면 돼서 어려움이 없습니다. t2 = BashOperator( task_id='what_time..

2020/07/09 - [etc.] - Synology NAS -> Docker -> Jupyter Notebook 설치하기 Synology NAS -> Docker -> Jupyter Notebook 설치하기 설치환경 : Synology NAS DS218+ Synology NAS DSM -> Docker 패키지를 실행합니다. 레지스트리에서 ubuntu를 검색하고 적절한 이미지를 설치합니다. Jupyter Notebook 용도이기 때문에 설치 단계에서 8888포트를.. datarami.tistory.com 위 글과 같이 Synology NAS에 Docker 세팅을 하면서 컨테이너를 띄우기 전 접속 포트와 함께 로컬과 연결할 공유 폴더 볼륨 설정을 해 줍니다. 다음으로 아래 명령어를 차례로 입력해 airf..

회사 동료 A와의 대화 중, 데이터를 단순한 숫자로 보았을 때 해결할 수 없는 문제들에 대해 이야기를 나누었습니다. 일례로, '오렌지' 라는 단어가 검색된 데이터 하나만으로 유저의 의도를 파악할 수 있을까요? 유저의 검색 목적은 '오렌지 주스'일 수도 있고, '오렌지 티셔츠'일 수도 있고, '오렌지 나무'일 수도 있습니다. 그래서 데이터를 볼 때 문맥(Context)를 파악하는 것이 중요합니다. 유저의 의도에 보다 부합하는 결과를 제공하기 위해 그들의 행동을 따라 분석하고, 그룹화하는 작업이 필요합니다. 1. 문맥과 그룹화 '오렌지 주스'라는 단어는 다음 중 어느 단어 다음에 검색될 가능성이 높을까요? - 오렌지 티셔츠 - 아침 식사 만약 이 단어들을 수학적으로 분류한다면 같은 '오렌지'라는 단어가 들어..

구매한 도메인을 노션 퍼블릭 페이지로 연결하고 싶어서 방법을 찾아 보았습니다. 참고 문서 노션 블로그에 커스텀 도메인 삽입 Background www.notion.so 위의 문서를 참고하여 우선 도메인 구매 -> Cloudflare 등록을 마친 후, DNS 관리 페이지에서 아래 내용을 추가했습니다. *이름은 notion.customdomain.com 형식으로 노션 url을 사용하기 위해 notion으로 입력했습니다. *루트 도메인으로 이용하실 분은 customdomain.com 으로 입력하시면 됩니다. 이후 DNS 메뉴 하단의 네임서버 두 가지를 복사해서 도메인을 구입한 곳에서 기존 네임서버를 지우고 새로 등록합니다. 다음으로 Worker 메뉴에서 설정을 시작합니다. 'Manage workers' 를 클..

Docker 컨테이너 터미널에서 locale 명령어로 언어 설정을 확인합니다. 기본 설정이 아래와 같이 나온다면 한글을 입력할 수 없습니다. LANG= LANGUAGE= LC_CTYPE="POSIX" LC_NUMERIC="POSIX" LC_TIME="POSIX" LC_COLLATE="POSIX" LC_MONETARY="POSIX" LC_MESSAGES="POSIX" LC_PAPER="POSIX" LC_NAME="POSIX" LC_ADDRESS="POSIX" LC_TELEPHONE="POSIX" LC_MEASUREMENT="POSIX" LC_IDENTIFICATION="POSIX" LC_ALL= 아래 커맨드를 입력하면 한글도 사용할 수 있습니다. export LC_ALL=C.UTF-8 unzip 에서 한글..

설치환경 : Synology NAS DS218+ Synology NAS DSM -> Docker 패키지를 실행합니다. 레지스트리에서 ubuntu를 검색하고 적절한 이미지를 설치합니다. Jupyter Notebook 용도이기 때문에 설치 단계에서 8888포트를 열어 주었습니다. Docker에서 제공하는 터미널도 있지만, 좀 더 편리하게 작업하기 위해 Mac Terminal에서 NAS에 접속합니다. ssh {username}@{Server Host} -p 22 SSH 기본 포트는 22번이지만 NAS 보안을 위해 바꾸어 사용하시길 권장합니다. DSM 제어판에서 아래와 같이 변경할 수 있습니다. 다음 커맨드로 Docker Container에 접속합니다. sudo docker exec -it {컨테이너 이름} /..

2020/07/01 - [etc.] - AWS 서버를 활용한 Jupyter Notebook + R 세팅하기 (3) R 연동하기 AWS 서버를 활용한 Jupyter Notebook + R 세팅하기 (3) R 연동하기 2020/07/01 - [etc.] - AWS 서버를 활용한 Jupyter Notebook + R 세팅하기 (2) Miniconda 활용 AWS 서버를 활용한 Jupyter Notebook + R 세팅하기 (2) Miniconda 활용 2020/07/01 - [etc.] - AWS 서버를 활용한 Ju.. datarami.tistory.com 이전에 IRkernel을 통해 Jupyter Notebook에 연동한 R에서 패키지를 추가할 때 아래와 같은 에러가 자꾸 발생했습니다. install.pa..