웹알못의 데이터 어드민 사이트 만들기(feat. Streamlit) 0.Prologue

스타트업의 데이터 팀에는 수많은 리퀘스트가 들어옵니다.

그 중에서 단순 추출과 개인정보 처리는 그 중요도와는 별개로, 요청은 많고 얻어가는 보람은 적은 일에 속하죠.

조직에 직접 인사이트를 제공하는 생산적인 분석을 하고 싶어 데이터 분석가가 되었는데, 이런 애드혹이 반복되면 결국 내가 데이터 분석가인가? 추출가인가? 자괴감이 들게 됩니다.

 

이런 문제를 해결하기 위해 On-call(당번), 리퀘스트 워크플로우, 백로그 프로세스 개선 등 다양한 시도를 했지만
문제는 제품과 비즈니스 실무진의 데이터 접근성이 떨어지는 것이었습니다.

 

분석용 데이터 마트가 갖추어져 있고 리대시나 태블로를 통해 원하는 구성원이라면 누구나 데이터에 접근할 수 있는데 왜 접근성이 떨어지는가? 라고 반문했을 때는 아래와 같은 이유들을 찾을 수 있었습니다.

 

1. 리대시는 SQL에 능숙하지 않으면 사용할 수 없다.

2. SQL 교육을 하더라도 데이터 구조나 테이블 명세에 익숙해지는 데 시간이 필요하다.

3. 태블로는 시각화를 위해 가공된 데이터라서 유연성이 떨어진다.

4. 태블로에서 모든 raw data를 제공할 수 없다.

 

특히 데이터 교육의 경우 적극적으로 원하시는 분들도 많이 있지만

각자의 영역에서 모든 시간과 노력을 쏟고 있는 분들께 데이터까지 꼭 배워야 한다고 강요할 수는 없습니다.

 

제가 거쳐 온 여러 데이터 조직들이 모두 비슷한 문제를 겪고 있었기 때문에

이번에는 정말로 해결하고 싶었습니다.

 

"데이터 어드민을 구축하자..!"

 

하지만 나는 뭐다? 웹알못이다.

웹 프레임워크를 다루지 못하는 상태에서 새로 공부를 해야겠다 다짐하던 중,

Streamlit이라는 서비스를 알게 되었습니다.

https://streamlit.io/

Streamlit • The fastest way to build and share data apps

 

Streamlit은 파이썬 코드 기반으로 웹앱을 쉽게 만들 수 있는 라이브러리입니다.

주로 데이터 분석/ML 프로토타입 용도로 쓰이고 있는 것 같습니다.

제공하는 막강한 차트 기능만 보더라도 익히 알 수 있습니다. 

 

Streamlit 라이브러리를 활용해서 만들고자 하는 최종 목표는 아래와 같습니다.

1. 개인정보 처리 시스템

2. UI 기반 데이터 추출 시스템

3. UI 기반 간단한 비주얼라이제이션

4. 데이터 리소스 검색기

 

다음 편부터 실제로 Streamlit 환경을 구축한 과정을 설명하겠습니다.