[K-MOOC] 데이터엔지니어링 수업 정리 (1)

0. 서론

이번주부터 K-MOOC에서 세종대학교 변재욱 교수님의 데이터엔지니어링 수업을 듣고있다.

원래 주 관심사는 데이터 분석이었으나, 중소기업에서는 데이터 분석과 엔지니어 둘 다 다룰 수 있는 사람을 원하며 그런 업무를 하고 있다는 현직자 이야기를 듣고 데이터 엔지니어링에 대한 관심이 생겼다.

데이터 분석은 석사이상을 뽑기도 하고 데이터 엔지니어와 분석 둘 다 할 수 있으면 더 좋을 것 같아서이다.

데이터 엔지니어링은 단순히 데이터베이스와 SQL 정도만 알면 된다고 생각하던 무식한 시절이 있었다.

불과 저번주만 해도 ... 

나는 원래 python을 주력으로 하던 사람인데 갑자기 java를 다시 해보려니 기억이 전혀안난다.

java 방과 후 수업까지 진행했었는데 지금은 전혀 기억안나는게 신기할 따름 ... 

그래서 도서관에서 '이것이 자바다'라는 책도 빌려왔다.

이제 나이도 있고 한 우물만 팔 때도 되었는데, 아직도 잘 모르겠다.

이것 저것 보통으로 잘하는 사람이 좋은지 오직 하나만 보통 약간 이상으로 잘하는 사람이 좋은지 ... (상급으로 잘할 자신은 아직 없다)

 

해보자 해보자 후회하지 말고

 

1. K-MOOC 데이터엔지니어링 1 ~ 2주차 후기

현재 1, 2주차까지 들은 상황. 1주차 당 1시간에서 1시간30분 정도라서 금방 듣고 중간고사까지 볼 수 있을 줄 알았으나, 강의 듣고 실습 따라해보고 복습 기록까지 하려니... 15분 강의를 1시간 동안 듣고 있는 상황 ... 

수업을 오랜만에 들으니 잊어버렸다 원래 이렇게 오래걸린다는 사실을 ... 그래도 중간고사는 볼 예정인데 강의를 다 듣지 못할 거 같아서 좋은 점수는 못받을 것 같다.

 

 - 데이터 엔지니어링을 접해보지 않은 초보자를 대상으로 하는 수업 같다.

  수업 내용은 쉽고 자세하게 설명해주셔서 이해가 잘되었다. 특히 자막이 잘되어있어서 이해가 안될때는 자막을 여러번 읽고 이해를 하고자 했다. java로 수업이 진행되는데 java 기초 문법같은 것은 자세히는 설명해주지 않는다. 그래서 프로그래밍 언어를 전혀 모른다면 그냥 따라하기 식 수업밖에 안될 것 같다.

  데이터 구조와 필요성을 설명해주시는데 이 부분이 아주 좋다고 생각된다. 같은 예제를 다른 데이터 구조를 사용하여 구현하며, 코드와 걸리는 시간 등을 비교하여 해당 데이터 구조가 왜 필요한지 실습을 통해 알아가는 것이 이해가 잘되고 매우 좋은 접근이라고 생각했다.

  아쉬운 점은 데이터 코드나 데이터 파일을 따로 제공해주지않는 점이다. 물론 직접 손으로 적어가며 돌리는 것도 손이 익숙해지고 도움이 되겠지만 인강을 보며 눈으로 따라간다는게 보통 어려운 일이 아니다.. 일단은 한 번 보고 기억이 나는대로 코드를 짜고 구현하는 식으로 실습을 진행하고 있다. 

2주차까지는 소개하는 느낌이라 아직은 데이터 엔지니어링을 배웠다 ! 이런 느낌은 아니다

 

2. 공부한 내용 정리

 

1. 데이터 엔지니어링 소개

• 풍부한 데이터는 서비스 질을 향상 시키므로, 효율적인 데이터 처리가 중요함
• 데이터엔지니어링: 특정 목적의 서비스를 만들기 위해 빅데이터의 파이프라인을 설계 및 구축하는 것
• 데이터 선택 > 수집 > 가공 > 저장 > 분석/시각화 > 서비스

2. 데이터 처리 과정

• 데이터 가공
  -­ 데이터 명세 제거
  -­ 중복 데이터 제거
  -­ 누락 데이터 제거
  -­ 결함 데이터 제거
  -­ 치리해야할 데이터 > 토큰화 > 정수변환
• 데이터 저장
  -­ 데이터를 특정 목적의 서비스를 만들기 적절한 형태로 유지
  -­ 메모리 또는 데이터베이스에 저장함

3. 데이터 구조

• 접근이 효율적인 메모리는 쉽고 빠르게 데이터 분석이 가능함
• 배열
  - 가장 간단한 데이터 구조
  - java에서 이질적인 값도 배열에 모을 수 있음
  - 메모리 공간 : 고정된 개수의 값 저장(미리 지정)
    그렇기때문에, 초기에 작게 설정하면 공간이 부족하고, 크게 설정하면 공간낭비임
    또한, 실제 데이터의 크기는 계속 증가하기때문에 유연한 대처가 필요함 → 리스트
• 리스트
  - 편리성 : 동적인 크기를 가짐
  - 효율성 : 개발자 대신 효율적인 크기를 조정함
• 해시
  - 빠른 데이터 탐색
  - 중복제거
• 트리
  - 비교기반 효율적 탐색
  - key간의 전후 관계를 효율적으로 유지