까다로운 데이터
요리하기

지난 시간 우리는 데이터 사이언스의 전체 그림을 그렸다면, 이번 시간에는 "데이터를 다루는 손기술"을 본격적으로 익힙니다. 현실의 데이터는 깨끗하지 않아요. 컬럼 이름이 한글이고 인코딩이 EUC-KR이며 결측값이 섞여 있고 형식도 들쭉날쭉합니다. 이 까다로운 데이터를 요리해서 우리가 원하는 답을 얻는 과정 — 그게 이번 차시의 핵심입니다.

🍳 요리 비유로 보는 데이터 전처리

현실의 데이터가 가공이 필요한 이유

📚 두 가지 핵심 용어

🧰 오늘 사용할 도구

• 🐼 Pandas — 표 데이터 자유자재로 다루기 (지난 차시 기초 + 오늘 심화: groupby, merge, loc, iloc, sort_values)
• 📐 기술통계 — 숫자 뭉치 속에서 의미를 찾기 (중심: 평균·중앙값·최빈값 / 흩어짐: 분산·표준편차)
• 📊 Matplotlib — 그래프로 데이터 분포·패턴을 한눈에 (히스토그램, skew)

🗺 이번 차시 학습 흐름

학습목표

학습내용

핵심 키워드

과제 안내 — 미리보기

이번 차시 과제는 서울시 자치구별 버스 승객수 데이터(bus_merged)를 활용한 3가지입니다. 첨부된 두 파일을 다운로드하여 사용하세요. 모든 과제는 코드 + 결과값 캡쳐를 함께 제출하고, 최종 결과는 1개의 압축 파일(zip)로 묶어서 냅니다. 세부 풀이 가이드와 코드 템플릿은 마지막 "과제 안내" 섹션에 모두 정리되어 있습니다.

"Garbage In, Garbage Out"

"Garbage in, garbage out"이라는 말이 있습니다. 쓰레기를 넣으면 쓰레기가 나온다는 뜻이죠. 데이터 사이언스에서 가장 중요한 원칙 중 하나입니다. 데이터의 질이 분석 결과의 질을 결정합니다. 아무리 뛰어난 분석 기법이 있더라도, 다루는 데이터가 엉망이라면 좋은 결과를 기대할 수 없어요.

현실에서 우리가 만나는 데이터는 대부분 날 데이터(Raw Data)입니다. 즉, 가공되지 않은 상태의 데이터입니다. 결측값이 있고, 중복이 있고, 표준화되지 않은 형식이 섞여 있는 데이터를 만나게 됩니다.

이상적 데이터 vs 현실 데이터 — 무엇이 다를까?

현실 데이터에서 자주 만나는 8가지 문제

실제 사례 — 서울시 S-DoT 데이터

S-DoT(Smart Seoul Data of Things)은 서울시가 도시 데이터를 수집하기 위해 설치한 IoT 센서입니다. 미세먼지, 소음, 온습도, 자외선 등 다양한 도시 환경 데이터를 실시간으로 수집해 무료로 제공합니다.

그런데 S-DoT 데이터를 받아 열어보면 어떨까요? 아래는 실제 S-DoT 환경 정보 데이터의 일부입니다.

설치 일자, 설치 위치, 자치구가 영문으로 입력되어 있고, 같은 자치구나 같은 위치 데이터가 수집되지 않은 곳이 보입니다. 어떤 곳은 한꺼번에 데이터가 수집되어 있는 경우도 있죠. 이렇게 우리가 사용하기에는 까다로운 데이터를 가공해야 합니다.

데이터 가공의 두 기둥 — Aggregation & Merge

까다로운 데이터를 다루기 위해 우리는 두 가지 핵심 기법을 사용합니다.

2-1. groupby() — 그룹별로 집계하기

groupby() 함수는 특정 열을 기준으로 데이터를 묶어 각 그룹별로 통계를 계산할 수 있게 해줍니다. 예를 들어 학급별 수학 점수의 평균을 구하고 싶다면 다음과 같이 작성합니다.

Pythondf1.groupby('class')['math'].mean()

Outputclass
1반    85.000000
2반    88.333333
Name: math, dtype: float64

이 코드는 "학급(class)을 기준으로 묶고, 수학 점수(math)의 평균(mean)을 계산하라"는 의미입니다.

집계 함수 (Aggregation Functions)

평균(mean()) 외에도 다양한 집계 함수가 있습니다.

2-2. merge() — 데이터 결합하기

서로 다른 두 데이터를 하나로 합치려면 merge() 함수를 사용합니다. 다른 정보를 어떻게 합칠지를 how 매개변수로 4가지 방식 중 선택할 수 있어요.

Pythonmerged = df1.merge(df2, on='name', how='inner')

예시 — 수학 점수와 영어 점수 결합

두 데이터프레임이 다음과 같이 있다고 합시다.

① Inner Join

Result — Inner Joinname   class_x   math   class_y   english
0  김민수    1반     85      1반       88
1  이도현    1반     92      1반       90
2  박지민    1반     78      1반       82
3  정수아    2반     94      2반       98

두 데이터프레임에서 둘 다 존재하는 이름만 결합 — 김민수, 이도현, 박지민, 정수아 4명만 출력됩니다.

② Left Join

Result — Left Joinname   class_x   math   class_y   english
0  김민수    1반     85      1반       88.0
1  이도현    1반     92      1반       90.0
2  박지민    1반     78      1반       82.0
3  한지우    1반     89      NaN       NaN
4  정수아    2반     94      2반       98.0

왼쪽 데이터프레임(수학)을 기준으로 결합. 한지우는 영어 데이터가 없어 NaN으로 채워집니다.

③ Outer Join

Result — Outer Joinname   class_x   math   class_y   english
0  김민수    1반     85.0    1반       88.0
1  이도현    1반     92.0    1반       90.0
2  박지민    1반     78.0    1반       82.0
3  송재현    NaN     NaN     2반       90.0
4  정수아    2반     94.0    2반       98.0
5  한지우    1반     89.0    NaN       NaN
6  윤서연    NaN     NaN     2반       79.0

모든 데이터를 포함. 빠진 값은 NaN(Not a Number)으로 채워집니다.

2-3. 실습 — 버스 승객수 데이터 결합하기

이제 실습으로 가봅시다. 서울시 열린데이터 광장에서 "서울시 버스노선 정류장별 승하차 승객수 정보"를 검색하고, 기준_날짜에 20250815를 입력해 광복절 2025년 8월 15일의 데이터를 받아봅시다. 이 데이터를 다음 파일 이름으로 bus.csv로 저장합니다.

Python — Step 1: 두 CSV 불러오기import pandas as pd

# 한글 컬럼명이라서 인코딩은 EUC-KR (혹은 cp949)
bus = pd.read_csv("bus.csv", encoding="EUC-KR")
master = pd.read_csv("master.csv", encoding="EUC-KR")

print(bus.shape, master.shape)   # (425, 27) (2269, 4)
print(bus.columns.tolist()[:5])
# ['기준_날짜', '행정동_ID', '버스_승객_수', '버스_승객_수_00시', '버스_승객_수_01시']

Python — Step 2: 행정동_ID로 merge# bus에는 '행정동_ID' 만 있고 자치구 이름이 없음 → master로 보강
bus_merged = bus.merge(master, on="행정동_ID", how="inner")

print(bus_merged[["행정동_명칭", "자치구_명칭", "버스_승객_수"]].head())

Output — bus_merged.head()   행정동_ID  버스_승객_수  행정동_명칭  자치구_명칭  시도_명칭
0  11010530    16072    사직동      종로구    서울
1  11010540     2174    삼청동      종로구    서울
2  11010550     6393    부암동      종로구    서울
3  11010560     6300    평창동      종로구    서울
4  11010570     2260    무악동      종로구    서울

이제 bus_merged는 행정동 ID, 행정동 이름, 자치구 이름, 시간대별 승객수까지 한 데이터프레임에 담겨 있습니다. 행정동만 알 수 있던 bus에 자치구·시도 정보가 결합되었으니, 이제 "자치구별 평균 승객 수" 같은 그룹별 집계가 가능해진 셈이죠. 본격적으로 분석할 준비가 끝났어요.

3-1. loc vs iloc — 라벨로 vs 인덱스로

특정 행이나 열만 고르고 싶을 때, 우리는 두 가지 방식을 사용할 수 있습니다.

df.loc[행 이름, 열 이름]

df.iloc[행 번호, 열 번호]

loc 사용하기 — "강남구의 버스 승객수가 6,000명 이상인 행만 보고 싶어"

Python# 두 조건을 & 연산자로 결합
mask = (bus_merged["자치구_명칭"] == "강남구") & (bus_merged["버스_승객_수"] >= 6000)
result = bus_merged.loc[mask, ["행정동_명칭", "버스_승객_수"]]
print(result)

Output (예시)      행정동_명칭   버스_승객_수
0      신사동      16072
2      논현1동       6393
3      논현2동       6300
5      삼성1동       7110
7  역삼1·2·3·4동    46764
8     역삼5,6동      9622
9      개포1동       9551
10     개포2동       9113
16     세곡동       14815

iloc 사용하기 — "처음 5개 행, 처음 3개 열"

Pythonresult = bus_merged.iloc[:5, :3]   # 행 0~4, 열 0~2
print(result)

Output (예시)   행정동_ID    버스_승객_수    행정동_명칭
0   …            16072      신사동
1   …             2174      논현동
2   …             6393      논현1동
3   …             6300      논현2동
4   …             2260      삼성1동

3-2. sort_values() — 데이터 정렬하기

데이터를 분석하기 위해서는, 우리가 원하는 기준으로 정렬할 줄 알아야 합니다. 가령, "어느 자치구의 승객 수가 가장 많지?", "어떤 행정동에 승객이 가장 적지?"와 같은 질문에 답하려면 데이터를 우리가 원하는 기준에 맞게 정렬해야 해요.

오름차순 vs 내림차순

실습 — 버스 승객수가 많은 순으로 정렬

Python — 오름차순 (기본값)result = bus_merged.sort_values(by="버스_승객_수", ascending=True).head()
print(result)

Output     행정동_ID   버스_승객_수    자치구_명칭   행정동_명칭   시도_명칭
11    …          313       강남구       청담동       서울
311   …          831       송파구       방이1동      서울
12    …          912       강남구       대치동       서울
257   …          941       동작구       사당2동      서울
31    …         1142       강북구       삼각산동      서울

Python — 내림차순result = bus_merged.sort_values(by="버스_승객_수", ascending=False).head()
print(result)

Output     행정동_ID   버스_승객_수    자치구_명칭     행정동_명칭   시도_명칭
210   …          54011       서대문구    충현동           서울
7     …          46764       강남구      역삼1·2·3·4동   서울
301   …          33656       송파구      잠실본동         서울
204   …          32106       마포구      서교동          서울
286   …          29803       서초구      반포본동         서울

다중 정렬 — "자치구별로 묶고, 자치구 안에서는 승객수 많은 순"

Pythonresult = bus_merged.sort_values(
    by=["자치구_명칭", "버스_승객_수"],
    ascending=[True, False]    # 자치구는 가나다순, 승객수는 많은 순
).head(10)
print(result)

1순위는 자치구가 가나다순으로 오름차순으로 정렬되고, 2순위로 자치구 내에서 승객 수가 많은 순서로 내림차순 정렬됩니다.

4-1. 기술통계(Descriptive Statistics)란?

기술통계는 데이터를 요약해서 한눈에 파악하는 방법입니다. 여러 가지 데이터 속의 기본 분포를 한 줄 한 줄로 나타내야 하므로, 한번에 그 의미를 파악하기 쉽지 않은 경우가 많습니다. 그래서 우리는 데이터를 다음과 같이 두 가지 관점에서 살펴봅니다.

4-2. 데이터의 중심 — 평균 · 중앙값 · 최빈값

예시 1 — 다음 7개 점수의 평균/중앙값/최빈값을 구해 봅시다

데이터: 6, 7, 8, 8, 8, 8, 20

예시 2 — 학생 A·B 그룹 키 비교 (이상치의 위력)

이상치가 한 명 끼면 평균이 어떻게 흔들리는지 직접 비교해 봅시다.

코드로 계산하기 — 버스 승객수의 평균과 중앙값

Pythonmean_pa = bus_merged["버스_승객_수"].mean()
median_pa = bus_merged["버스_승객_수"].median()

print(f"평균: {mean_pa:.2f}")
print(f"중앙값: {median_pa:.2f}")

Output (예시)평균: 5678.73
중앙값: 3056.00

평균이 중앙값보다 약 1,000 정도 큰 모습입니다. 즉, 일부 행정동에 승객이 매우 많이 몰리고 있다는 것을 알 수 있죠. 한 번 누가 그렇게 많은지 살펴볼까요?

Pythontop5 = bus_merged.sort_values(by="버스_승객_수", ascending=False).head(5)
print(top5[["행정동_명칭", "자치구_명칭", "버스_승객_수"]])

Output     행정동_명칭          자치구_명칭   버스_승객_수
210   충현동              서대문구       54011
7     역삼1·2·3·4동       강남구         46764
301   잠실본동             송파구         33656
204   서교동              마포구         32106
286   반포본동             서초구         29803

충현동, 역삼1·2·3·4동, 잠실본동, 서교동, 반포본동 등 5곳이 다른 지역의 승객수보다 압도적으로 높은 모습을 볼 수 있어요. 비단 평균값이 아닌 분포를 보고 알아내려고 해야 데이터를 더 잘 이해할 수 있다는 점을 알 수 있죠.

4-3. 데이터의 흩어짐 — 분산 · 표준편차

데이터의 중심이 어디인지를 봤다면, 이제 "데이터가 얼마나 흩어져 있는가?"를 봐야 해요. 같은 평균이어도 흩어짐 정도에 따라 데이터의 모습이 완전히 다릅니다.

• 1반: 70점, 73점, 75점, 77점, 80점 → 다 비슷한 점수
• 2반: 40점, 55점, 75점, 95점, 110점 → 들쭉날쭉한 점수

둘 다 평균은 75점이지만, 1반은 "다 고만고만하다", 2반은 "차이가 크다"는 사실을 평균만 보고는 알 수 없어요. 이 흩어짐을 숫자로 표현한 것이 분산과 표준편차입니다.

분산 (Variance)

분산은 "각 데이터가 평균으로부터 얼마나 떨어져 있는가"를 나타내는 숫자입니다. 계산 공식은:

1. 각 값에서 평균을 뺍니다.
2. 그 차이를 제곱합니다 (음수를 양수로 만들기 위해).
3. 제곱한 값들의 평균을 구합니다.

Pythonvariance = bus_merged["버스_승객_수"].var()
print(f"분산: {variance:.0f}")

Output (예시)분산: 34928857

분산이 34,928,857이라는 숫자로 나왔네요. 그런데 분산은 단위가 제곱이라 직관적이지 않아요. "평균에서 얼마나 떨어졌나"를 단위 그대로 보고 싶을 때 표준편차를 사용합니다.

표준편차 (Standard Deviation)

분산에 제곱근(√)을 씌운 값입니다. 데이터와 비슷한 크기로 돌아오죠.

Pythonstd = bus_merged["버스_승객_수"].std()
print(f"표준편차: {std:.0f}")

Output표준편차: 5910

이제 "평균 5,678명을 중심으로 약 ±5,910명 정도 차이가 난다"고 직관적으로 표현할 수 있게 됐어요.

Output (강의 표본)분산: 345638057
표준편차: 18592

4-4. 시각화 — Matplotlib

지금까지 숫자(평균, 중앙값, 표준편차 등)로 데이터의 모습을 봤습니다. 하지만 사람은 그림으로 봐야 데이터의 직관적인 모습을 잘 이해할 수 있어요. 예를 들어 "표준편차가 5,910명이다"라는 문장보다 히스토그램 한 장이 훨씬 쉽게 와닿죠. 이때 사용하는 라이브러리가 Matplotlib입니다.

그림. Matplotlib 도면 구성요소 — Title / Axes / Legend / Markers / Line / X·Y axis label / Tick

Matplotlib의 구성요소 — Anatomy of a figure

위 그림에 나오는 핵심 부품을 한눈에 정리하면 다음과 같습니다. "도화지(Figure) → 그림 틀(Axes) → 그 안의 부품" 구조로 외우면 쉬워요.

한글 폰트 설정 (필수!)

Matplotlib는 기본적으로 한글을 표시하지 못합니다. 그래프에 한글을 쓰면 "□□□"처럼 깨져 보이죠. 그리기 전에 반드시 한글 폰트를 설정해야 해요.

방법 0 — 코랩에 나눔글꼴 설치 (방법 1을 쓰기 전 1회 실행)# 셸 명령(! 로 시작): apt-get으로 나눔글꼴 설치 → 폰트 캐시 갱신 → matplotlib 캐시 비우기
!sudo apt-get install -y fonts-nanum
!sudo fc-cache -fv
!rm -rf ~/.cache/matplotlib
# ↑ 실행 후 [런타임 → 런타임 다시 시작] 한 번 해줘야 폰트가 인식돼요

방법 1 — 시스템에 폰트가 있을 때 (방법 0 후, 또는 로컬 환경)import matplotlib.pyplot as plt
plt.rc("font", family="NanumGothic")
plt.rc("axes", unicode_minus=False)   # 마이너스 부호 깨짐 방지

방법 2 — Colab에서 koreanize_matplotlib 사용 (가장 간편)!pip install -q koreanize-matplotlib
import matplotlib.pyplot as plt
import koreanize_matplotlib   # 이 한 줄만으로 한글 자동 설정 (방법 0·1을 모두 대체)

4-5. 히스토그램 — 분포 시각화

히스토그램(Histogram)은 분포를 살펴보기 위한 가장 기본적인 도구입니다.

• 연속적인 데이터 값을 일정한 크기의 구간(bin)으로 나누고, 구간에 속한 값의 개수를 막대로 나타냅니다.
• 구간의 크기를 조정해서 데이터의 분포를 어떻게 보일지 결정할 수 있습니다.

Python — 기본 히스토그램plt.figure(figsize=(8, 4))
plt.hist(bus_merged["버스_승객_수"],
         bins=30, alpha=0.7, color="skyblue", label="버스 승객수")

plt.title("서울시 행정동별 버스 승객수 분포")
plt.xlabel("버스 승객 수 (명)")
plt.ylabel("행정동 수")
plt.grid(True, alpha=0.3)
plt.legend()
plt.show()

그림. 위 코드 실행 결과 — 대부분의 행정동이 5~6천 명 구간에 몰려 있고, 오른쪽으로 긴 꼬리를 가진 분포 (Right skew).

분포의 치우침 (Skew)

히스토그램을 그리면 데이터가 어느 한쪽으로 치우쳐 있는 경우가 많습니다. 이를 치우침(Skew)이라고 해요.

그림. (a) Right-skewed — 최빈값(Mode) < 중앙값(Median) < 평균(Mean) / (b) Left-skewed — 평균 < 중앙값 < 최빈값

평균/중앙값을 수직선으로 겹쳐 그리기

Pythonmean_val = bus_merged["버스_승객_수"].mean()
median_val = bus_merged["버스_승객_수"].median()

plt.figure(figsize=(8, 4))
plt.hist(bus_merged["버스_승객_수"],
         bins=30, alpha=0.7, color="skyblue", label="버스 승객수")

# 평균 수직선 (빨간 점선)
plt.axvline(mean_val, color="red", linestyle="--", linewidth=2,
            label=f"평균: {mean_val:.0f}")
# 중앙값 수직선 (주황 실선)
plt.axvline(median_val, color="orange", linestyle="-", linewidth=2,
            label=f"중앙값: {median_val:.0f}")

plt.title("서울시 행정동별 버스 승객수 분포")
plt.xlabel("버스 승객 수 (명)")
plt.ylabel("행정동 수")
plt.grid(True, alpha=0.3)
plt.legend()
plt.show()

실제로 그려보면 Right skew의 형태로, 분포가 왼쪽으로 몰려 있고 오른쪽으로 긴 꼬리를 가진 모습이 나타납니다. 즉 최빈값(Mode) < 중앙값(Median) < 평균(Mean)의 관계가 보일 거예요.

그림. 위 코드 실행 결과 — 빨강 점선(평균 7,567명), 주황 점선(중앙값 5,991명). 평균이 중앙값보다 오른쪽에 있는 것은 Right skew의 전형적인 특징.

오늘 배운 도구들 — 한눈에 정리

다음 시간 예고

다음 시간에는 오늘 익힌 도구들을 토대로 더 복잡한 시각화 — 산점도(scatter plot), 막대 그래프(bar chart), 시계열(time series) 등 다양한 시각화 방법을 활용해 도시 데이터를 이야기하는 방법을 3차시에서 배웁니다.

이번 차시 과제는 서울시 자치구별 버스 승객수 데이터(bus_merged)를 활용한 3가지입니다. 첨부된 파일(bus.csv, master.csv)을 다운로드하여 사용해 주세요. 과제가 모두 완료되면 1개의 압축파일(zip)으로 제출합니다.

과제 1. 자치구별 평균 버스 승객 수 구하기

서울시 자치구별 버스 승객수 데이터(bus_merged)를 활용하여 다음 질문에 답해보고, 코드와 결과값을 캡쳐하여 같이 제출하세요.

과제 2. 특정 조건을 만족하는 데이터 추출하기

서울시 자치구별 버스 승객수 데이터(bus_merged)를 활용하여 loc 함수와 sort_values 함수를 각각 이용해 문제에서 요구하는 조건에 맞는 데이터를 추출해보세요. 코드와 결과값을 캡쳐하여 같이 제출하세요.

과제 3. 영등포구의 버스 승객 수 히스토그램 그려보기

bus_merged의 데이터에서 '자치구_명칭'이 '영등포구'인 데이터를 추출하여 영등포구의 버스 승객 수를 히스토그램으로 그려보고, 평균과 중앙값을 구하여 수직선을 함께 표시해보세요.

과제 3 코드 가이드

Python — 영등포구만 추출 → 히스토그램# 1. 영등포구 데이터만 추출
ydp = bus_merged.loc[bus_merged["자치구_명칭"] == "영등포구"]

# 2. 평균, 중앙값 계산
mean_val = ydp["버스_승객_수"].mean()
median_val = ydp["버스_승객_수"].median()

# 3. 히스토그램 + 수직선
plt.figure(figsize=(8, 4))
plt.hist(ydp["버스_승객_수"], bins=15, alpha=0.7, color="skyblue")
plt.axvline(mean_val, color="red", linestyle="--", linewidth=2,
            label=f"평균: {mean_val:.0f}")
plt.axvline(median_val, color="orange", linestyle="-", linewidth=2,
            label=f"중앙값: {median_val:.0f}")
plt.title("영등포구 행정동별 버스 승객수 분포")
plt.xlabel("버스 승객 수 (명)")
plt.ylabel("행정동 수")
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()

제출 체크리스트