======= 위 포스팅과 이어지는 내용입니다!
저번 포스팅에서는
머신러닝 비지도 학습, 클러스터링에 대한 이론적인 부분만을 다루었습니다.
이번 포스팅에서는 Matplotlib 를 이용한 3차원 그래프로
조금 더 눈에 보이는 클러스터링 실습을 해보려고 합니다.
저번 포스팅 요약 ::
|
비지도 학습 (unsupervised learning) |
알고 있는 출력값이나 정보 없이 학습 알고리즘을 가르쳐야 하는 모든 종류의 머신러닝을 가리킵니다. 비지도 학습에서 학습 알고리즘은 입력 데이터만으로 데이터에서 지식을 추출할 수 있어야 합니다. |
|
군집 알고리즘 (clustering) |
데이터를 비슷한 것끼리 그룹으로 묶는 것입니다. label이 없어도 사진 등에 나타나는 공통적인 특징으로 그룹화를 하는 것입니다. |
0. 시각화 패키지 Matplotlib
Matplotlib는 파이썬에서 데이타를 차트나 플롯(Plot)으로 그려주는 라이브러리 패키지로서 가장 많이 사용되는 데이타 시각화(Data Visualization) 패키지로 알려져 있습니다.
Matplotlib는 라인 플롯, 바 차트, 파이차트, 히스토그램, Box Plot, Scatter Plot 등을 비롯하여 다양한 차트와 플롯 스타일을 지원하며,Matplotlib.org 갤러리 웹페이지에서 다양한 샘플 차트를 볼 수 있습니다.
Matplotlib를 이용하여 데이타 시각화(Data Visualization)를 사용하기 위해서는 아나콘다-주피터를 사용하면 편리하..지만
저는 파이참 환경에서 실습을 진행하려고 합니다!!
1. Matplotlib 사용법
간단한 Matplotlib 2차원 그래프 사용 실습.
0. 역시 라이브러리 설치 먼저
콘솔에 아래와 같이 입력해주세요.
pip install matplotlib
안될시에는 lib 없이!
pip install matplot
설치가 되었다면,
from sklearn.cluster import KMeans import matplotlib.pyplot as plt import pandas as pd
저번 예제에서 설치한 사이킷런을 import하고,
Matplotlib를 사용하기 위해서는 먼저 matplotlib.pyplot 을 아래와 같이 import.
pyplot을 다른 이름으로 사용할 수 있지만, 통상 plt 라는 alias를 사용합니다.
그리고 아래의 코드를 .. 입력합니닷
그냥 간단하게 저번시간에 배운 사과와 오렌지 예제를
2차원 그래프로 출력만 해보겠습니다.
(그냥 간단한 Matplotlib사용 실습 입니다.)
# 3
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
import pandas as pd
features = [[140, 1], [130, 1], [160, 0], [170, 0]]
data = pd.DataFrame(features)
data.columns = ['kg', 'surface']
feature = data[['kg', 'surface']]
feature.head()
#################: 전 포스팅에서 했던 내용
model = KMeans(n_clusters=2)
model.fit(features)
predict = pd.DataFrame(model.predict(feature))
predict.columns = ['predict']
r = pd.concat([feature, predict], axis=1)
plt.scatter(r['kg'], r['surface'], c=r['predict'], alpha=0.5)
#scatter <- 요게 표를 그려줌!
# kg 가 x축 값, surface가 y축 값, predict가 투명도.
plt.xlabel("kg")
plt.ylabel("surface")
plt.legend()
plt.show() # 파이참 환경인 경우 .show를 해야함!
model = KMeans(n_clusters=2)
-> KMeans 의 객체를 생성하고, 찾고자 하는 클러스터 수를 지정.
model.fit(features)
그런 다음 fit 메서드 호출.
결과 :
이 간단한 그래프를 짧게 설명하자면..
마지막 줄의 show()는 :
시각화 명령을 실제로 차트로 렌더링(rendering)하고
마우스 움직임 등의 이벤트를 기다리라는 지시입니다.
주피터 노트북에서는 셀 단위로 플롯 명령을 자동 렌더링 해주므로 show 명령이 필요없지만~
일반 파이썬 인터프리터로 가동되는 경우를 대비하여 항상 마지막에 실행하도록 해요.
show 명령을 주면 마지막 플롯 명령으로부터 반환된 플롯 객체의 표현도 가려주는 효과도 있습니다.
어쨌든 이제 3차원 그래프를 그려보도록 합니다!
2. Matplotlib 3차원 그래프 그리기
iris 데이터 로 3차원 그래프 그려보기
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
iris = datasets.load_iris()
data = iris.data
target = iris.target
fig = plt.figure(figsize=(10, 7))
ax = plt.axes(projection="3d")
ax.scatter3D(data[:, 3], data[:, 0], data[:, 2], c=target);
#c=color. 꽃마다 색 다르게
plt.show()
위 코드를 간단히 설명하자면,
iris = datasets.load_iris()
로 Iris dataset 를 불러온 것을 볼 수 있는데요,
Iris Dataset 란?
sklearn 에서 제공하는 데이터셋인 Iris dataset 으로써,
위 데이터셋은 Iris, 붓꽃의 서로 다른 3가지 종(setosa, versicolor, virginica)의
sepal(꽃받침), petal(꽃잎) feature를 포함하고 있습니다.
데이터셋은 다음과 같은 내용을 포함하고 있습니다.
array([[5.1, 3.5, 1.4, 0.2],
[4.9, 3. , 1.4, 0.2],
...
[5.9, 3. , 5.1, 1.8]])
각 row는 하나의 데이터 sample 을 나타냅니다. 각 column은 feature를 나타내며
순서대로 sepal length(꽃받침의 길이), sepal width(꽃받침의 넓이), petal length(꽃잎의 길이), petal width(꽃잎의 넓이) 를 의미합니다.
이렇게 load한 데이터는 Bunch 라는 객체로 생성되며,
이 객체의 속성으로 .data 이외에 데이터의 label인 .target 과 데이터에 대한 설명인 .DESCR 등이 있는데
자세한 설명은 공식 문서를 참조하시기 바랍니다ㅎㅎ
어쨌든 위 코드의 결과로 아래와 같은 3차원 그래프가 나오는 것을 확인합니다.
이제 이 Iris dataset 로 k-Means 알고리즘과 3차원 그래프를 연동하는 예제를 해봅시다.
3. k-Means 알고리즘 + Matplotlib 연동 예제
아래 코드를 입력해 주세요.
K-Means 알고리즘 순서 입니다.
# 3
from sklearn.cluster import KMeans
k_means = KMeans(n_clusters=3)
k_means.fit(data)
k_means_predicted = k_means.predict(data)
centroids = k_means.cluster_centers_
target_names = iris.target_names
plt.figure(figsize=(10, 7))
ax = plt.axes(projection='3d')
ax.scatter(data[k_means_predicted != target, 0],
data[k_means_predicted != target, 1],
data[k_means_predicted != target, 3], c='k', s=50)
ax.scatter(centroids[0, 0], centroids[0, 1], centroids[0, 3], c='r', s=50, label='centroid1')
ax.scatter(centroids[1, 0], centroids[1, 1], centroids[1, 3], c='g', s=50, label='centroid2')
ax.scatter(centroids[2, 0], centroids[2, 1], centroids[2, 3], c='b', s=50, label='centroid3')
ax.legend()
plt.show()
print(k_means_predicted)
K-Means 알고리즘 수행 과정
1. 모든 샘플들을 공간상에 뿌리고 k개(우리가 분류하고 싶은 데이터 갯수=3개)의 중심점 위치를 랜덤하게 잡습니다.
2. 그리고 k개의 중심점을 기준으로 공간을 나눈 다음,
나누어진 각 공간에 속한 점들의 평균 위치로 중심점을 이동시켜서
3. 각 데이터들을 가장 가까운 centroids가 속한 그룹에 할당합니다.
4. 2번 과정에서 할당된 결과를 바탕으로 centroids를 새롭게 지정합니다.
이런 과정을 반복하여 k개의 최종 중심점 위치를 찾아냅니다!
결과가 어떻게 나왔나요~~?
3.5 k-Means 알고리즘 결과
위 사진의 결과가 나오나요?
혹은 아래와 같이 나오나요?
이렇게 다양한 결과가 도출되는 이유는,
비지도 학습에서는 사과가 0이다 라고 알려준 적이 없으니까
비지도 학습에서는 사과가 0이다 라고 알려준 적이 없기 때문에,
예를 들어서 사과를 1이라고도 답했다가 0이라고도 답했다가
실행할 때마다 바뀌는 결과가 나오는 것 입니다.
답을 뱉어주는 것이 아니라
그냥 0과 1을 '구분'만 하는 상황!
아이리스 데이터니까 우리가 원하는 답은 0 1 2 이런건데,
1 0 2 이렇게도 답하고
1 2 0 이렇게도 답하고 하는 상황이죠
결과 :
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 2 2 2 2 1 2 2 2 2
2 2 1 1 2 2 2 2 1 2 1 2 1 2 2 1 1 2 2 2 2 2 1 2 2 2 2 1 2 2 2 1 2 2 2 1 2
2 1]
그리고
111111 중간에 2나 0이 들어간 부분은 오차라고 불 수 있습니다.
근데 중간중간 다른 값이 섞이면 오차인데 이건 데이터가 많아지면 줄어 듭니다
1111 사이에 2 가끔 있는 것들 틀린 것.
(0 50개 1 50개 2 50개 가 나와야 합니다)
그래서 중요한 것은
사과랑 오렌지를 구분하느냐 인건데,
아직 머신이 사과를 사과라 말할 줄 모르는 상황인 것이죠 !!