실전 다중선형 회귀분석 사례 (의료비 예측 모델링) (실습)

회귀분석 실제 사례

레퍼런스 :
R프로그래밍)다중선형 회귀분석 사례(의료비 예측 모델링) (3) : 네이버 블로그
https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=bestinall&logNo=221580078436

이 분석을 나름 재해석 해 보도록 하겠습니다.

일단 Kaggle에서 데이터를 다운로드 받을 수 있어야 하는데, 조금의 setting이 필요합니다.
colab에서 Kaggle Dataset 다운로드 받기 세팅
https://velog.io/@bbirong/colab%EC%97%90%EC%84%9C-Kaggle-Dataset-%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C-%EB%B0%9B%EA%B8%B0
캐글 주소는!
Medical Cost Personal Datasets | Kaggle
https://www.kaggle.com/datasets/mirichoi0218/insurance?resource=download

데이터 가져오기부터 시작 뿅!

In [ ]:

※ 캐글 점 세개에서 복사한 것 
!kaggle datasets download -d mirichoi0218/insurance

In [ ]:

!unzip insurance.zip

받았으니까, 열어봐요 우리!

In [1]:

import pandas as pd

In [2]:

df_raw = pd.read_csv("insurance.csv")
print(len(df_raw.index))
df_raw.head()

1338

Out[2]:

	age	sex	bmi	children	smoker	region	charges
0	19	female	27.900	0	yes	southwest	16884.92400
1	18	male	33.770	1	no	southeast	1725.55230
2	28	male	33.000	3	no	southeast	4449.46200
3	33	male	22.705	0	no	northwest	21984.47061
4	32	male	28.880	0	no	northwest	3866.85520

전처리는 필수죠

BMI는 몸무게를 키의 제곱으로 나눈 값이라고 합니다. 정상범위는 18.5~24.9라고 하네요. 흠

뭐 일단 지금 보면 sex, smoker, region이 있는데, 이것들이 order를 갖지 않는 category형 변수니까, dummy coding을 하는 것이 좋겠네요. 그러고 난 후에 적당히 상관관계를 보고 데이터를 이해하면 좋겠습니다.
region은 별로 지금은 관심사가 아니라서 제외하겠습니다.

In [3]:

df_raw.drop(columns=['region'], axis=1, inplace=True)
df_raw = pd.get_dummies(df_raw, columns=['sex', 'smoker'], drop_first=True)
df_raw.head()

Out[3]:

	age	bmi	children	charges	sex_male	smoker_yes
0	19	27.900	0	16884.92400	0	1
1	18	33.770	1	1725.55230	1	0
2	28	33.000	3	4449.46200	1	0
3	33	22.705	0	21984.47061	1	0
4	32	28.880	0	3866.85520	1	0

In [4]:

# 뭐 일단 대충 데이터가 어떻게 생겼는지 정도는 파악하고 지나가면 좋겠군요. 
import matplotlib.pyplot as plt
df_raw.hist(bins=10, figsize=(15, 10))

Out[4]:

array([[,
        ],
       [,
        ],
       [,
        ]], dtype=object)

데이터에 대한 소감

bmi는 대충 Gaussian처럼 보이지만, 나머지는 꼭 그렇지만은 않군요. 특히 charges는 초반에 거의 뭉쳐 있습니다. 당연히 그럴만한 것이 의료비를 모두다 많이 쓰지는 않지 않을까요? 흠.

잘 보면 남여 비율이 거의 50%씩 잘 나뉘어져 있지만, 흡연은 그렇지는 않군요. 흠 어쨌든 여러가지 봐야하겠지만 지금은 감흥이 없네요.
저는 개인적으로 correlation matrix를 보면 눈이 아파와서 가장 순위가 높은 것부터 주르륵 보는 것을 좋아합니다. 그걸 할 수 있는 방법은! 꿀팁 대 방출

그리고 상관분석

In [5]:

df_raw.corr().stack()[df_raw.corr().stack()<1].drop_duplicates().abs().sort_values(ascending=False).reset_index()

Out[5]:

	level_0	level_1	0
0	charges	smoker_yes	0.787251
1	age	charges	0.299008
2	bmi	charges	0.198341
3	age	bmi	0.109272
4	sex_male	smoker_yes	0.076185
5	children	charges	0.067998
6	charges	sex_male	0.057292
7	bmi	sex_male	0.046371
8	age	children	0.042469
9	age	smoker_yes	0.025019
10	age	sex_male	0.020856
11	children	sex_male	0.017163
12	bmi	children	0.012759
13	children	smoker_yes	0.007673
14	bmi	smoker_yes	0.003750

상관관계로 알야내는 것들

오, 이걸 보면
⓵ 흡연을 하면 의료비 지출이 엄청 많아진다. 머 당연.
⓶ 나이가 많을 수록 의료비 지출이 많아진다. 머. 당연.
⓷ bmi가 클 수록 의료비 지출이 많아진다. 머 당연.

그렇긴 한데 그 이외에 나이가 많을 수록 bmi가 증가한다라는 항목이 있는데, 그렇다는 이야기는 나이가 많을 수록 bmi가 증가하고 지출이 증가한다. 그렇다는 이야기 이겠군요. 그렇긴 한데 bmi보다는 나이가 더 큰 선형관계를 갖고 있을 가능성이 크군요.

그리고 나머지 10%미만의 것들은 관계성에 그다지 큰 insight를 주기 힘들지 않을까 합니다.

예측을 위한 데이터를 남겨둡시다.

어쨌든 여기에서 관심을 갖는 것은 age, bmi 정도가 주요 관심 변수가 되겠고, 나머지는 그렇게까지 관심사항이 되기는 어렵지 않을까 생각합니다. 어쨌든! 회귀를 한번 볼까요! 아, 그 전에 train과 test를 나눠서 좀 해보죠.

In [6]:

from sklearn.model_selection import train_test_split
df_raw_train, df_raw_test = train_test_split(df_raw, test_size=0.2, random_state=777)
df_raw_train.head()

Out[6]:

	age	bmi	children	charges	sex_male	smoker_yes
644	43	35.310	2	18806.14547	1	0
585	33	28.270	1	4779.60230	0	0
26	63	23.085	0	14451.83515	0	0
486	54	21.470	3	12475.35130	0	0
1050	44	36.955	1	8023.13545	0	0

본격 회귀분석 시으작!

이걸 회귀분석! 한번 해봐요 우리

In [7]:

import statsmodels.formula.api as smf
model_raw_expense = smf.ols("charges ~ age + bmi + children + sex_male + smoker_yes", data=df_raw).fit()
model_raw_expense.summary()

Out[7]:

OLS Regression Results

Dep. Variable:	charges	R-squared:	0.750
Model:	OLS	Adj. R-squared:	0.749
Method:	Least Squares	F-statistic:	798.0
Date:	Wed, 11 Jan 2023	Prob (F-statistic):	0.00
Time:	23:39:24	Log-Likelihood:	-13551.
No. Observations:	1338	AIC:	2.711e+04
Df Residuals:	1332	BIC:	2.715e+04
Df Model:	5
Covariance Type:	nonrobust

	coef	std err	t	P>|t|	[0.025	0.975]
Intercept	-1.205e+04	951.260	-12.670	0.000	-1.39e+04	-1.02e+04
age	257.7350	11.904	21.651	0.000	234.383	281.087
bmi	322.3642	27.419	11.757	0.000	268.576	376.153
children	474.4111	137.856	3.441	0.001	203.973	744.849
sex_male	-128.6399	333.361	-0.386	0.700	-782.609	525.329
smoker_yes	2.382e+04	412.523	57.750	0.000	2.3e+04	2.46e+04

Omnibus:	301.103	Durbin-Watson:	2.087
Prob(Omnibus):	0.000	Jarque-Bera (JB):	720.380
Skew:	1.214	Prob(JB):	3.73e-157
Kurtosis:	5.650	Cond. No.	295.

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

회귀분석 결과의 해석

자, 결과를 한번 해석해 보시죠. 결정계수 좋고요~, F통계량 좋습니다~. 그리고 각각의 계수를 보면 sex_male빼고는 모두 유의하군요? 오. 뭐 이런 경우가 다 있답니까? 아름답군요.

다른건 그렇다고 치고, 여기에서 얻을 수 있는 insight중 하나는 ★★★ sex_male이 유의하지 않다는 사실입니다. 이 이야기는 남성이 여성에 비해서 128.6달러 정도 의료비를 덜 쓰고 있긴 하지만 말이죠, 그래도 의료비 전체를 보았을 때에는 남성과 여성이 의료비에 대해서 확률적으로 다르지 않다는 의미입니다.

★★★ 왜냐하면 Null Hypothesis가 기울기=0이다 이니까요. 0이니까 데이터가 1이냐 0이냐는 별로 중요치 않다는 의미이고, 남녀에 따라 의료비에 영향을 미치지 않는다는 의미입니다. 자, 그러면 이 Feature가 유의하지 않다고 해서 버려야 하나요? 아니에요~ 아니에요. 어차피 영향을 주지 않으니까요. - 필요없다고 생각하면 없애도 나쁘지 않지 않을까? 하는 생각도 드네요. -

그럼 이때까지 VIF로 다중공선성이 어쩌구 했던건 다 뭐죠? 라는건 이미 이야기 했듯이 다중공선성이 있다고 해서 무작정 없앨 필요가 없다는 이야기 기억하시죠? 우리가 관심을 갖고 있는 Feature가 유의하지 않은 경우에 이걸 꼭 유의하게 만들어야겠다고 생각했다면 그때는 다중공선성을 고려해서 다른 Feature를 합치거나 압축하거나 없애서 해당 Feature가 유의하게 만드는 거라고 생각해야 합니다.

여기까지 봤으면 각각의 Feature의 영향력을 정규화해서 보면 어떤 Feature가 가장 큰 영향을 끼치는지 볼 수 있겠죠? 정규화를 진행! 해 보시죠. ★ 이미 train set과 test set을 나눠두었다는 점 기억!!! 하시죠.

In [8]:

df_norm_train = df_raw_train.copy()
df_norm_train_y = df_norm_train.pop('charges')
df_norm_train_x = df_norm_train.copy()

In [9]:

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()

cols = df_norm_train_x.columns
df_norm_train_x[cols] = scaler.fit_transform(df_norm_train_x[cols])  # MinMax Scaling
df_norm_train = df_norm_train_x.copy()
df_norm_train['charges'] = df_norm_train_y.copy()

df_norm_train.head()

Out[9]:

	age	bmi	children	sex_male	smoker_yes	charges
644	0.543478	0.509294	0.4	1.0	0.0	18806.14547
585	0.326087	0.315434	0.2	0.0	0.0	4779.60230
26	0.978261	0.172656	0.0	0.0	0.0	14451.83515
486	0.782609	0.128184	0.6	0.0	0.0	12475.35130
1050	0.565217	0.554592	0.2	0.0	0.0	8023.13545

In [10]:

#from sklearn.externals import joblib
import joblib  # 그냥 joblib을 import 하세요 anaconda있으면 그냥 쌉사용 가능 
scaler_filename = "scaler.save"
joblib.dump(scaler, scaler_filename) 
#scaler = joblib.load(scaler_filename) 

Out[10]:

['scaler.save']

sclaer를 나중에 예측에 쓰기 위해서 저장을 쫌 하고요,
어쨌든 보니까. 학습데이터의 정규화가 잘 된것 같습니다. 후후. 이제부터는 분석에는 train만 이용해서 뭐든지 할 것입니다. 후후.

In [11]:

df_norm_train_x.columns

Out[11]:

Index(['age', 'bmi', 'children', 'sex_male', 'smoker_yes'], dtype='object')

In [12]:

import statsmodels.formula.api as smf
model_norm_expense = smf.ols("charges ~ age + bmi + children + sex_male + smoker_yes", data=df_norm_train).fit()
joblib.dump(model_norm_expense, "model_regression")
model_norm_expense.summary()

Out[12]:

OLS Regression Results

Dep. Variable:	charges	R-squared:	0.744
Model:	OLS	Adj. R-squared:	0.743
Method:	Least Squares	F-statistic:	618.5
Date:	Wed, 11 Jan 2023	Prob (F-statistic):	8.85e-312
Time:	23:39:33	Log-Likelihood:	-10838.
No. Observations:	1070	AIC:	2.169e+04
Df Residuals:	1064	BIC:	2.172e+04
Df Model:	5
Covariance Type:	nonrobust

	coef	std err	t	P>|t|	[0.025	0.975]
Intercept	-1834.3535	571.984	-3.207	0.001	-2956.698	-712.009
age	1.196e+04	614.833	19.453	0.000	1.08e+04	1.32e+04
bmi	1.144e+04	1111.589	10.295	0.000	9262.516	1.36e+04
children	1893.8185	765.214	2.475	0.013	392.318	3395.319
sex_male	-57.3795	374.051	-0.153	0.878	-791.340	676.581
smoker_yes	2.386e+04	467.467	51.034	0.000	2.29e+04	2.48e+04

Omnibus:	249.533	Durbin-Watson:	1.947
Prob(Omnibus):	0.000	Jarque-Bera (JB):	609.485
Skew:	1.237	Prob(JB):	4.49e-133
Kurtosis:	5.747	Cond. No.	8.47

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

회귀 분석결과의 해석과 문제가 있는지 추론해 보자

오~. F 통계량이 장난이 나니네요. R_squared도 엄청 크고요. 나머지는 모두 유의하니까 와웃. 그러면 이중에 제일 영향력이 큰 것은? 엣? 흡연이네요??? 나이도 bmi도 아니고..

★★★ 새로운 사실입니다. 와앗 크. 그러면 일단 전부다 상태가 좋은데 볼필요는 없지만 심심하니까 VIF나 한번 볼까요?

In [13]:

from statsmodels.stats.outliers_influence import variance_inflation_factor

vif = pd.DataFrame()
vif["VIF Factor"] = [variance_inflation_factor(df_norm_train_x.values, i) for i in range(df_norm_train_x.shape[1])]
vif["features"] = df_norm_train_x.columns
vif.to_clipboard()
vif

Out[13]:

	VIF Factor	features
0	2.723298	age
1	3.383790	bmi
2	1.711687	children
3	1.891433	sex_male
4	1.237652	smoker_yes

다중공선성의 고려

엣 보니까 VIF도 다 착하디 착하게 작군요. 서로 자알~ 독립적인가봅니다. 오. 이런 좋은 데이터가 있다니. 어쨌든 우리는 다중회귀를 하나 끝냈습니다. 이제는 raw에서부터 정규화된 평가데이터를 만들어 보겠습니다. 후후.

※ 정규화된 데이터로 회귀를 하게 되면 각 계수의 기여크기를 비교할 수 있다는 줨~

In [14]:

df_norm_test_y = df_raw_test.pop('charges')
df_norm_test_x = df_raw_test.copy()

In [15]:

scaler = joblib.load(scaler_filename)  # 아까 저장한 sclaer를 loading하고요 
cols = df_norm_test_x.columns
df_norm_test_x[cols] = scaler.fit_transform(df_norm_test_x[cols])  # MinMax Scaling

In [16]:

df_norm_test_x.head()

Out[16]:

	age	bmi	children	sex_male	smoker_yes
834	0.391304	0.590608	0.2	1.0	0.0
1106	0.673913	0.461806	0.0	0.0	0.0
396	0.543478	0.609788	0.6	0.0	0.0
464	0.021739	0.304729	0.0	1.0	0.0
1179	0.282609	0.458003	0.0	1.0	1.0

예츠으으으윽!!!

호홋.자! 듀근듀근 이제 실제로 test 데이터를 이용해서 예측을 해 봅시다.

예츠으으으윽!

In [17]:

df_norm_pred_y = model_norm_expense.predict(df_norm_test_x)
df_norm_pred_y.head()

Out[17]:

834      9926.004001
1106    11510.817437
396     12780.494030
464      1855.497453
1179    30586.330384
dtype: float64

예측 결과의 확인

예측결과가 나왔습니다.

으흐흐흠, 그럼 이 예측결과를 가지고 모형에 대한 평가를 해 보도록 하겠습니다. 모형 성능평가는 RMSE를 이용할 것입니다. 이 RMSE를 계산할 수 있는 방법은 statsmodels를 이용해도 되고, sklearn을 이용할 수도 있는데 두개 다 해보죠 머.

In [18]:

from statsmodels.tools.eval_measures import rmse
rmse_result = rmse(df_norm_test_y, df_norm_pred_y)
rmse_result

Out[18]:

6191.94244982402

In [19]:

import numpy as np
from sklearn.metrics import mean_squared_error
rmse = np.sqrt(mean_squared_error(df_norm_test_y, df_norm_pred_y))
rmse

Out[19]:

6191.94244982402

RMSE를 계산하는 2가지 방법 확인

2개 결과가 모두 같군요.

이렇게만 보면 이게 괜찮은건가 싶잖아요? 그러면 대~충 y의 range와 RMSE를 비교해 보도록 하시죠.

In [20]:

df_raw['charges'].describe()

Out[20]:

count     1338.000000
mean     13270.422265
std      12110.011237
min       1121.873900
25%       4740.287150
50%       9382.033000
75%      16639.912515
max      63770.428010
Name: charges, dtype: float64

RMSE가 어느정도여야 좋은 것일까?

이렇게 보니 최소값은 1121, 최대값은 63770이군요? 그렇다면 RMSE가 얼마나 차지하는지 계산해 보면 어느 정도 출렁이는지 알 수 있겠군요.

한번 계산해 봅시다!

In [21]:

rmse/(63770-1121) * 100

Out[21]:

9.883545547134064

그래서 RMSE 성능이 좋은 걸까?

전체 range의 약 9.9% 정도의 에러를 보이고 있으니까,

대단히 좋은 모형이라고 볼 수는 없지만, 쓰레기 모형이라고 볼 수는 없겠습니다. 이게 3차원 정도의 회귀였으면 그림을 그려서 비교할텐데, 5차원 Feature이다보니까 그림으로 그래서 비교하기 좀 어렵군요.

In [22]:

import matplotlib.pyplot as plt
plt.scatter(df_norm_test_y, df_norm_pred_y)

Out[22]:

대신 이런식으로 실제값과 예측값을 그려볼 수는 있겠습니다. 그른데~! RMSE는 뭐 그냥저냥한데, 많이 흩어져있는 모양새로군요. 흠.

Charge를 더 잘 설명해 보자! : 더 잘 설명하면, 그 결과는 모형의 개선이 됩니다!

★★★★ 그렇긴 한데, 여기에서 끝나지 않고, 원래 분석에서는 더 추가해서 뭔가 더 했는데,
그게 뭐냐면 도메인 지식으로 뭔가 해야한다는 건데, 일단 나이가 들수록 drastically 비용이 늘어난다는 도메인 지식, 즉 나이와 비용이 비선형적이다는 그런 주장인데 매우 합리적인 추론이라고 생각합니다만. 실제로 나이와 비용을 확인해 보면 약간 비선형적으로 보이긴 하지만, 그렇게까지 비선형적이라고 보기는 힘들지 않을까 합니다. 하지만 고려한다면 조금은 개선이 되겠죠!

★★★ 진짜 중요한 것이 있는데, 이게 모델 개선이 무엇이냐라는 관점을 잘 알아야 하겠는데, 모델의 개선이 더 설명을 잘하는 모델을 찾아낸다는 의미이긴 하지만 명확하게 관심 Feature들을 더 잘 설명할 수 있어야 한다는 것입니다. 모델이 개선된다는 의미는 그런 Feature를 찾아냈다는 의미와 같겠죠. 그러면 관심 Feature를 더 잘 설명한다! 니까 당연히 더 좋은 모델이겠지요.

여러가지 도메인 지식을 활용해야 한다는 교훈

어쨌든 나이와 비용의 관계를 좀 볼까요?

In [24]:

import matplotlib.pyplot as plt
plt.scatter(df_raw['age'], df_raw['charges'])

Out[24]:

또하나의 도메인 지식으로 bmi가 특정구간을 기준으로 계단식으로 변할 것이라는 합리적인 추론도 정말 좋은 접근입니다.

In [25]:

plt.scatter(df_raw['bmi'], df_raw['charges'])

Out[25]:

이 관계를 보면 어 어느정도 30이상의 bmi에서는 두 갈레로 나뉘어서 작은 지출과 큰 지출로 나뉘어 보이는군요. 이건 조금 고려 해 볼만 한 것 같습니다. 왜냐하면 bmi수치가 마냥 선형관계를 갖는 것으로 보이지는 않는다는 의미죠. bmi수치를 30이상과 아닌 것으로 boolean으로 나누어서 마치 흡연자냐 아니냐 처럼 하면 조금 나은 분석이 되지 않을까 합니다만, 그런 이유로! bmi boolean을 추가해서 괜찮은지 분석을 시도해 보시죠.

그리고, 마지막하으로 하나 더 보는데, 그게 뭐냐면 bmi boolean과 흡연 boolean을 and해서 둘다 하는 사람과 아닌 사람과의 관계도 있지 않을까? 하는 접근입니다. 음. 꽤 의미가 있겠군요.

어쨌단 이 세가지를 모두 해볼까요? 한번?

In [ ]:

df_raw_train['age_squared'] = df_raw_train['age']**2
df_raw_train['bmi30'] = df_raw_train['bmi'].copy()
df_raw_train['bmi30'] = df_raw_train['bmi30'].apply(lambda row : 1 if row>=30 else 0)
df_raw_train['smoke_bmi'] =  df_raw_train['bmi30'] * df_raw_train['smoker_yes']

In [28]:

model_improved_expense = smf.ols("charges ~ age_squared + bmi + children + sex_male + smoker_yes + bmi30 + smoke_bmi", data=df_raw_train).fit()
model_improved_expense.summary()

Out[28]:

OLS Regression Results

Dep. Variable:	charges	R-squared:	0.861
Model:	OLS	Adj. R-squared:	0.860
Method:	Least Squares	F-statistic:	942.8
Date:	Wed, 11 Jan 2023	Prob (F-statistic):	0.00
Time:	23:41:31	Log-Likelihood:	-10510.
No. Observations:	1070	AIC:	2.104e+04
Df Residuals:	1062	BIC:	2.108e+04
Df Model:	7
Covariance Type:	nonrobust

	coef	std err	t	P>|t|	[0.025	0.975]
Intercept	-114.0082	996.994	-0.114	0.909	-2070.310	1842.294
age_squared	3.3276	0.123	27.053	0.000	3.086	3.569
bmi	91.6562	37.017	2.476	0.013	19.022	164.291
children	564.0618	112.662	5.007	0.000	342.997	785.127
sex_male	-553.2592	276.096	-2.004	0.045	-1095.015	-11.503
smoker_yes	1.345e+04	498.220	27.004	0.000	1.25e+04	1.44e+04
bmi30	-772.2354	468.664	-1.648	0.100	-1691.848	147.377
smoke_bmi	1.992e+04	687.723	28.971	0.000	1.86e+04	2.13e+04

Omnibus:	716.917	Durbin-Watson:	2.004
Prob(Omnibus):	0.000	Jarque-Bera (JB):	5839.579
Skew:	3.198	Prob(JB):	0.00
Kurtosis:	12.491	Cond. No.	1.57e+04

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
[2] The condition number is large, 1.57e+04. This might indicate that there are
strong multicollinearity or other numerical problems.

의료 비용을 더 잘 설명하게 되다.

오 이렇게 보니 R제곱 값이 엄청나게 올라갔군요. 하지만 주의해야 할 점은 Feature를 더 추가했기 때문에 R제곱이 더 올라갔을 수 있습니다. 그떄 뫄야 하는 것이 R제곱_adjusted인데 이것도 괜찮군요? 이게 괜찮다면 아마도 age 제곱한 것과 비만&흡연자 Feature를 추가한 것인 큰 역할을 했나 봅니다. bmi자체와 흡연은 그렇게 큰 상관관계가 없었는데, bmi30을 만들면서 더 설명하기 좋은 Feature가 된 것 같습니다. bmi30 자체는 그렇게 설명하기 좋지 않고요.

그러면 예측성능도 좋아졌는지 궁금해 졌습니다.

뭐, 이제 식은 죽 먹기 아니곘습니꺄? 주르륵 가봅시다.

In [ ]:

df_raw_test['age_squared'] = df_raw_test['age']**2
df_raw_test['bmi30'] = df_raw_test['bmi'].copy()
df_raw_test['bmi30'] = df_raw_test['bmi30'].apply(lambda row : 1 if row>=30 else 0)
df_raw_test['smoke_bmi'] =  df_raw_test['bmi30'] * df_raw_test['smoker_yes']

In [30]:

#df_raw_test_x = df_raw_test[col for col in df_raw_test if col!="charges"]
df_improved_pred_y = model_improved_expense.predict(df_raw_test)
df_improved_pred_y.head()

Out[30]:

834      6536.937507
1106    10618.364972
396     10111.642491
464      2841.439569
1179    18716.923550
dtype: float64

In [31]:

from statsmodels.tools.eval_measures import rmse
rmse_result = rmse(df_norm_test_y, df_improved_pred_y)
rmse_result

Out[31]:

4408.131333523438

In [32]:

plt.scatter(df_norm_test_y, df_improved_pred_y)

Out[32]:

예측 성능도 좋아지다.

오, 예측성능 rmse도 더 좋아졌군요? 배흐엑 훨씬 좋아보이는군요? 와웃! 울 것이 한도 끝도 없는 세상인가 봅니다. 어쨌거나 조금도 예측도 많이 좋아졌군요. 헤헷

마지막에 개선이라는 부분이 어떻게 보면 배울 점이 있는 부분인데, Charge를 더 잘 설명할 수 있는 Feature를 만드는 방법에 대해서 이야기해 보았으니 꽤나 의미있는 실습이었다고 생각합니다.

기억해야 할 것들을 늘어놓는다면, correlation보는 꿀팁, dummy variable 만들 때, first는 drop할 것, scaler만들 때, train 데이터에만 적용할 것, 날 것 모형과 정규화 모형은 결과는 같은데, 계수의 기여도를 볼 때는 정규화 모형으로 봐야 한다는 것. 모델의 개선이라는 것은 더 종속변수를 더 잘 설명하는 Feature를 찾아내는 것, 유의하지 않는 관심 Feature를 유의하게 만드는 것 입니다. 꼭 기억해 주세요.