🪢 전체 Link

LG Aimers_MQL 데이터 기반 B2B 영업기회 창출 예측 모델 개발

🔎 상세 내용

고객 지수 산출을 위해 MQL 고객 정보를 활용해 영업 전환 성공 여부를 예측하는 AI 모델 개발

데이터 파악

칼럼 30개, Y-True:1, False0, 텍스트 데이터: 요청-메시지 영어로 작성됨

데이터 전처리

결측치 채우기, 범주형 변수 → 수치로 인코딩, 가공변수 생성

Ex 1. 특정 사업부 영역 칼럼 2개 → 1개의 가공변수로 통합

id_strategic_ver	(도메인 지식) 특정 사업부(Business Unit이 ID일 때), 특정 사업 영역(Vertical Level1)에 대해 가중치를 부여
it_strategic_ver	(도메인 지식) 특정 사업부(Business Unit이 IT일 때), 특정 사업 영역(Vertical Level1)에 대해 가중치를 부여

칼럼 4. ID0.4 + IT0.6 = strategic_ver로 통합

python (df_train["id_strategic_ver"].fillna(0)*0.4).value_counts()

python 0.0 55855 0.4 3444 Name: id_strategic_ver, dtype: int64

```python

새로운 컬럼 생성 및 계산

df_train['strategic_ver']= df_train["id_strategic_ver"].fillna(0) * 0.4 + df_train['it_strategic_ver'].fillna(0) * 0.6

df_train['strategic_ver'].value_counts()
```

python 0.0 54734 0.4 3444 0.6 1121 Name: strategic_ver, dtype: int64

python df_train.drop(["id_strategic_ver","it_strategic_ver"], axis=1, inplace=True) df_train.drop(['business_unit'], axis = 1, inplace = True) #어차피 strategic이랑 중복이니 삭제

```python

test 적용

df_test['strategic_ver']= df_test["id_strategic_ver"].fillna(0) * 0.4 + df_test['it_strategic_ver'].fillna(0) * 0.6

df_test.drop(["id_strategic_ver","it_strategic_ver",'business_unit'], axis=1, inplace=True)

df_train.columns #확인
```

python Index(['bant_submit', 'com_reg_ver_win_rate', 'customer_type', 'enterprise', 'historical_existing_cnt', 'lead_desc_length', 'inquiry_type', 'product_category', 'expected_timeline', 'ver_cus', 'ver_pro', 'ver_win_rate_x', 'ver_win_ratio_per_bu', 'business_area', 'response_corporate', 'lead_owner', 'is_converted', 'strategic_ver'], dtype='object')

Ex 2. 국가별 코드 → 대륙별 코드로 가공변수 생성

칼럼 7. response_corporate 전처리

python unique_response_corporate = df_train['response_corporate'].unique() print(unique_response_corporate)

python ['LGEPH' 'LGEIL' 'LGEAF' 'LGESJ' 'LGESL' 'LGESP' 'LGEGF' 'LGESA' 'LGEUS' 'LGECB' 'LGEMS' 'LGEEG' 'LGEEF' 'LGEAP' 'LGEIN' 'LGEUK' 'LGEKR' 'LGEPS' 'LGECI' 'LGECL' 'LGETK' 'LGELF' 'LGEPT' 'LGEPR' 'LGEDG' 'LGERO' 'LGEMK' 'LGEPL' 'LGECZ' 'LGEES' 'LGEAR' 'LGEHK' 'LGEML' 'LGEJP' 'LGEHS' 'LGEAS' 'LGEYK' 'LGEIS' 'LGEBN' 'LGEFS' 'LGESW' 'LGEMC' 'LGEAG' 'LGEEB' 'LGETH' 'LGEVH' 'LGECH' 'LGELA' 'LGETT' 'LGERA' 'LGEUR' 'LGEIR' 'LGEBT']

```python

대륙별로 response_corporate 값을 매핑하는 딕셔너리 생성

def map_to_continent(value):
mapping = {
'EU': ['LGEBN', 'LGEFS', 'LGEIS', 'LGEPH', 'LGEIL', 'LGEDG', 'LGEUK', 'LGEPS', 'LGETK', 'LGELF', 'LGEPT', 'LGEPR', 'LGERO', 'LGEMK', 'LGEPL', 'LGECZ', 'LGEES', 'LGEHS', 'LGEEB', 'LGETT'],
'AS_PC': ['LGEPH', 'LGEIL', 'LGESL', 'LGEKR', 'LGEAP', 'LGEIN', 'LGEHK', 'LGEML', 'LGEJP', 'LGETH', 'LGEVH', 'LGECH'],
'ME_AF': ['LGEAF', 'LGESJ', 'LGEGF', 'LGESA', 'LGEEG', 'LGEEF', 'LGETK', 'LGELF', 'LGEAS', 'LGEMC', 'LGEAR', 'LGEIR'],
'N_AM': ['LGEUS', 'LGEMS', 'LGECI'],
'L_AM': ['LGECL', 'LGESP', 'LGECB', 'LGEPS', 'LGECB', 'LGEMS', 'LGEMC', 'LGEAG', 'LGEPS', 'LGEEB', 'LGESW', 'LGEYK'],
'R_CIS': ['LGERA', 'LGEUR', 'LGELA'],
'Unknown': ['LGEBT']
}
```
for continent, companies in mapping.items():
    if value in companies:
        return continent
return value
```
```

```python

df_train DataFrame에서 expected_timeline 열의 모든 값을 문자열로 변환

df_train['response_corporate'] = df_train['response_corporate'].astype(str)

데이터프레임에 함수 적용

df_train['response_corporate'] = df_train['response_corporate'].apply(map_to_continent)

df_train['response_corporate'].value_counts()
```

python EU 29037 L_AM 12846 N_AM 8986 ME_AF 5592 AS_PC 2826 R_CIS 11 Unknown 1 Name: response_corporate, dtype: int64

```python

test 적용

df_test['response_corporate'] = df_test['response_corporate'].astype(str)

데이터프레임에 함수 적용

df_test['response_corporate'] = df_test['response_corporate'].apply(map_to_continent)

df_test['response_corporate'].value_counts() #확인
```

python EU 1953 L_AM 1283 N_AM 1207 ME_AF 457 AS_PC 371 Name: response_corporate, dtype: int64
Ex 3. 원하는 수리 기간 → ‘기타’로 줄글로 작성된 의견들 통합

칼럼 8. expected_timeline 전처리

```python

expected timeline 문구 대체 시도

0-3:0, 3-6:1, 6-9:2, 9-12:3, 12이상:4

unique_expected_timeline = df_train['expected_timeline'].unique()

대체할 값들

replacement_values = {
'less than 3 months': '0-3 months',
'3 months ~ 6 months': '3-6 months',
'6 months ~ 9 months': '6-9 months',
'9 months ~ 1 year': '9 months - 1 year',
'more than a year': 'more than 1 year'
}

비슷한 문구를 찾고 해당하는 값으로 대체하는 함수 정의

def replace_similar_values(text):
if isinstance(text, str):
# 대소문자 및 공백을 무시하고 대체할 값 찾기
for pattern, replacement in replacement_values.items():
if re.search(re.compile(re.escape(pattern), re.IGNORECASE), text):
return replacement
# 대체할 값이 없는 경우 'etc'로 분류
return 'etc'
else:
return 'etc' # NaN 또는 기타 형태의 값인 경우 'etc'로 분류

```

```python
import re

df_train DataFrame에서 expected_timeline 열의 모든 값을 문자열로 변환

df_train['expected_timeline'] = df_train['expected_timeline'].astype(str)

expected_timeline 열의 모든 값을 변경

df_train['expected_timeline'] = df_train['expected_timeline'].apply(replace_similar_values)

df_train['expected_timeline'].unique() #확인
```

```python

test 적용

df_test['expected_timeline'] = df_test['expected_timeline'].astype(str)

expected_timeline 열의 모든 값을 변경

df_test['expected_timeline'] = df_test['expected_timeline'].apply(replace_similar_values)

print(df_test['expected_timeline'].value_counts()) #확인
```

python etc 2408 0-3 months 1734 3-6 months 426 more than 1 year 272 9 months - 1 year 264 6-9 months 167 Name: expected_timeline, dtype: int64

레이블 인코딩
전처리 시 수정한 컬럼, 새로 생성한 컬럼이 str 타입일 경우 실행
- 코드

```python
def label_encoding(series: pd.Series) -> pd.Series:
"""범주형 데이터를 시리즈 형태로 받아 숫자형 데이터로 변환합니다."""
```
my_dict = {}

# 모든 요소를 문자열로 변환
series = series.astype(str)

for idx, value in enumerate(sorted(series.unique())):
    my_dict[value] = idx
series = series.map(my_dict)

return series
```
```

```python

str 변수 인코딩

label_columns = [
"business_area",
'lead_desc_length',
"customer_type",
"enterprise",
"inquiry_type",
"response_corporate",
"product_category",
"expected_timeline",
]

df_all = pd.concat([df_train[label_columns], df_test[label_columns]])

for col in label_columns:
df_all[col] = label_encoding(df_all[col])
```

python for col in label_columns: df_train[col] = df_all.iloc[: len(df_train)][col] df_test[col] = df_all.iloc[len(df_train) :][col]

```python

학습데이터셋, 평가 데이터셋 분류

x_train, x_val, y_train, y_val = train_test_split(
df_train.drop("is_converted", axis=1),
df_train["is_converted"],
test_size=0.2,
shuffle=True,
random_state=684050,
)
```

상관계수 파악

상관계수 파악

```python
import seaborn as sns
import matplotlib.pyplot as plt

데이터프레임의 상관 행렬 계산

corr = df_train.corr()

히트맵 그리기

plt.figure(figsize=(10, 8))
sns.heatmap(corr, annot=True, cmap='coolwarm', fmt=".2f")
plt.title('Correlation Heatmap')
plt.show()

```

Untitled

모델 실험

모델 성능 함수 정의

### 모델 성능 보기

def get_clf_eval(y_test, y_pred=None):
    confusion = confusion_matrix(y_test, y_pred, labels=[True, False])
    accuracy = accuracy_score(y_test, y_pred)
    precision = precision_score(y_test, y_pred, labels=[True, False])
    recall = recall_score(y_test, y_pred)
    F1 = f1_score(y_test, y_pred, labels=[True, False])

    print("오차행렬:\n", confusion)
    print("\n정확도: {:.4f}".format(accuracy))
    print("정밀도: {:.4f}".format(precision))
    print("재현율: {:.4f}".format(recall))
    print("F1: {:.4f}".format(F1))

XGBoost

오차행렬:
[[ 507 480]
[ 198 10675]]

정확도: 0.9428
정밀도: 0.7191
재현율: 0.5137
F1: 0.5993

DecisionTree

오차행렬:
[[ 618 369]
[ 326 10547]]

정확도: 0.9414
정밀도: 0.6547
재현율: 0.6261
F1: 0.6401

PCA 후 DecisionTree

오차행렬:
[[ 556 431]
[ 409 10464]]

정확도: 0.9292
정밀도: 0.5762
재현율: 0.5633
F1: 0.5697

RFE 후 DecisionTree

오차행렬:
[[ 618 369]
[ 311 10562]]

정확도: 0.9427
정밀도: 0.6652
재현율: 0.6261
F1: 0.6451

RandomForest

오차행렬:
[[ 544 443]
[ 203 10670]]

정확도: 0.9455
정밀도: 0.7282
재현율: 0.5512
F1: 0.6275

Ensemble 1_Randomforest+Gradientboosting+XGBoost+LightBoost F1: 0.5885
Ensemble2_Randomforet + GradientBoost + LogisticRegression + Decisiontree F1: 0.5567

→ Decisiontree val_data의 sum값이 가장 높게 나와서 decisiontree 하이퍼 파라미터 조정하는 걸로 시도

최종 제출

Decision tree - max_features 조정

오차행렬:
[[ 618 369]
[ 313 10560]]

정확도: 0.9425
정밀도: 0.6638
재현율: 0.6261
F1: 0.6444

877

💡 깨달은 점

DecisionTree모델로 가장 높은 성능이 나왔어서, 데이터 전처리에 시간을 더 쏟았어야 된다고 생각함.
Ensemble 모델이 어디서나 늘 높은 성능을 보이는 것은 아님.
주어진 데이터에 대해 얼마나 이해하고 있는지가 적합한 모델을 설계하는 데에 도움이 된다는 것을 앎.

B2B 영업기회 창출 예측 모델 개발

🪢 전체 Link

🔎 상세 내용

칼럼 4. ID0.4 + IT0.6 = strategic_ver로 통합

새로운 컬럼 생성 및 계산

test 적용

칼럼 7. response_corporate 전처리

대륙별로 response_corporate 값을 매핑하는 딕셔너리 생성

df_train DataFrame에서 expected_timeline 열의 모든 값을 문자열로 변환

데이터프레임에 함수 적용

test 적용

데이터프레임에 함수 적용

칼럼 8. expected_timeline 전처리

expected timeline 문구 대체 시도

0-3:0, 3-6:1, 6-9:2, 9-12:3, 12이상:4

대체할 값들

비슷한 문구를 찾고 해당하는 값으로 대체하는 함수 정의

df_train DataFrame에서 expected_timeline 열의 모든 값을 문자열로 변환

expected_timeline 열의 모든 값을 변경

test 적용

expected_timeline 열의 모든 값을 변경

str 변수 인코딩

학습데이터셋, 평가 데이터셋 분류

상관계수 파악

데이터프레임의 상관 행렬 계산

히트맵 그리기

모델 성능 함수 정의

최종 제출

💡 깨달은 점