데이터 전처리, 왜 필요한가? 개념부터 이해하기

?? ??? ???? AI ????? ??? ?, ???? ??? ??? ??? ??? ?? ??? ? ????. ?? ??, ?????? ??? ????? ??? ?? ??? ??? ??? ???. ?? ??? ??? ?? ??? ????, ??? ? ?? ??? ?? ? ????. ??? ??? ???? ?? ??? ?? ????, ??? ???? ??? ?? ? ????.

??? ??? ??

??? ??

??? ???? ?? ???? ???? AI ?? ??? ??? ??? ??? ?? ??? ????. ???? ??? ???? ?? ?, ??? ???? ??? ??? ??? ?? ??? ????. ????? ???? ????, ???? ??? ??? ??? ??, ?? ?? ??? ??? ???? ?? ?????.

?? ?? ?? ??? ????? ?? ???? ?????? ?? ? ? ????.

?? ???	??	??? ?? ? ??
??? ???	??? ???? ???? ????? ???? ??	??? ??, ?? ??, ??? ??
??? ??	?? ??? ???? ??? ??? ??	??????, ??????, ??? ?? ??
??? ??	???? ??? ??? ??? ??? ??	???, ????, ???(???, ?-?)
??? ??	??? ?? ???? ??? ??? ???? ??	?? ??, ?? ??, ???
??? ??? ??	??? ??? ??? ???? ??	?????, ?????, SMOTE ??

??? ??? ???? ??? ??? ???, ?? ??? ???? ???? ? ? ?????.

??? ???? ??

???? ?? ? ?? ?? ??? ?? ??? ?????. ??? ??? ??? ???? ? ?????. ??? ??? ????? ???, ?? ???? ????, ?? ????? ???? ??? ?????. ?? ??, ?????? ?? ??? ????? ????, ?? ??? ?? ???? ??? ?? ??? ?????.

?? ??? ???? ??? ???? ? ?? ?????. ??? ??? ???, ??? ??(?: ?? ?? ???, ??? ??? ???), ??? ??, ??? ??, ??? ?? ? ??? ??? ?????. ??? ??? ???? ?? ?? ???? ??? ?? ?? ??? ??? ???? ???? ?? ? ????. ??? ?????? ???? ??? ??? ???? ?? ???? ???.

??? ???? ??? ?? ???? ??? ??? ?? ?????. ??? ??? ???? ???? ???? ???, ???? ?? ???? ??? ?? ??? ????.

??? ??? ???

??? ???

??? ??? ?? ??

???? ??? ??? ??? ?, ??? ??? ?? ?????. ??? ???? ?? ???? ???? ???? ?? ? ????. ?? ??, ????? ???? ???? ???? ? ??????. ??? ???? ??? ????, ???? ??? ??? ??? ?????. ?? ??? ??? ?? ??? ? ??? ? ?? ???.

?? ?? ??? ???? ??? ??? ??? ???? ?????.

??? ??	?? ? ??
??? ??	???? ???? ???? ??? ??? ??
??? ??	???? ???? ?? ?? ???? ?? ?? ??
??? ????	???, ???? ??? ?? ??, ?? ?? ???
??? ??? ???	??? ??? ????? ???? ?? ?? ???? ?
?? ?? ? ??	??? ??? ?? ?? ? ??? ?? ???? ?? ??
??? ???	??? ?? ???? ?? ??? ? ?? ??
??? ??	??? ???, ??? ??? ??? ?? ??? ??

2023? ? ????? ????? ?? ???? ??? ? ??? ???? ??????. ? ??, ?? ??? ???? ???? ?? ???????. ??? ??? ???? ?? ??? ???? ??? ? ??? ??? ???.

??? ?? ? ???

??? ???? ??? ?? ?? ?? ??? ????.

??? ???? ??? ???? ??? ?????.
????? ???? ??? ??? ??? ?????.
?? ???? ??? ?? ??? ????, ?? ??? ??????.
???? ????? ??? ??? ?? ?? ??? ??? ? ????.

??? ???? ??? ?? ???, ?? ??? ??? ? ????. ?? ???? ??? ???? ?? ??? ????? ?? ??? ????.

???? ??? ???? AI ?????? ?? ??? ?? ???, ??? ??? ??? ??? ??? ???.

??? ??? ??

??? ??

??? ???? ? ??? ???? ???? ???? ????. ???? ?? ?, ??? ???? ??? ???? ???. ? ???? ???? ???? ???? ??? ???? ???. ??? ?? ???? ?? ???? ??? ??? ????.

???? ?? ????? ?? ??? ? ????.
???? ????? ??? ??? ? ????.
???? ???? ??? ??? ?? ??? ?? ? ????.
??? ??? ??? ?? ??? ??? ?? ???.
???? ????? ???? ??? ??? ??? ? ????.

?? ??? ??? ???? ??? ??? ??, ?? ?? ????, ???? ??? ????? ?????. FineDataLink? ?? ??? ?? ???? ????, ?? ??? ??? ? ?? ???? ????? ???? ???? ? ????. ? ???? ??? ?? ?? ????, ???? ??? ??, ?? ??, ???? ?? ?? ???? ?????. ???? FineDataLink? ??? ?????? ?? ??? ??? ?? ????, ??? ??? ????? ????? ? ????.

??? ???

FineDataLink ?? ??>>

??? ?? ???? ??? ??? ??? ??? ??? ?? ??? ???? ??? ?????.

???·??? ??

???? ??? ??? ???? ???? ???? ???. ???? ?? ?? ??? ??? ??? ????. ???? ?? ???? ??? ????. ? ? ??? ??? ???? ??? ?? ??? ??? ? ????.

?? ??	??	??
?/? ?? (dropna)	???? ??	??? ?? ?? ??
??/???/??? ??	?? ??, ??? ??? ??	??? ?? ??? ??
??? ?? ??	??? ?? ?? ??	?? ???? ? ?? ?? ??
?? ?? ?? ??	??? ?? ??	??? ??, ??? ??
KNN, Iterative Imputer	??? ???? ???	?? ??, ??? ??

???? IQR, Z-score, ???? ?? ?? ? ??? ???? ?? ? ????. ?? ????? ??, ???, ??, ?? ??? ?? ????.

??? ???

FineDataLink? ???? ??? ?? ? ??? ???? ? ????. ?? ??, ??? ??????? ???? ???? ????, ???? ??? ?? ??? ??? ? ????. FineDataLink? ETL/ELT ??? ??? ??? ???? ??? ????, ??? ??? ?? ? ????.

???? ???? ??? ???? ????, ??? ??? ???? ?? ?????.

??? ??

??? ??? ???? ??? ??? ??? ????, ?? ??? ???? ???? ?????. ???? ??? ???? ??? ????, ???? ??? ??? ??? ?? ???. ?? ??????, ??, ???? ? ??? ???? ???? ??? ??? ??? ?? ? ??? ?????.

??	ETL (Extract, Transform, Load)	ELT (Extract, Load, Transform)
?? ??	??? ?? ?? ??	??? ?? ?? ??
??? ??	??? ???, ??? ??? ?????	??? ???, ???? ?? ??? ???
??	??? ?? ??, ???? ??? ??	?? ??? ??, ???

FineDataLink? 100? ??? ??? ??? ????, ??? ???? ETL/ELT ??? ??? ?????. ???? ?? ?? ???? ??? ??? ?? ??? ??? ??? ? ????. API ?? ??? ???? SaaS, ????, ????? ? ??? ??? ? ??? ??? ???? ??? ? ????.

??? ??? ??? ?????, ?? ?? ??? ?? ??? ??? ??? ?? ? ????.

??? ??? ?? ??

?? ?? ??? ???? ?? ??? ??? ????.

??	??
??? ??	?? ??? ???? ??? ??, ? ?? ?? ? ?? ?? ??
?? ?? ??	??? ?? ??? ????? ??
??? ??	NA, Null ? ??? ?? ? ??? ??
??? ??	?? ???? ??? ? ?? ? ??

FineDataLink? ?? ??? ?? ???? ????, ??? ???? ?? ??? ????? ????? ??? ? ????. ???? ??? ??? ???, ??? AI ???? ?? ???? ?? ? ????.

FineDataLink? ??? ???

??? ??? ??

??? ???

FineDataLink ?? ??>>

FineDataLink? ???? ?? ??? ??? ? ?? ??? ? ????. ??? ??? ?? ??? ?? ???? ?? ?? ??? ?????. ???? ??? ??? ??? ????? ?? ?? ??? ????. ???? ??? ??? ??? ??????. ??? ?? ??? ???? ????? ????, ??? ?? ??? ?????. ?? ??? ??? ??? ?? ????? ??? ? ????. ??? ????, ??? ?? ????? ?????.

??? ?? ??? ????? ???? ?????.
??? ??? ???? ?????.
??? ??? ??? ???? ?? ??? ?????.
?? ?? ??? ?????.

FineDataLink? ??? ?????? ??? ??? ??? ?????. ???? ??? ?? ?? ??? ??? ??? ?? ??? ? ????.

??? ??? ??? ??? ???? ??? ?????, ??? ??? ?? ??? ????.

ETL/ELT ???

??? ???

FineDataLink? ETL(??, ??, ??)? ELT(??, ??, ??) ??? ??????. ?? ?? ???? ??? ?? ??? ??? ??? ? ????. 100? ??? ??? ??? ?????, ??? ????? ???? ??? ??? ? ????.

ETL/ELT ??? ??? ??? ?? ??? ?? ?????. ??? ??? ????, ??? ??? ???? ?????. API ?? ??? ???? SaaS, ????, ????? ????? ??? ??? ??????.

?? ????? FineDataLink? ??? ??? ????? ?? ??? ?? ?? ??? ??? ????. ???? ??? ??? ???? ?? ??? AI ????? ?? ???? ?? ? ????.

??? ???? ? ????? AI ??? ???? ?? 10% ?? ????, ?? ??? ?????. ??? ???? ???? ?? ??? ??? ? ????. FineDataLink ?? ???? ???? ??? ??? ?? ?? ? ????. ??? ????? ??? ?? ?? ??? ??? ???.

?? ?? ? ??	??
??? ?? ? ??	??? ???? ???? ???? ?? ?? ??
????? ?? ??	SQL, R, ???? ??? ??? ?? ?? ??
?? ??	?? ?? ?? ??? ?? ?? ??

??? ???? ??? ??? ?? ?? ??? ???, ??? ???? ???? ???? ?? ?????. FineDataLink? ??? ??? ??? ??? ?????, ??? ??? ??? ??? ???? ??? ??? ???? ?????. ?? FineDataLink? ?? ???? ??? ??? ?????, ? ??? ??? ??? ??? ??? ???.