데이터 분석 프로젝트의 80%는 데이터를 손질하는 데 쓰인다는 말이 있다. 누락된 값을 채우고, 범주형 데이터를 숫자로 바꾸고, 새로운 변수를 만들어내는 일이다. 이런 반복 작업이 사람 손에 의존하다 보니, 데이터 팀의 시간과 인력이 줄줄 새어나간다. 그래서 등장한 것이 데이터 처리 과정을 기계가 알아서 해주는 AutoML이다. arXiv에 발표된 종합 정리 연구는 이 흐름을 세 가지 영역으로 나누어 정리했다.
첫째,데이터 전처리 자동화다. 결측치 채우기,범주형 데이터 인코딩,라벨링,데이터 정제 등을 기계가 스스로 수행한다. 과거에는 데이터 과학자가 각 단계마다 코드를 짜야 했지만, 최신 도구들은 날것 그대로의 데이터를 넣으면 알아서 정리해 준다.
둘째, 데이터 증강이다. 원래 가진 데이터가 부족할 때,비슷한 가짜 데이터를 만들어 양을 늘리는 기술이다. 특히 최근에는 글·그림을 스스로 만들어내는 생성형 AI 방식이 합성 데이터에까지 활용되고 있다. 마치 "사진이 100장뿐이라 부족해"라고 하면, 비슷한 사진을 천 장 더 그려주는 화가 같은 역할이다.
셋째,특성 공학 자동화다. 데이터에서 의미 있는 변수를 골라내고, 기존 변수들을 조합해 새 변수를 만들고, 쓸모없는 변수를 걸러내는 과정이다. 예를 들어 "연봉"과 "근무연수"라는 두 변수를 곱해 "총소득 추정치" 같은 새 변수를 만드는 식이다. 이 과정을 자동화하면 사람이 직관에만 의존하던 변수 선택을 더 체계적으로 할 수 있다.
연구는 또한 모든 단계를 한꺼번에 최적화하는 "종합 자동화" 방식도 다루었다. 즉, 데이터를 넣으면 전처리부터 변수 선택, 모델 선택까지 한 번에 해주는 파이프라인이다. 다만 서베이 논문 특성상 새로운 실험 결과를 제시한 것은 아니고, 기존 연구들을 체계적으로 정리한 것이다.
실무에서 이 자동화 기술을 쓸 때 주의할 점도 있다. 자동화가 "사람 개입 없이"라는 뜻은 아니다. 데이터의 도메인 지식, 즉 "이 업무에서 어떤 변수가 중요한가"를 아는 사람의 판단은 여전히 필수적이다. 자동화 도구가 골라낸 변수 중 의미 없는 것을 걸러내는 일은 사람이 해야 한다. 또한 자동 생성된 합성 데이터가 현실과 얼마나 비슷한지 검증하는 것도 여전히 과제다.
데이터 팀이라면 당장 해볼 수 있는 것이 있다. 사용 중인 머신러닝 파이프라인에서 전처리 단계를 AutoML 도구로 교체해 보는 것이다. 오픈소스인 Auto-sklearn, Featuretools 등으로 시작해, 시간과 메모리 제약 조건을 설정해 두면 과도한 연산을 막을 수 있다. 처음부터 전체 파이프라인을 자동화하기보다, 전처리 단계부터 하나씩 자동화해 보며 효과를 확인하는 것이 현실적이다.
📖 *Automated Data Processing and Feature Engineering for Deep Learning and Big Data Applications:A Survey* |
논문 원문
※ 이 기사는 IT 연구 논문을 바탕으로 작성되었습니다.
Anyone who has worked on a data project knows the drill: 80% of the time goes into cleaning and preparing data, not building models. Missing values need imputing, categorical variables need encoding, and new features need crafting by hand. It is tedious, error-prone, and eats up the hours of skilled data scientists.
This is where automated data processing steps in. A comprehensive survey published on arXiv maps out the landscape of techniques that let machines handle the grunt work. The authors organize the field into three major areas.
First, automated data preprocessing. This covers the bread-and-butter tasks: filling in missing values, converting text categories into numbers, labeling data for supervised learning, and cleaning out noise. Modern tools can take raw, messy data and produce a clean dataset ready for modeling — without a human writing custom scripts for each step.
Second, data augmentation and synthetic generation. When you do not have enough data, you can create more. Traditional augmentation tweaks existing records — rotating images, swapping words. But the survey highlights a newer frontier: generative AI models that produce entirely synthetic datasets. Think of it as having an artist who can paint thousands of realistic-looking portraits when you only started with a hundred photos. The catch, of course, is ensuring the synthetic data faithfully represents reality.
Third, automated feature engineering. Features — the variables a model learns from — are the lifeblood of predictive performance. Automated feature extraction pulls useful signals from raw data, feature construction combines existing variables into new ones (e.g., multiplying salary by years of experience to estimate total earnings), and feature selection discards variables that add noise rather than signal. Automation here replaces gut-feeling variable selection with systematic search.
The survey also covers end-to-end AutoML systems that optimize all stages simultaneously. Feed in raw data, and the pipeline handles preprocessing, feature engineering, model selection, and hyperparameter tuning in one go. This is the holy grail — but the authors note that fully hands-off automation remains aspirational. Domain knowledge still matters. A human who understands the business context must vet the features the machine selects and validate that synthetic data resembles the real world.
For practitioners, the takeaway is pragmatic. Start small: replace just the preprocessing stage in your existing pipeline with an AutoML tool like Auto-sklearn or Featuretools. Set time and memory budgets to prevent runaway computation. Measure whether automated preprocessing actually improves model performance compared to your hand-crafted baseline. Only then consider expanding automation to feature engineering and beyond. The promise is real, but the transition is best done one step at a time.
📖 *Automated Data Processing and Feature Engineering for Deep Learning and Big Data Applications: A Survey (Survey Paper)* |
Original Paper
※ This article is based on an IT research paper. Results may vary depending on data and domain context.
