일반적으로 지도 학습이 필요한 작업에 비지도 학습을 사용하는 머신 러닝 기법입니다. 자기 지도 모델은 감독 신호에 대해 레이블이 지정된 데이터 세트에 의존하는 대신 비정형 데이터에서 암시적 레이블을 생성한다.

자기 지도 학습(SSL)은 컴퓨터 비전 및 자연어 처리(NLP) 와 같이 최첨단 인공 지능(AI) 모델을 학습하기 위해 대량의 레이블이 지정된 데이터가 필요한 분야에서 특히 유용합니다. 이러한 레이블이 지정된 데이터 세트의 경우 전문가가 주석을 달아야 하기 때문에 시간이 많이 걸려 충분한 데이터를 수집하는 것이 매우 어려울 수 있습니다. 자기 지도 방식은 학습 데이터에 수동으로 라벨을 지정해야 하는 일부 또는 전체적인 업무를 대체하므로 시간과 비용 면에서 더 효율적일 수 있습니다.

분류나 회귀와 같이 정확도가 필요한 작업을 위해 딥러닝 모델을 훈련하려면, 주어진 입력에 대한 모델의 출력 예측을 해당 입력에 대한 '정확한' 예측(일반적으로 기준값이라고 함)과 비교할 수 있어야 합니다. 일반적으로 수동으로 레이블이 지정된 훈련 데이터가 그 기준값으로 사용되는데, 이 방법은 사람의 직접적인 개입이 필요하기 때문에 '지도 학습'이라고 부릅니다. 자기 지도 학습에서 작업은 레이블이 지정되지 않은 데이터에서 '기준값'을 추론할 수 있도록 설계됩니다.

SSL에서 작업은 사전 텍스트 작업과 다운스트림 작업의 두 가지 범주로 나뉩니다.사전 텍스트 작업에서 SSL은 AI 시스템이 비정형 데이터의 의미 있는 표현을 학습하도록 훈련하는 데 사용됩니다. 학습된 표현은 이후 지도 학습 작업이나 강화 학습 작업과 같은 다운스트림 작업의 입력으로 사용할 수 있습니다. 새로운 작업에서 사전 학습된 모델을 재사용하는 것을 "전이 학습"이라고 합니다.

자기 지도 학습은 BERT 및 GPT와 같은 트랜스포머 기반 대규모 언어 모델(LLM)부터 변형 자동 인코더(VAE) 및 생성적 적대적 네트워크(GAN) 같은 이미지 합성 모델, SimCLR 및 모멘텀 대비(MoCo) 같은 컴퓨팅 비전 모델에 이르기까지 다양한 작업을 위한 정교한 딥러닝 아키텍처의 학습에 사용됩니다.

【인용】IBM