본문 바로가기

딥러닝2

딥러닝을 넘어서: AI의 자기 지도 학습 및 추론 I. 소개 지능의 정의: 지능은 문제를 해결하고 추론하며 새로운 상황에 적응하기 위해 지식과 기술을 습득하고 적용하는 능력입니다. 지능에는 지각, 주의력, 기억력, 학습, 추론 및 문제 해결과 같은 다양한 인지 능력이 포함됩니다. 학습의 정의: 학습은 경험, 학습 또는 교육을 통해 새로운 지식, 기술 또는 행동을 습득하는 과정입니다. 학습은 관찰, 연습, 피드백, 교육 등 다양한 방식을 통해 이루어질 수 있습니다. 예측 및 예측 모델의 중요성: 예측 및 예측 모델은 과거의 경험을 바탕으로 다음에 일어날 일을 예측할 수 있게 해주므로 지능과 학습에 필수적입니다. 예측 모델은 세상에 대한 기대와 가설을 생성할 수 있게 해주는 정신적 표상이며, 추가 경험을 통해 테스트하고 구체화할 수 있습니다. 예측과 예측 .. 2023. 3. 25.
언어 모델에서 문맥 내 학습(In-context learning)의 힘: 시맨틱 선행, 입력-라벨 매핑, 모델 스케일의 영향 I. 소개 최근 몇 년 동안 GPT-3와 같은 언어 모델은 사전 학습을 통해 방대한 양의 텍스트 데이터에서 학습할 수 있는 능력 덕분에 자연어 처리 작업에서 놀라운 성능을 보여 왔습니다. 그러나 추론 시점에 제시되는 문맥 내 예제에서 학습하는 능력, 즉 문맥 내 학습(ICL)은 여전히 진행 중인 연구 분야입니다. 이 연구에서는 시맨틱 선행과 입력-라벨 매핑이 언어 모델에서 ICL에 어떤 영향을 미치는지 조사합니다. 특히, 다양한 모델 제품군에서 레이블이 뒤집힌 ICL과 의미적으로 관련이 없는 레이블이 있는 ICL이라는 두 가지 설정을 살펴봅니다. 이러한 연구 결과는 언어 모델이 새로운 컨텍스트에 적응하고 제한된 데이터로부터 학습하는 방법을 조명하며, 이는 실제 애플리케이션에서 언어 모델을 사용하는 데 중.. 2023. 3. 9.

티스토리툴바