2. Introduction to Generative 정리

생성형 AI 소개

AI이란 무엇입니까?

  • AI는 물리학과 유사한 학문이며, 자율적으로 추론하고, 학습하고, 행동할 수 있는 지능형 에이전트의 생성을 다루고 있습니다.
  • AI는 인간처럼 생각하고 행동할 수 있는 기계를 만드는 것을 포함합니다.
  • 머신러닝은 컴퓨터가 명시적인 프로그래밍 없이 데이터로부터 학습할 수 있도록 하는 AI의 하위 분야입니다.
  • 머신러닝 모델에는 두 가지 일반적인 구분이 있다.
  • 지도 학습과 비지도 학습입니다.

지도 학습 vs. 비지도 학습

  • 지도 학습에서 모델은 레이블이 지정된 데이터에서 학습하여 과거 사례를 기반으로 미래 가치 또는 클래스를 예측합니다.
  • 반면, 비지도 학습은 레이블이 지정되지 않은 데이터에서 패턴을 발견하고 클러스터로 그룹화하는 것입니다.

딥러닝과 생성형 AI

  • 딥 러닝은 인공 신경망을 사용하여 복잡한 패턴을 처리할 수 있는 머신러닝의 하위 집합입니다.
  • 생성형 AI는 기존 데이터에서 학습된 패턴을 기반으로 새로운 콘텐츠를 생성할 수 있는 딥 러닝의 하위 집합입니다.

생성형 vs.Discriminative Models

  • 차별적 모델은 데이터 포인트에 대한 레이블을 분류하거나 예측하는 반면, 생성 모델은 기존 데이터의 학습된 확률 분포를 기반으로 새로운 데이터 인스턴스를 생성합니다.

생성형 AI 모델 유형

  • 생성형 AI는 텍스트 대 텍스트, 텍스트 대 이미지, 텍스트 대 비디오, 텍스트 대 3D 및 텍스트 대 작업 모델을 포함한 다양한 모델 유형을 포함합니다.
  • 각 유형은 서로 다른 응용 프로그램을 제공합니다.

트랜스포머와 생성형 AI

  • 모델의 한 종류인 트랜스포머는 2018년에 자연어 처리에 혁명을 일으켰습니다.
  • 그것들은 인코더와 디코더로 구성되어 있고, 환각으로 이어질 수 있으며, 다양한 요인으로 인해 무의미한 텍스트를 생성할 수 있습니다.

신속한 설계 및 기초 모델

  • 프롬프트는 출력을 제어하기 위해 큰 언어 모델에 입력으로 제공되는 짧은 텍스트입니다.
  • 기초 모델은 방대한 데이터에 대해 사전 훈련된 대규모 AI 모델이며 특정 작업에 맞게 미세 조정될 수 있습니다.

생성형 AI 스튜디오 및 앱 빌더

  • Generative AI Studio는 개발자가 Gen AI 모델을 만들고 배포할 수 있는 도구를 제공하며 Generative AI App Builder는 코드를 작성하지 않고 Gen AI 앱을 만들 수 있습니다.

PalLM API

  • PalLM API를 사용하면 Google의 대규모 언어 모델과 Gen AI 도구를 테스트하고 실험할 수 있으므로 프로토타이핑을 더 빠르고 쉽게 이용할 수 있습니다.

PaLM API

  • PaLM API
  • PaLM API 사용예시
  • 구글의 LLM을 이용해 AI 애플리케이션 개발
  • 현재 미국에서만 사용 가능
  • 신청 해놓고 기다림

foundation model tuning

While prompt design is great for quick experimentation, if training data is available, higher quality can be achieved by tuning the model itself. Tuning a model lets you customize the model's response based on examples of the task that you want the model to perform.

downstram task

A foundation model is a large AI model pre-trained on a vast quantity of data designed to be adapted or fine tuned to a wide range of downstream tasks, such as sentiment analysis, image captioning, and object recognition. 기초 모델은 감정 분석, 이미지 캡션 및 객체 인식과 같은 광범위한 다운스트림 작업에 맞게 조정되거나 미세 조정되도록 설계된 방대한 양의 데이터에 대해 사전에 훈련된 대규모 AI 모델이다.

참고 Downsteam task란?

최종적으로 해결하고자 하는 작업을 의미합니다. Downstream이라는 말은 영어 그대로 직역 하면 '하류(下流)' 입니다.

물은 위에서 흘러 아래로 흘러갑니다. 즉, 상류(Upstream)에서 하류(downstream)로 흘러가는 순서가 존재합니다.

우리가 하는 작업에도 순서가 있는데, 먼저 해결해야 할 작업을 Upsteam task라 부르고 다음에 최종적으로 해결하고자 하는 작업을 Downstream task라고 합니다. 그렇다면 딥러닝에서의 Downstream task은 무엇을 의미할까요? 이는 전이학습 (Transfer Leanring)과 깊은 관련이 있습니다.

전이학습(Transfer learing) 이란, 모델을 처음부터 끝까지 (from scratch) 새로 훈련하는 것이 아니라, 미리 훈련된 (pre-trained) 모델로부터 학습을 시작하는 것을 의미합니다.

이를 up/down stream의 개념에 비유해보면, upstream은 미리 훈련된 pre-trained model이 될 것이고, downstream은 내가 최종적으로 만들고자 하는 모델이 될 것입니다.

마치 직장에서 후배가 선배의 보고서를 참조하는 것과 유사한데요, 선배가 보고서가 좋은 보고서라면 (good upstream), 후배가 보고서를 쓰기 훨씬 수월할 것입니다. (good down stream)

links

social