대규모 언어 모델(LLM) 애플리케이션을 프로덕션에 사용하기 - Chip Huyen

LLM을 활용한 프롬프트 엔지니어링에 관심이 생겨 찾다가 좋은 글이 있어 스크랩!

 

원본 및 번역본

https://huyenchip.com/2023/04/11/llm-engineering.html

 

Building LLM applications for production

https://docs.google.com/document/d/1AR1v7p4ckJBXn4zv2saFX4ssQDKYuU2gE_aVO2QFHrs/edit#heading=h.qcfvwsgyftx6

Building LLM applications for production

 

 

제목: 대규모 언어 모델(LLM) 애플리케이션을 프로덕션에 사용하기 - Chip Huyen

1부: 프롬프트 엔지니어링 제품화의 어려움
이 부분에서는 LLM을 프로덕션에 사용하기 위한 주요 도전과제들을 다룹니다.

- 자연어의 모호성: 자연어는 모호하며, 이로 인해 LLM의 출력이 예측불가능하게 됩니다.
- 프롬프트 평가: LLM은 프롬프트에 따라 다르게 반응하므로, 프롬프트를 평가하는 것이 중요합니다.
- 프롬프트 버전 관리: 프롬프트 최적화 및 수정을 위한 버전 관리 시스템이 필요합니다.
- 비용 및 지연 시간: LLM의 실행은 비용이 들고 시간이 걸립니다. 그래서 비용 효율적인 방법을 찾고, 빠른 처리를 위한 방안이 필요합니다.
- 프롬프트 vs. 파인튜닝 vs. 대안: 프롬프트 튜닝, 파인튜닝, 임베딩 및 벡터 데이터베이스와 같은 대안적인 방법들에 대해 논의합니다.

2부: 작업 결합성
이 부분에서는 여러 작업을 구성하고 복잡한 애플리케이션을 구축하기 위해 제어 흐름과 도구를 사용하는 방법을 설명합니다.

- 여러 작업으로 구성된 애플리케이션: 복잡한 애플리케이션을 구축하기 위해 여러 작업을 어떻게 결합할 것인가에 대한 방법론을 다룹니다.
- 에이전트, 도구, 제어 흐름: 애플리케이션의 다양한 부분을 조정하고 제어하는 방법에 대해 논의합니다.
- 도구 vs. 플러그인: 두 가지 접근법의 장단점을 비교합니다.
- 제어 흐름: 순차, 병렬, if, for 루프 등 다양한 제어 흐름에 대해 설명합니다.
- 에이전트 테스트하기: LLM 에이전트를 테스트하고 개선하는 방법에 대해 논의합니다.

3부: 유망한 사용 사례
이 부분에서는 LLM을 기반으로 한 애플리케이션의 사용 사례들을 살펴봅니다.

- AI 어시스턴트: AI 어시스턴트는 복잡한 작업을 자동화하고 사용자의 작업을 돕습니다.
- 챗봇: LLM 기반 챗봇은 텍스트 기반 대화를 처리하며 사용자와 상호작용합니다.
- 프로그래밍과 게임: LLM은 코드 작성이나 게임 설계와 같은 작업에서 유용하게 사용될 수 있습니다.
- 학습에 활용하기: LLM은 교육 및 학습 환경에서 많은 잠재력을 가지고 있습니다.
- 내 데이터와 대화하기: 사용자가 자신의 데이터에 직접적으로 질문하거나 대화할 수 있는 시스템을 만드는 데 LLM을 사용할 수 있습니다.
- 검색과 추천: LLM은 검색 쿼리를 이해하고 결과를 개선하는데 도움을 줄 수 있습니다.
- 세일즈: LLM은 세일즈 활동을 자동화하고 개선할 수 있습니다.
- SEO: LLM은 웹 페이지의 SEO를 향상시키는 데 도움이 될 수 있습니다.

글의 주요 결론은 LLM이 높은 잠재력을 가지고 있지만, 그것을 제품화하고 실제 환경에 배포하는 것은 여전히 많은 도전과제를 안고 있다는 것입니다.

Building LLM applications for production

 

 

 

personal notes:

- distillation을 적용한 파인튜닝 - https://github.com/tatsu-lab/stanford_alpaca

GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data.

- 2021년이 그래프 데이터베이스의 해였다면, 2023년은 벡터 데이터베이스의 해입니다.

- 유망한 사용 사례:

https://docs.google.com/spreadsheets/d/1tmfn8jKb7T1x7PpyO7rD023tH2zc_WDg_OHh0aVXIrw/edit#gid=174517450

https://docs.google.com/spreadsheets/d/1GqwPo1FpAbe_awmNZW5ZMH69yc5QtEr7ZYw-ckaz_mQ/edit#gid=795016726

제목 없는 스프레드시트

- LLM이 데이터 분석을 대신 해줄 수 있나요? <-- 현재는 코드 인터프리터가 추가되어  가능함!