본문 바로가기

llm finetunning2

AI 엔지니어와 데이터 과학자를 위한 Phoenix Phoenix는 실험, 평가, 문제 해결을 위해 설계된 오픈 소스 관측 가능성 라이브러리입니다. 이 라이브러리를 통해 AI 엔지니어와 데이터 과학자들은 데이터를 빠르게 시각화하고, 성능을 평가하며, 문제를 추적하고, 데이터를 내보내어 개선할 수 있습니다.Tracing(추적)은 LLM 애플리케이션의 동작을 이해하는 데 매우 강력한 도구입니다. Phoenix는 사용 중인 프레임워크와 상관없이 최상의 추적 기능을 제공하며, 다양한 프레임워크(LlamaIndex, LangChain, DSPy), SDK(OpenAI, Bedrock, Mistral, Vertex), 언어(Python, Javascript)에 대한 일급 계측 기능을 갖추고 있습니다. 또한 OpenTelemetry SDK를 사용해 애플리케이션을 수동.. 2024. 8. 29.
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 논문 요약 1. 초록 (Abstract)요약: 이 논문에서는 LoRA(저랭크 적응) 기법을 제안합니다. 이는 대규모 사전 훈련된 모델의 가중치를 고정하고, 트랜스포머 아키텍처의 각 레이어에 훈련 가능한 저랭크 행렬을 추가하여 하향 작업에 대한 학습을 수행하는 방법입니다. 이를 통해 GPT-3 175B 같은 모델을 전체 파인 튜닝할 때 필요한 매개변수의 수를 크게 줄일 수 있으며, GPU 메모리 요구 사항도 줄어듭니다. LoRA는 RoBERTa, DeBERTa, GPT-2, GPT-3와 같은 모델에서 파인 튜닝과 동등하거나 더 나은 성능을 보이며, 학습 속도도 더 빠릅니다. 이 방법은 추가적인 추론 지연도 없으며, 파이토치(Pytorch)와 통합할 수 있는 패키지를 제공하여 코드를 공개하고 있습니다.2. 소개 (In.. 2024. 8. 22.

티스토리툴바