본문 바로가기

AI17

AI로 미래의 과학을 여는 길: 독립적인 연구와 논문 작성이 가능한 'The AI Scientist'(sakana ai) Sakana AI의 AI Scientist 프로젝트는 과학 연구의 모든 과정을 자동화합니다. 이 시스템은 연구 아이디어 생성부터 실험 수행, 논문 작성, 그리고 자동화된 피어 리뷰까지 진행합니다. 이를 통해 연구 비용을 절감하고 과학 발전을 가속화하려는 목표를 가지고 있습니다. 현재 시각 자료 생성과 오류 문제 등 한계가 있지만, 지속적인 개선을 통해 더 발전할 예정입니다.가장 강력한 LLM과 결합되면, AI Scientist는 최고 수준의 머신러닝 학회에서 "약한 수락(Weak Accept)" 평가를 받을 수준의 논문을 작성할 수 있습니다. 인공지능 일반화의 주요 과제 중 하나는 과학적 연구를 수행하고 새로운 지식을 발견할 수 있는 에이전트를 개발하는 것입니다. 최첨단 모델들이 이미 인간 과학자들을 보.. 2024. 8. 26.
LLM 가격 추적 및 토큰 계산, Tokencost로 간편하게 Tokencost는 대형 언어 모델(LLM, Large Language Model) API를 사용할 때 발생하는 비용을 추정하는 도구입니다. 이 도구는 클라이언트 측에서 토큰을 계산하고, 이를 기반으로 프롬프트 및 응답(completion) 처리에 따른 비용을 예측합니다. 주로 AI 에이전트 및 LLM 기반 애플리케이션을 구축하는 개발자들에게 유용한 기능을 제공합니다.주요 기능:LLM 가격 추적: 주요 LLM 제공업체는 자주 새로운 모델을 추가하고, 가격 정책도 업데이트합니다. Tokencost는 이러한 변경 사항을 추적하여 최신 가격 정보를 제공합니다.토큰 계산: OpenAI와 같은 LLM API를 사용하기 전에 프롬프트에 포함된 토큰 수를 정확하게 계산할 수 있습니다. 이를 통해 API 요청 전에 예.. 2024. 8. 23.
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 논문 요약 1. 초록 (Abstract)요약: 이 논문에서는 LoRA(저랭크 적응) 기법을 제안합니다. 이는 대규모 사전 훈련된 모델의 가중치를 고정하고, 트랜스포머 아키텍처의 각 레이어에 훈련 가능한 저랭크 행렬을 추가하여 하향 작업에 대한 학습을 수행하는 방법입니다. 이를 통해 GPT-3 175B 같은 모델을 전체 파인 튜닝할 때 필요한 매개변수의 수를 크게 줄일 수 있으며, GPU 메모리 요구 사항도 줄어듭니다. LoRA는 RoBERTa, DeBERTa, GPT-2, GPT-3와 같은 모델에서 파인 튜닝과 동등하거나 더 나은 성능을 보이며, 학습 속도도 더 빠릅니다. 이 방법은 추가적인 추론 지연도 없으며, 파이토치(Pytorch)와 통합할 수 있는 패키지를 제공하여 코드를 공개하고 있습니다.2. 소개 (In.. 2024. 8. 22.
오픈소스 프롬프트 엔지니어링 도구, Promptfoo 사용법 ubuntu 20.04node v20.11.1공식문서에 따르면 Node.js 18 or newerSupported operating systems: macOS, Linux, Windows  Promptfoo는 프롬프트 엔지니어링을 위한 오픈소스 도구로, 대규모 언어 모델(LLM)과의 상호작용을 테스트하고 평가하기 위해 개발되었습니다. 이 도구는 다양한 프롬프트를 실험하고, 결과를 분석하며, 최적의 프롬프트를 찾는 과정을 효율적으로 진행할 수 있게 도와줍니다.주요 기능 및 특징프롬프트 비교: Promptfoo는 다양한 프롬프트를 서로 비교하여 가장 적합한 프롬프트를 찾는 기능을 제공합니다. 여러 프롬프트를 한 번에 테스트하고 결과를 분석할 수 있습니다.자동화된 테스트: 프롬프트에 대한 자동화된 테스트를 지.. 2024. 8. 21.
Efficient Memory Management for Large LanguageModel Serving with PagedAttention(vllm) 논문 요약 1. Introduction (소개)대형 언어 모델(LLM)의 도입: LLM은 GPT와 PaLM 같은 모델을 기반으로 하고 있으며, 새로운 애플리케이션을 가능하게 합니다. 그러나 이러한 모델을 실행하는 것은 매우 비용이 많이 듭니다.메모리 관리의 문제: LLM은 특히 요청 간의 키-값 캐시(KV 캐시) 메모리가 매우 크고 동적으로 변하기 때문에, 기존 시스템은 메모리 관리에 어려움을 겪습니다.PagedAttention 제안: 이 논문에서는 OS의 가상 메모리와 페이징 기법에서 영감을 받은 PagedAttention 알고리즘을 제안합니다. 이는 메모리 낭비를 최소화하고, 요청 간의 메모리 공유를 가능하게 합니다.2. Background (배경)Transformer 기반 LLM: Transformer 모델의.. 2024. 8. 21.
GPT-4o, 4o-mini 간략 설명 OpenAI의 새로운 멀티모달 모델인 GPT-4o를 소개합니다. 이 모델은 텍스트, 오디오, 이미지, 비디오를 처리하고 생성할 수 있으며, 더욱 자연스러운 인간-컴퓨터 상호작용을 제공합니다. GPT-4o는 비영어권 언어, 비전, 오디오 분야에서 성능이 향상되었고, 응답 속도가 두 배로 빨라졌으며 비용 효율성도 높아졌습니다. GPT-4o는 OpenAI의 최신 멀티모달 AI 모델로, 주요 특징은 다음과 같습니다:다양한 입력 모달리티: 텍스트, 오디오, 이미지, 비디오 등 다양한 형식을 처리하고 생성할 수 있습니다.성능 향상: 비영어권 언어 처리, 시각적 인식, 오디오 분석 등에서 성능이 크게 개선되었습니다.빠른 응답 시간: 이전 모델보다 응답 속도가 두 배로 빨라졌습니다.비용 효율성: 더 저렴한 비용으로 높.. 2024. 8. 20.

티스토리툴바