R&Dix 공식 블로그

[arXiv’ 24] Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache 논문 리뷰Paper: Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache (Arxiv, 2024) 대규모 언어 모델(LLM) 추론 서비스에서는 요청마다 지원하는 최대 입력 문맥 길이가 크게 달라진다.예를 들어,OpenAI의 ChatGPT는 128K 토큰,구글 Gemini는 1000K 토큰,LongRoPE 연구는 2000K 토큰까지 지원한다.그러나 LLM은 AR(Autoregressive) 방식으로..

(1) Transformer 아키텍쳐에서 진행되는 연산 이해(2) Collective Communication 에 대한 이해원본 문서 링크: https://arxiv.org/abs/2405.17245 Galaxy: A Resource-Efficient Collaborative Edge AI System for In-situ Transformer InferenceTransformer-based models have unlocked a plethora of powerful intelligent applications at the edge, such as voice assistant in smart home. Traditional deployment approaches offload the inference ..