포지션 상세
**ThakiCloud(다키클라우드 코리아)**는 글로벌 AI 인프라 시장을 대상으로 소버린(Sovereign) 및 프라이빗 AI 클라우드 플랫폼을 개발하는 기업입니다.
우리는 GPUaaS를 넘어 AI 모델의 학습, 추론, 배포, 운영을 하나의 환경에서 수행할 수 있는 AI Native Cloud Platform을 구축하고 있습니다.
특히 NVIDIA GPU뿐 아니라 다양한 AI 가속기(NPU)를 활용하여 AI 모델의 추론 성능과 하드웨어 효율을 극대화하는 Token Factory를 개발하고 있습니다.
Token Factory는 단순히 LLM을 API로 배포하는 시스템이 아닙니다. 모델 특성, 하드웨어 구성, 동시 요청, 메모리 사용량, 추론 지연과 비용을 종합적으로 최적화하여 대규모 AI 추론 서비스를 효율적으로 제공하는 플랫폼입니다.
우리는 기존 오픈소스를 설치하고 운영하는 것을 넘어, 추론 엔진의 내부 구조를 이해하고 직접 성능을 개선하며, 이를 클라우드 네이티브 플랫폼으로 구현할 엔지니어를 찾고 있습니다.
• vLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진을 분석하고 성능을 개선합니다.
• Continuous Batching, KV Cache, Prefix Caching, Speculative Decoding 등 핵심 추론 최적화 기술을 구현하고 검증합니다.
• GPU 메모리 활용, 모델 병렬화, 요청 스케줄링을 최적화하여 처리량과 동시 사용자 수를 확대합니다.
FP8, INT8, NVFP4 등 양자화 모델의 추론 성능과 정확성을 평가하고 최적화합니다.
2. Token Factory 플랫폼 아키텍처 설계 및 개발
• 다양한 LLM과 멀티모달 모델을 효율적으로 실행하는 추론 플랫폼을 설계합니다.
• 모델 배포, 동적 로딩, 오토스케일링, 요청 라우팅 및 자원 할당 시스템을 개발합니다.
• 멀티테넌트 환경에서 성능 격리, SLA/SLO, 사용량 계측 및 자원 최적화를 구현합니다.
• TTFT, TPOT, Throughput, Goodput, 동시성 및 토큰당 비용을 측정하고 지속적으로 개선합니다.
3. Multi-GPU / Multi-NPU 추론 인프라 개발
• NVIDIA GPU 및 다양한 NPU 환경에서 모델을 안정적으로 실행하기 위한 추론 아키텍처를 설계합니다.
• Kubernetes 기반 AI 워크로드 스케줄링과 자원 오케스트레이션을 구현합니다.
• GPU/NPU 특성에 따른 런타임 및 모델 배치 전략을 최적화합니다.
• 분산 추론 및 고가용성 모델 서빙 환경을 구축합니다.
4. AI Native 플랫폼 고도화
• 모델 특성과 실시간 시스템 상태에 따라 최적의 추론 경로를 선택하는 기술을 연구하고 구현합니다.
• 추론 성능 벤치마크와 회귀 테스트를 자동화합니다.
• 최신 AI 추론 연구 및 오픈소스 기술을 검토하고 실제 플랫폼에 적용합니다.
• Python, Go, C++ 중 하나 이상의 언어로 복잡한 시스템을 직접 개발할 수 있는 분
• LLM 추론 구조와 GPU 메모리·연산 특성에 대한 이해가 있으신 분
• vLLM, SGLang, TensorRT-LLM, Triton 등 추론 프레임워크를 활용하거나 내부 구조를 분석한 경험이 있으신 분
• Kubernetes 및 컨테이너 기반 분산 시스템 설계·개발 경험이 있으신 분
• 성능 병목을 측정하고 프로파일링을 통해 개선한 경험이 있으신 분
• 새로운 기술을 스스로 분석하고 실제 동작하는 시스템으로 구현할 수 있는 분
이런 분과 함께하고 싶습니다
•단순한 모델 API 연동이 아닌 LLM 추론 시스템 자체를 만들고 싶은 분
•GPU를 더 많이 사용하는 것보다 같은 GPU에서 더 많은 요청을 안정적으로 처리하는 방법을 고민하는 분
•기술 논문과 오픈소스를 읽는 데 그치지 않고 실제 코드로 구현해 성능을 검증하는 분
•오픈소스를 그대로 사용하기보다 내부 구조를 이해하고 개선하는 데 흥미가 있는 분
•연구 수준의 추론 최적화 기술을 실제 고객이 사용하는 플랫폼으로 연결하고 싶은 분
우리가 만들고자 하는 것은 단순한 LLM Serving API가 아닙니다. AI 모델, 가속기, 스케줄링, 추론 최적화를 하나의 시스템으로 통합하는 차세대 Token Factory입니다.
우리는 GPUaaS를 넘어 AI 모델의 학습, 추론, 배포, 운영을 하나의 환경에서 수행할 수 있는 AI Native Cloud Platform을 구축하고 있습니다.
특히 NVIDIA GPU뿐 아니라 다양한 AI 가속기(NPU)를 활용하여 AI 모델의 추론 성능과 하드웨어 효율을 극대화하는 Token Factory를 개발하고 있습니다.
Token Factory는 단순히 LLM을 API로 배포하는 시스템이 아닙니다. 모델 특성, 하드웨어 구성, 동시 요청, 메모리 사용량, 추론 지연과 비용을 종합적으로 최적화하여 대규모 AI 추론 서비스를 효율적으로 제공하는 플랫폼입니다.
우리는 기존 오픈소스를 설치하고 운영하는 것을 넘어, 추론 엔진의 내부 구조를 이해하고 직접 성능을 개선하며, 이를 클라우드 네이티브 플랫폼으로 구현할 엔지니어를 찾고 있습니다.
주요업무
1. 고성능 AI 추론 엔진 및 런타임 개발• vLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진을 분석하고 성능을 개선합니다.
• Continuous Batching, KV Cache, Prefix Caching, Speculative Decoding 등 핵심 추론 최적화 기술을 구현하고 검증합니다.
• GPU 메모리 활용, 모델 병렬화, 요청 스케줄링을 최적화하여 처리량과 동시 사용자 수를 확대합니다.
FP8, INT8, NVFP4 등 양자화 모델의 추론 성능과 정확성을 평가하고 최적화합니다.
2. Token Factory 플랫폼 아키텍처 설계 및 개발
• 다양한 LLM과 멀티모달 모델을 효율적으로 실행하는 추론 플랫폼을 설계합니다.
• 모델 배포, 동적 로딩, 오토스케일링, 요청 라우팅 및 자원 할당 시스템을 개발합니다.
• 멀티테넌트 환경에서 성능 격리, SLA/SLO, 사용량 계측 및 자원 최적화를 구현합니다.
• TTFT, TPOT, Throughput, Goodput, 동시성 및 토큰당 비용을 측정하고 지속적으로 개선합니다.
3. Multi-GPU / Multi-NPU 추론 인프라 개발
• NVIDIA GPU 및 다양한 NPU 환경에서 모델을 안정적으로 실행하기 위한 추론 아키텍처를 설계합니다.
• Kubernetes 기반 AI 워크로드 스케줄링과 자원 오케스트레이션을 구현합니다.
• GPU/NPU 특성에 따른 런타임 및 모델 배치 전략을 최적화합니다.
• 분산 추론 및 고가용성 모델 서빙 환경을 구축합니다.
4. AI Native 플랫폼 고도화
• 모델 특성과 실시간 시스템 상태에 따라 최적의 추론 경로를 선택하는 기술을 연구하고 구현합니다.
• 추론 성능 벤치마크와 회귀 테스트를 자동화합니다.
• 최신 AI 추론 연구 및 오픈소스 기술을 검토하고 실제 플랫폼에 적용합니다.
자격요건
• AI 추론, ML 시스템, 클라우드 플랫폼 또는 고성능 백엔드 분야에서 5년 이상 또는 그에 준하는 설계·개발 역량을 보유하신 분• Python, Go, C++ 중 하나 이상의 언어로 복잡한 시스템을 직접 개발할 수 있는 분
• LLM 추론 구조와 GPU 메모리·연산 특성에 대한 이해가 있으신 분
• vLLM, SGLang, TensorRT-LLM, Triton 등 추론 프레임워크를 활용하거나 내부 구조를 분석한 경험이 있으신 분
• Kubernetes 및 컨테이너 기반 분산 시스템 설계·개발 경험이 있으신 분
• 성능 병목을 측정하고 프로파일링을 통해 개선한 경험이 있으신 분
• 새로운 기술을 스스로 분석하고 실제 동작하는 시스템으로 구현할 수 있는 분
이런 분과 함께하고 싶습니다
•단순한 모델 API 연동이 아닌 LLM 추론 시스템 자체를 만들고 싶은 분
•GPU를 더 많이 사용하는 것보다 같은 GPU에서 더 많은 요청을 안정적으로 처리하는 방법을 고민하는 분
•기술 논문과 오픈소스를 읽는 데 그치지 않고 실제 코드로 구현해 성능을 검증하는 분
•오픈소스를 그대로 사용하기보다 내부 구조를 이해하고 개선하는 데 흥미가 있는 분
•연구 수준의 추론 최적화 기술을 실제 고객이 사용하는 플랫폼으로 연결하고 싶은 분
우리가 만들고자 하는 것은 단순한 LLM Serving API가 아닙니다. AI 모델, 가속기, 스케줄링, 추론 최적화를 하나의 시스템으로 통합하는 차세대 Token Factory입니다.
