어니언킴의 개발 블로그

최근 구글 같은 빅테크뿐 아니라 GPU, NPU 기업과 반도체 스타트업까지 컴파일러 엔지니어 채용을 크게 늘리고 있다. 한때는 "이제 연구할 게 거의 끝난 분야"라는 말까지 듣던 컴파일러가 왜 다시 주목받는 걸까? 알다시피 전통적 의미의 컴파일러는 프로그래밍 언어를 기계어로 바꿔주는 프로그램이다. 하지만 이 과정에서 단순히 번역만 하는 것은 아니다. 같은 프로그램을 더 빠르게, 더 적은 메모리와 전력으로 실행할 수 있도록 최적화하는 것도 컴파일러의 핵심 역할이다. 그리고 이런 변환과 최적화는 AI 모델도 똑같이 필요하다. AI도 결국 소프트웨어이기 때문에 하드웨어가 실행할 수 있는 형태로 변환되어야 한다. PyTorch나 Hugging Face로 작성한 모델이 GPU나 NPU에서 실행될 때, 컴파일러는 ..

AI 시대에 NVIDIA GPU가 주인공처럼 떠오르면서, 같이 주목받는 분야가 있다. 바로 NPU다. CPU가 다양한 명령어와 소프트웨어를 실행할 수 있는 범용 프로세서라면, ASIC은 특정 작업에 맞춰 하드웨어 구조를 최적화한 전용 반도체다. CPU는 운영체제, 브라우저, 게임처럼 서로 다른 작업을 처리할 수 있지만, 특정 연산만 놓고 보면 효율이 떨어질 수 있다. 반면 ASIC은 범용성은 낮지만, 반복되는 특정 연산을 더 빠르고 전력 효율적으로 처리할 수 있다. ASIC이 오래전부터 많이 쓰인 분야가 네트워크 장비다. 공유기, 스위치, 라우터, 데이터센터 장비 안에는 패킷을 빠르게 분류하고 전달하는 전용 칩이 들어간다. 이 영역에서 오랫동안 강점을 쌓아온 회사가 바로 Broadcom이다. Broadc..

NVIDIA 공식 홈페이지는 CUDA를 단순한 API, 라이브러리, SDK가 아니라 Compute Platform으로 소개한다. 이 표현이 다소 과장처럼 보일 수 있다. CUDA는 결국 GPU에서 병렬 연산을 수행하기 위한 개발 도구의 묶음 아닌가? 그렇다면 왜 NVIDIA는 CUDA를 “소프트웨어”가 아니라 “플랫폼”이라고 부를까? 이 질문에 답하려면 먼저 플랫폼 비즈니스가 왜 강력한지 생각해볼 필요가 있다. 쉬운 예시는 배달의민족이다. 배민은 분명 소프트웨어다. 그러나 배민의 힘은 단순히 소프트웨어가 잘 만들어졌다는 데서 나오지 않는다. 등록된 식당이 많기 때문에 사용자가 모이고, 사용자가 많기 때문에 더 많은 식당이 입점한다. 이 선순환이 만들어지는 순간 배민은 단순한 주문 앱이 아니라 플랫폼이 된..

엔터프라이즈 AI 솔루션 분야에 종사 중이라면 이미 아는 내용일테니 스킵하기를 권장한다. 질문은 또 다시 “팔란티어의 FDE 는 뭐가 다르냐”라는 것이다. “고객사 현장에 가서 엔지니어링 하는 게 다 SI랑 같은 거 아니냐” 라는 것이다. 놀랍게도 업계는 그렇게 돌아가지 않는다. 배경을 이해하기 위해 B2B 소프트웨어의 유통 구조를 짚고 넘어갈 필요가 있다. 소프트웨어를 공급하는 회사를 “벤더”라고 한다. IBM을 비롯해 Oracle, AWS, MS 같은 글로벌 기업부터 수많은 국내 소프트웨어 회사들이 여기에 해당한다. 그리고 이 소프트웨어를 고객 환경에 맞게 조합하고 구축하는 회사를 보통 SI사 또는 파트너사라고 부른다. 예를 들어 K은행에서 “일정관리 앱 구축” 프로젝트가 나왔다고 해보자. 이 경우 ..

울 아빠가 일하던 썰을 풀어본다. 어릴 적부터 아빠는 독수리 타법으로 모든 작업을 했다.지켜보고 있으면 한없이 답답했지만 아빠 본인은 “한글자 한글자 신중히 생각하며 적는 것” 이라고 했다.급하게 일을 처리해야 할 때면 어린 누나를 종종 활용했다. 성격이 급한 누나는 아빠의 말을 타이핑 해 주는 것을 넘어, 아빠가 작성할 문서를 미리 예측해 완성해두곤 했다.아빠는 그것을 보며 흡족해 하다가도 때로는 “아니 아니, 다시” 라며 누나가 쓴 글을 지우고 다시 작성했다.티격 태격 하면서도, 둘은 빠른 속도로 훌륭한 보고서를 완성하곤 했다. 누나를 업무에 활용하던 아빠의 꼼수가 현대 LLM 추론 엔진의 코어 테크닉이라면 믿겠는가? HuggingFace, vLLM 등 LLM 추론 프레임워크에는 Speculative..

AI 연산의 메모리 사용량을 1/6 까지 줄여 삼전과 하이닉스의 주가를 폭락시킨 터보퀀트의 불편한 진실을 몇가지 폭로한다. KV Cache Quantization 는 그리 새로운 기술은 아니다.llama.cpp, vLLM 등에서 이미 KV Cache 8bit quantization이 활발하게 쓰이고 있다.4bit 또한 학계에서 꾸준히 연구가 되어 왔다.TurboQuant 가 주장하는 6-8 배 효율성은 32bit KV Cache 를 기준으로 측정한 것이다.최신 기술인 것 같지만 작년 이맘때 쯤(25년 4월)에 공개된 논문이다. 최근 들어 다시 화제가 된 것은, 구글 블로그를 통해 소개되었기 때문이다.아직 공개된 구현체가 없다. 커뮤니티 중심으로 성능이 검증되지 않았다는 말이다.메모리 효율성은 KV Cac..

Codex 로 넘어오며 불편한 점이 한두 가지가 아니다. Cursor 처럼 원하는 코드 block을 드래그 해 선택이 안된다.수정된 코드 block 이 내 컨펌을 받고 반영되는 UX 가 없다. 잘 됐든 안됐든 즉시 적용된다.여러 code block 이 얽히고 섥혀 수정되면 종종 revert 단계에서 에러가 난다. 심하면 복구 불가능한 상태가 된다.쓰다보면 CLI 를 쓰는 것과 다름이 없다. IDE 가 지원해야 하는 기본적인 기능들이 대부분 빠져있다. 그럼에도 불구하고 Codex 에서 벗어나지 못하는 단 하나의 이유가 있다. 바로 Codex-Spark 모델이다. 잘 알려져 있듯 Codex-Spark 는 ChatGPT 와 Cerebras 가 협업한 모델 및 서빙 시스템으로, 거의 real-time 에 가까운..

최근 금융권과 증권사를 중심으로 AI 를 활용한 코드전환 프로젝트들이 쏟아져 나오고 있다. 기존 AI 플랫폼이나 SaaS 형태로 제공되던 기능들 중 상당 부분이 Vibe Coding 방식으로 대체되기 시작하면서, AI를 활용한 프로젝트 구현 요구사항 역시 점점 늘어나고 있는 상황이다. 그러나 현실적으로 이러한 흐름을 기업 환경에서 그대로 적용하기에는 여러 구조적인 문제가 존재한다. 우선 대부분의 국내 금융사, 증권사, 그리고 제조 기업들은 내부 코드나 고객 정보를 외부로 유출하는 것에 매우 민감하다. 이는 Claude나 ChatGPT와 같은 외부 LLM API를 사실상 사용할 수 없다는 말이다. 이 때문에 기업들은 자연스럽게 on-prem 환경에서 동작하는 오픈 LLM (GPT-OSS, Codestral..

스타트업에서 근무하다 Intel 에 처음 조인했을 때, 가장 적응이 안되었던 부분 중 하나는 바로 ‘업무의 범위’였다. 스타트업 시절처럼 몰아치는 Feature 를 구현하며 방대한 양의 코드를 작성할 것이라고 예상했지만, 실제 팀에서 마주한 업무와 요구 역량은 그런것이 전혀 아니었다. 내가 속해 있었던 팀은 차량용 AI 및 소프트웨어 시스템을 구현하고 최적화하는 팀이었다. 풀어야 하는 문제들은 대략 다음과 같았다. BIOS, OS 커널, 하이퍼바이저 등 시스템 하부 구조에서 발생하는 복잡한 에러 분석 및 해결메모리, CPU, 주변기기(Peripheral) 등 컴퓨팅 자원의 극한 최적화AI 모델 및 애플리케이션의 성능 병목 지점 탐색과 개선장시간 가동에도 무너지지 않는 시스템 설계 및 검증 예상할 수 있듯..

포켓몬 게임에는 다음과 같은 특징이 있다. 초반에는 뚜벅이다. 마을을 돌아다니며 포켓몬을 사냥하고 탐험한다. 옆마을을 이동하는데 많은 시간이 걸리고 풀숲을 지나갈 때마다 야생 포켓몬이 나타나 이동을 방해한다. 퀘스트를 조금 깨다보면 보상으로 자전거를 받는다. 자전거를 타면 도로를 훨씬 빠른 속도로 이동할 수 있다. 하지만 막힌 벽을 뚫거나 폭포를 오르는 것은 여전히 불가능하기 때문에, 장애물을 돌아가기 위해 많은 시간과 노력을 들여야 한다. 나와 포켓몬이 충분히 강해지면 신세계가 펼쳐진다. 공중날기 포켓몬을 타고 어디든 1초 만에 이동할 수 있고, 바다를 건너거나 폭포를 오르는 등 험지도 자유롭게 이동할 수 있게 된다. 챔피언을 깨고 나면 나는 사실상 어디든 이동할 수 있는 존재가 된다. 그런데 가만 생..