ZDNET의 주요 시사점
- Nvidia RTX Spark 아키텍처를 기반으로 구축된 PC는 AI 작업에 탁월합니다.
- 로컬 공개 가중치 모델을 실행하면 토큰당 요금이나 사용 제한이 없습니다.
- 로컬 AI 모델을 운영할 때 가장 큰 장점은 개인정보 보호입니다.
PC 시대 초창기에 PC Magazine의 전설적인 편집자 Bill Macrone은 “당신이 원하는 기계의 가격은 항상 약 5,000달러입니다.”라는 Machrone의 법칙을 제시했습니다. 아마도 현재의 RAM 위기로 인해 그 숫자가 조금 더 높아졌을 수도 있지만, 인플레이션을 고려하면 마크론의 법칙은 여전히 유효합니다. 증거? 지금 내 책상 위에는 7,000달러짜리 노트북 PC가 있는데, 솔직히 말해서, 정말 그것을 원한다.
또한: 저는 Lenovo의 RTX Spark 노트북을 완전히 미친 AI 코딩 테스트에 통과시켰습니다.
HP OmniBook Ultra는 절대적인 짐승입니다. 128GB 통합 메모리, 2TB의 빠른 Gen5 NVMe 스토리지, 멋진 16인치 OLED 디스플레이를 갖춘 Nvidia의 RTX Spark로 구동됩니다. 무게는 거의 5파운드에 달하지만 실제로는 휴대용 PC라기보다는 개인 데이터 센터로서 1페타플롭의 FP4 AI 성능을 제공합니다.
나는 이 PC의 목표 시장이 아닙니다. 그러나 몇 주 동안 사용해 본 후 나는 심각한 유혹에 빠졌습니다. AI 관련 작업의 경우 GPU는 다양한 Copilot+ PC의 성능을 몇 배나 갖추고 있으며 통합 메모리를 최대한 활용할 수 있습니다.
로컬 AI가 내 프로젝트를 어떻게 진행했는지
내 프로젝트가 그렇게 빨리 완료된 이유 중 하나는 중단 없이 실행할 수 있었기 때문입니다. Copilot을 사용하여 오픈 소스 llama.cpp 추론 런타임, 개방형 Qwen3.8-27B 대규모 언어 모델, Visual Studio Code에서 확장으로 실행되는 Cline이라는 코딩 하네스를 사용하여 처음에 작업 환경을 설정하는 데 도움을 주었습니다. Copilot의 약간의 추가 도움을 받아 이러한 도구를 구성하고, 내가 원하는 앱에 대한 자세한 사양을 작성하고, Cline에 제공한 다음 대부분은 뒤로 물러서서 지켜보았습니다.
나는 그 모든 구성 요소가 무엇을 하는지에 대해 좋은 대략적인 아이디어를 갖고 있었지만, 모든 것을 설정하고 실행하려면 읽고, 연구하고, 시행착오를 거쳐 수동 설치를 하는 데 몇 주가 걸렸을 것입니다. Copilot이 작성한 PowerShell 스크립트를 사용하여 30분 이내에 프로젝트를 진행했습니다.
프로젝트가 진행되면서 AI의 ‘이유’를 실시간으로 보게 됐습니다. 종종 나에게 승인을 요청했지만 대부분 코드를 작성하고, 테스트를 실행하고, 결과를 관찰하고, 코드를 수정하고, 더 많은 테스트를 실행하는 등의 작업을 수행했습니다. 전체 과정은 “루프 속 인간 코딩”의 교과서적인 예였으며, 제가 해야 할 일은 상황이 어떻게 진행되고 있는지 자주 확인하는 것뿐이었습니다.
나는 그것이 바쁘다는 것을 알았습니다. 왜냐하면 LLM이 작동할 때 방 건너편에서 팬이 회전하는 소리를 들을 수 있었기 때문입니다. 놀랍게도 기계는 불편할 정도로 뜨거워지지 않았습니다. 그럼에도 불구하고 이것은 랩탑이 아닌 데스크탑 위에 노트북을 올려놓고 작업하는 것이 가장 좋은 작업입니다.
또한: 집에 있는 PC에 무료로 원격으로 액세스할 수 있습니다. 여러분도 가능합니다(VPN이 필요하지 않음).
나는 지난 2년 동안 공들여 만든 내 기사에 대한 링크가 포함된 스프레드시트를 LLM에 제공했습니다. 해당 목록에 있는 거의 모든 기사를 찾아서 검색했을 뿐만 아니라 404 오류를 반환한 약 90개의 링크에 대해 Internet Archive의 Wayback Machine에서 페이지를 검색하는 별도의 루틴을 구축한 다음 전혀 검색할 수 없는 또 다른 90개 정도의 페이지 목록을 나에게 제시했습니다. 마지막 문제를 검토하고 해결하는 데 30분 정도 걸렸습니다.
모든 작업을 마치고 나면 각각 1,951개의 파일이 포함된 두 개의 폴더가 생겼습니다. 하나는 원시 HTML로, 다른 하나는 Markdown 형식으로 구성되었습니다. 마무리하기 위해 로컬 AI가 새 게시물이 게시될 때 아카이브에 추가하기 위해 실행할 수 있는 간단한 스크립트를 작성하도록 했습니다.
이 결과가 얼마나 기뻤는지 말로 표현할 수 없습니다.
비용은 얼마였나요?
전체 프로젝트에서는 479개의 LLM 추론 호출을 사용하고 거의 5천만 개의 논리적 토큰을 처리했으며 총 순비용은 정확히 $0.00입니다.
이러한 최신 AI 코딩 도구를 사용할 때 가장 실망스러운 측면 중 하나는 얼마나 많은 토큰을 사용할지 예측할 방법이 없다는 것입니다.
이 작업을 수행하기 위해 상업용 AI 구독을 사용할 수도 있었지만 눈이 멀었을 것입니다. 해당 계획을 판매하는 회사 중 어느 회사도 해당 프로젝트의 비용이 얼마인지 알려줄 수 없습니다. 실제 소비량, 즉 최종 청구 금액은 미리 알 수 없는 요소에 따라 달라집니다. 에이전트가 컨텍스트를 유지하려면 얼마나 많은 코드가 필요합니까? 얼마나 많은 반복과 디버깅 주기가 필요합니까? 어떤 모델을 사용할 것인가?
또한: Claude Code가 메시지 스레드를 사용하면 정말 더 빨라질까요? 나는 내 로그에 대해 계산을 했다
ChatGPT Plus(Codex 포함), Claude Code Pro 또는 GitHub Copilot의 비용은 모두 월 $10~$20입니다. 간단한 작업에는 충분하지만 이 프로젝트의 경우 해당 보급형 계획을 사용하면 사용량 제한에 빠르게 도달했을 것입니다. 월 20달러 요금제를 계속 사용하려면 자주 휴식을 취하거나 추가 크레딧을 구매하거나 ChatGPT Pro, Claude Code Max 또는 GitHub Copilot Max와 같이 사용 한도가 더 높은 월 100달러 요금제로 업그레이드해야 했습니다.
그 숫자를 살펴본 후 저는 Anthropic, OpenAI 및 Microsoft의 비즈니스 모델이 어디로 향하고 있는지 파악했습니다. 한 달에 100달러라도 더 야심 찬 프로젝트를 진행하기로 결정했다면 작업 속도가 제한되어 다음 주기가 시작될 때까지 몇 시간 또는 며칠을 기다려야 한다는 사실을 쉽게 알 수 있었습니다.
전문 코더의 경우 해당 청구서가 매우 비쌀 수 있습니다. Nilay Patel의 Decoder 팟캐스트의 최근 에피소드에서 분석가 Joey Brookhart는 다음과 같은 놀라운 통계를 제시했습니다. “Claude Code 사용자 중 상위 5%는 연간 평균 18,000달러를 지출합니다. Claude Code를 사용하지 않는 사용자는 한 달에 75달러 미만을 지출합니다.”
이제 그 이유를 알겠습니다.
무엇보다 가장 큰 장점
오픈 소스 코딩 하니스와 함께 무료 개방형 가중치 모델을 사용하면 비용 걱정 없이 자유롭게 실험할 수 있습니다. 그러나 그것은 이야기의 일부일뿐입니다. 훨씬 더 큰 이점은 잠재적으로 민감하거나 기밀인 데이터를 다른 사람의 클라우드로 보내지 않는다는 것입니다. 완전한 로컬 AI 스택을 사용하면 프롬프트, 문서 및 추론 워크로드가 PC 외부로 전혀 나갈 필요가 없습니다.
이미 웹에 게시된 콘텐츠를 사용하는 내 프로젝트에서는 이는 큰 문제가 아니었습니다. 하지만 준비가 될 때까지 다른 사람과 공유하고 싶지 않은 몇 가지 다른 앱을 염두에 두고 있습니다. 그 중 하나는 금융 문서, 신용카드 명세서, 송장 등이 잔뜩 쌓인 것과 관련이 있습니다. 해당 데이터를 내 PC의 LLM에 제공하는 것은 좋지만 해당 문서를 클라우드 호스팅 코딩 서비스에 업로드하는 것은 불편합니다.
또한: 이 무료 Windows 도구는 새 PC를 설정하기 위한 나의 비밀 무기입니다.
PC에 7,000달러를 지출하는 것을 정당화할 만큼 이런 종류의 작업을 충분히 수행할 수 있습니까? 그렇다고 말하고 싶지만 CPA는 잠시 동안 나를 쳐다본 다음 “투자 수익”이 어떻게 작동하는지 참을성 있게 설명할 것입니다. “아니요, 에드. 당신은 이 지출을 정당화할 수 없습니다.”
좋은 소식은 마크로네의 법칙이 신뢰할 수 있는 기술 추세를 설명하는 무어의 법칙과 함께 작동한다는 것입니다. 컴퓨팅 성능은 약 18개월마다 두 배로 증가합니다. 이는 앞으로 3년 안에 7,000달러에 이보다 4배나 많은 컴퓨팅 성능을 갖춘 PC에 군침을 돌릴 수 있다는 의미입니다. 그러나 그때쯤이면 이 HP OmniBook Ultra와 같은 구성은 아마도 현재 가격의 일부만 구입할 수 있는 주류 비즈니스급 시스템이 될 것입니다.
그때까지는 기다릴게요.
전체 소개 보기
