Java용 오픈 소스 이기종 GPU 프로그래밍 프레임워크인 TornadoVM이 프로젝트의 주요 이정표인 버전 7.3에 도달했습니다.
InfoQ는 이전에 2025년 12월과 2022년에 이 프로젝트를 다루었습니다.
TornadoVM은 멀티 코어 CPU 및 GPU에서 Java 프로그램을 자동으로 가속화합니다. 기존 JVM을 대체하는 대신, 함께 작동하며 OpenJDK, Graalvm, Temurin 또는 Zulu와 같은 모든 주류 JDK 배포판과 함께 사용할 수 있는 Java의 풍부한 GPU 프로그래밍 에코시스템을 제공합니다.
Java 코드를 하드웨어 백엔드로 오프로드하고 Java 힙과 가속기 사이의 메모리를 관리하며 결과 컴퓨팅 커널을 실행합니다. 이는 최신 클라우드 및 기계 학습 워크로드를 위한 유용한 구성 요소가 됩니다.
개발 중에 TornadoVM은 소스 Java 코드를 OpenCL 및 Apple Metal 백엔드로 컴파일합니다. 아이디어는 노트북에서 로컬로 개발하고 로컬에서 사용 가능한 하드웨어를 사용한 다음 Nvidia GPU가 있는 서버에 배포하고 주요 성능 개선을 달성할 수 있다는 것입니다. 이는 최신 ML 워크로드를 위한 “한 번 작성하고 어디서나 실행” 형식입니다.
버전 7에서는 몇 가지 아키텍처 변경이 이루어졌습니다. 이제 백엔드는 JNI(Java Native Interface) 대신 FFM(외부 함수 및 메모리) API를 사용합니다. 실험적인 JVMCI(JVM Compiler Interface) 종속성도 제거되었습니다. 팀에 따르면 TornadoVM은 이제 지원되는 모든 JDK(21, 25, 26 및 27)의 단일 균일 경로인 “반사 + ASM + 안전하지 않은 레이어를 통해 모든 컴파일러 메타데이터”를 소스로 제공합니다.
또한 이번 릴리스에서는 최적화된 CUDA 백엔드를 통해 Nvidia 생태계와의 통합이 더욱 심화되었습니다. 여기에는 cuTile 프로그래밍 모델에 대한 지원이 포함됩니다(새로운 기능을 통해). 타일컨텍스트) 및 TornadoVM TaskGraphs 내에서 직접 cuBLAS 및 CUTLASS와 같은 CUDA 라이브러리를 호출하는 기능이 있습니다. 개발자는 성능 및 이식성 요구 사항에 따라 CUDA 라이브러리 호출을 위해 JIT 생성 커널을 교체하거나 두 커널을 함께 연결할 수 있습니다. 마찬가지로 TornadoVM은 하이브리드 API를 통해 Apple의 MXL 라이브러리에 동일한 기능을 다시 추가합니다. 마지막으로 다중 GPU 실행에 대한 지원이 추가되었습니다.
모든 Java 계산이 오프로드로 인해 이점을 얻는 것은 아닙니다. 가장 좋은 후보는 반복 간 종속성이 없는 루프와 같은 데이터 병렬 워크로드입니다. 왜냐하면 반복이 가속기에서 병렬로 실행될 수 있기 때문입니다.
최근 TornadoVM 버전의 목표 중 하나는 Nvidia가 다양한 하드웨어 플랫폼에 맞게 조정한 라이브러리에 액세스하기 위한 관용적인 JVM 환경을 생성하는 것입니다. 목표는 Java 개발자가 선형 대수학, 고속 푸리에 변환(신호 분석용), 심층 신경망 및 희소 행렬에 대해 직접 최적화된 행렬 곱셈과 같은 기능을 활용하는 것입니다. TornadoVM은 Quarkus, Lang4j, Flink, Spring AI 및 기타 라이브러리와 통합되어 있으며 SDKMan을 통해서도 사용할 수 있습니다.
예를 들어 Apache Flink와 TornadoVM의 통합을 생각해 보세요. 주요 아이디어는 개발자가 Table API를 사용하여 평소처럼 표준 쿼리를 작성한다는 것입니다. 구성 플래그는 이 쿼리가 GPU에서 잠재적으로 가속화되어야 함을 나타내는 데 사용됩니다.
그런 다음 계산이 작업 관리자에 도달하면 프레임워크는 실행 중인 노드에 사용 가능한 GPU가 있는지 확인하고, 그렇다면 라이브러리 공급자에 연결합니다. 라이브러리 공급자는 쿼리의 중간 표현(IR)을 분석하여 계산이 실제로 GPU 실행에 적합한지 확인합니다.
전체적으로 TornadoVM은 Java 프로그래머로서 Nvidia GPU를 프로그래밍하는 네 가지 방법을 제공합니다. 첫째, 실제로 루프에 주석을 추가하는 주석인 병렬 API는 이 루프가 잠재적으로 마비될 수 있다는 힌트를 컴파일러에 제공합니다. 이 간단한 API는 장기적으로 프로덕션 애플리케이션에 대해 원하는 성능을 얻는 데 충분하지 않은 것으로 입증되었으므로 커널 컨텍스트 API 및 이미 언급된 TileContext와 같은 추가 API가 추가되었습니다.
7.3 릴리스와 함께 TornadoVM 팀은 TornadoVM을 기반으로 구축된 차세대 Java AI 추론 엔진인 jitLLM v2.0을 도입했습니다. 팀에서는 성능 면에서 jitLLM을 llama.cpp 및 Ollama의 직접적인 경쟁자로 지정하고 단일 JAR 파일로 제공합니다.
TornadoVM과 jitLLM은 모두 TornadoVM 팀이 설립한 분사인 Beestream.ai를 통해 상용화되고 있습니다.
자세한 내용은 TornadoVM 사이트와 Devoxx Belgium의 최근 비디오(“TornadoVM의 하이브리드 API를 사용하여 Java에서 NVIDIA 생태계 활용” 포함)에서 확인할 수 있습니다.
