NVIDIA๊ฐ ์ ๊ณตํ๋ ๊ณต์ ํธ์คํ API(https://integrate.api.nvidia.com/v1)๋ฅผ ๋ฐ๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค.
- https://build.nvidia.com/nvidia/nemotron-3-ultra-550b-a55b ํ์ด์ง๋ก ์ด๋ํฉ๋๋ค.
- NVIDIA ๊ณ์ ์ผ๋ก ๋ก๊ทธ์ธํ์ธ์ (์์ผ๋ฉด ํ์๊ฐ์ ).
- ํ์ด์ง์์ “Generate API Key” ๋ฒํผ์ ํด๋ฆญํฉ๋๋ค.
- API ํค๊ฐ ์์ฑ๋๋ฉด ๋ณต์ฌํ์ธ์. (ํ๊ฒฝ ๋ณ์๋ก $NVIDIA_API_KEY์ฒ๋ผ ์ฌ์ฉ)
-
Open WebUI์ NVIDIA API ์ถ๊ฐ ๋ฐฉ๋ฒ
- Open WebUI์ ๊ด๋ฆฌ์(Admin) ๊ถํ์ผ๋ก ๋ก๊ทธ์ธํ์ธ์.
- Settings (์ค์ ) โ Connections (๋๋ API Connections) ๋ก ์ด๋.
- OpenAI API ์น์ ์์ + (์ถ๊ฐ) ๋ฒํผ ํด๋ฆญ.
- ์๋์ฒ๋ผ ์
๋ ฅ:
- Base URL: https://integrate.api.nvidia.com/v1
- API Key: NVIDIA์์ ๋ฐ๊ธ๋ฐ์ $NVIDIA_API_KEY (build.nvidia.com์์ ์์ฑํ ํค)
- Name (์ ํ): NVIDIA Nemotron ๊ฐ์ ์ด๋ฆ์ผ๋ก ๊ตฌ๋ถ
- ์ ์ฅ ํ, ์ฑํ ํ๋ฉด์์ ๋ชจ๋ธ ๋ชฉ๋ก์ ์๋ก๊ณ ์นจํ๋ฉด nvidia/nemotron-3-ultra-550b-a55b ๋ชจ๋ธ์ด ๋ํ๋ฉ๋๋ค.
์ฃผ์์ฌํญ
- NVIDIA์ hosted API๋ ์ฌ์ฉ๋ ์ ํ์ด ์์ ์ ์์ด์ (๋ฌด๋ฃ ํฐ์ด ๊ธฐ์ค).
- Reasoning ๊ธฐ๋ฅ(์๊ฐ ๊ณผ์ ํ์)์ ์ฐ๋ ค๋ฉด ์์ฒญ ์ extra_body์ ์ต์ ์ ์ถ๊ฐํด์ผ ํ ์ ์์ง๋ง, Open WebUI ๊ธฐ๋ณธ ์ฑํ ์์๋ ๋๋ถ๋ถ ์ ๋์ํฉ๋๋ค.
- ๋ชจ๋ธ ์ด๋ฆ์ ์ ํํ nvidia/nemotron-3-ultra-550b-a55b๋ก ์ ํํ์ธ์.
์ด ๋ฐฉ๋ฒ์ผ๋ก ๋๋ถ๋ถ์ ์ฌ์ฉ์๋ค์ด NVIDIA ๋ชจ๋ธ๋ค์ Open WebUI์์ ํธํ๊ฒ ์ฐ๊ณ ์์ด์.