Network λͺ¨λν°λ§κ³Ό λ§μ΄ν¬λ‘λ²μ€νΈ
CloudNet@μμ AI Datacenter Network Study(μ΄ν, AIDN) λ§μ§λ§μλ AI λ°μ΄ν°μΌν° λ€νΈμν¬μ μ€ν 리μ§, κ·Έλ¦¬κ³ μ΄μ λν λͺ¨λν°λ§μ λ€λ€μ£Όμ ¨μ΅λλ€. λ€νΈμν¬ λͺ¨λν°λ§λ§ μ§§κ² μμ½νλ©΄, νμ§νκΈ° μ΄λ €μ΄ λ§μ΄ν¬λ‘λ²μ€νΈ(Microburst) λ¬Έμ λ₯Ό ν΄κ²°νκΈ° β¦
NVIDIA GPU μ μκ³Ό μ‘체 λκ°
CloudNet@μμ μ§ννκ³ μλ AI Datacenter Network Study(μ΄ν, AIDN)μμ λ°μ΄ν°μΌν° μ μ(μ λ ₯)κ³Ό λκ°μ λν λΆλΆμ λ€λ€μ£Όμ ¨μ΅λλ€. κ²μμ©μΌλ‘ νλ, μΉκ°λ°μ νλ, μνλ₯Ό 보λ, μ»΄ν¨ν°λ₯Ό μ°κ² λλ©΄ μ λ ₯ μλͺ¨μ λ°μ΄μ λ³κ°κ° μλ ν¨κ» λ°μνλ μ΄μ β¦
NVIDIA GPU Interconnect κ³μΈ΅ νμ΄λ³΄κΈ°
CloudNet@μμ μ§ννκ³ μλ AI Datacenter Network Study(μ΄ν, AIDN)μμ λ§€μ£Ό μμ μ²μ μ νλ λ¨μ΄λ€μ νμμ νμ°μ (?)νλ μ€μ λλ€. RTX3090μ κ°μ κ²½μ°μλ κ°μΈμ© GPU μ€ NV Link λΈλ¦¬μ§λ₯Ό μ§μνλ κ°μ₯ μμ λͺ¨λΈλ‘ μκ³ μμ§λ§, κ° β¦
KV cacheμ λν μ΄ν΄
μ§λ μ£Ό μΌμμΌλΆν° CloudNet@μμ μ§ννκ³ μλ AI Datacenter Network Study(μ΄ν, AIDN)μ μ°Έμ¬νκ² λμμ΅λλ€. μμλ PCμ λ¬λ¦° κ·Έλν½μΉ΄λ νμ©μ μν΄, μ΄κ²μ κ²(RAG, ASR λ° μΌλ°μ μΈ μΆλ‘ λͺ¨λΈ) λλ €λ³΄λ μ€μΈλ° κ·Έ μ€μμ λ§νλκ² KV β¦