
ΠΠΌΠ΅ΡΠΈΠΊΠ°Π½ΡΠΊΠΈΠΉ ΡΡΠ°ΡΡΠ°ΠΏ Inferact, ΠΎΡΠ½ΠΎΠ²Π°Π½Π½ΡΠΉ Π΄Π»Ρ ΠΊΠΎΠΌΠΌΠ΅ΡΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΎΡΠΊΡΡΡΠΎΠ³ΠΎ ΡΡΠ΅ΠΉΠΌΠ²ΠΎΡΠΊΠ° vLLM (Vectorized Large Language Model inference), ΠΎΠ±ΡΡΠ²ΠΈΠ» ΠΎ ΠΏΡΠΈΠ²Π»Π΅ΡΠ΅Π½ΠΈΠΈ $150 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π² ΡΠ°ΡΠ½Π΄Π΅ ΠΏΠΎΡΠ΅Π²Π½ΠΎΠ³ΠΎ ΡΠΈΠ½Π°Π½ΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ. ΠΡΠΎ ΡΠΈΠ½Π°Π½ΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅, ΠΎΡΠ΅Π½ΠΈΠ²Π°ΡΡΠ΅Π΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ Π² $800 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π΅ΡΡ Π΄ΠΎ Π²ΡΡ ΠΎΠ΄Π° Π½Π° ΡΡΠ½ΠΎΠΊ, ΠΏΠΎΠ΄ΡΡΡΠΊΠΈΠ²Π°Π΅Ρ Π²ΡΡΠΎΠΊΠΈΠΉ ΠΈΠ½ΡΠ΅ΡΠ΅Ρ ΠΈΠ½Π²Π΅ΡΡΠΎΡΠΎΠ² ΠΊ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΡΠΌ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π²ΡΠ²ΠΎΠ΄Π° ΠΠ. Π€ΡΠ΅ΠΉΠΌΠ²ΠΎΡΠΊ vLLM, ΠΈΠ·Π²Π΅ΡΡΠ½ΡΠΉ ΡΠ²ΠΎΠ΅ΠΉ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΡΡΡΡ ΠΈ Π²ΡΡΠΎΠΊΠΎΠΉ ΡΠΊΠΎΡΠΎΡΡΡΡ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ Π·Π°ΠΏΡΠΎΡΠΎΠ² ΠΊ LLM, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΡΠ½ΠΈΠ·ΠΈΡΡ Π·Π°ΡΡΠ°ΡΡ Π½Π° ΠΈΠ½ΡΡΠ°ΡΡΡΡΠΊΡΡΡΡ. ΠΠΎΠ»ΡΡΠ΅Π½Π½ΡΠ΅ ΡΡΠ΅Π΄ΡΡΠ²Π° Π±ΡΠ΄ΡΡ Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½Ρ Π½Π° ΡΠ°Π·Π²ΠΈΡΠΈΠ΅ ΠΊΠΎΠΌΠΌΠ΅ΡΡΠ΅ΡΠΊΠΎΠΉ ΠΏΠ»Π°ΡΡΠΎΡΠΌΡ, ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡΠΌ Π±ΡΡΡΡΠ΅Π΅ ΠΈ Π΄Π΅ΡΠ΅Π²Π»Π΅ Π²Π½Π΅Π΄ΡΡΡΡ Π±ΠΎΠ»ΡΡΠΈΠ΅ ΡΠ·ΡΠΊΠΎΠ²ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² ΡΠ²ΠΎΠΈ ΠΏΡΠΎΠ΄ΡΠΊΡΡ.
#vLLM #Π‘ΡΠ°ΡΡΠ°ΠΏΡΠΠ #ΠΠ½ΡΠ΅ΡΠ΅Π½Ρ
ΠΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ
0ΠΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π² ΠΏΠΎΠΊΠ° Π½Π΅Ρ.
ΠΠΎΠΉΠ΄ΠΈΡΠ΅, ΡΡΠΎΠ±Ρ ΡΡΠ°ΡΡΠ²ΠΎΠ²Π°ΡΡ Π² ΠΎΠ±ΡΡΠΆΠ΄Π΅Π½ΠΈΠΈ.