Instradare il traffico dell'assistente AI locale attraverso un gateway auto-ospitato
Instrada il traffico dell'assistente AI locale attraverso un gateway centralizzato e auto-ospitato che applica la compressione delle chiamate in tempo reale e l'ottimizzazione del contesto per ridurre la spesa per l'inferenza. Anyray Connect, di Othentic Labs Ltd, viene fornito come un eseguibile Windows firmato per i team di ingegneria e DevOps. Espone un'API compatibile con OpenAI, offre attribuzione della spesa per team e progetto, e include un timeout di fail-open affinché i flussi di lavoro degli sviluppatori continuino a funzionare. Lo strumento si adatta ai team che gestiscono LLM su larga scala e richiedono governance on-premise.
Cosa fa realmente Anyray Connect per il traffico LLM degli sviluppatori?
Anyray Connect instrada le richieste dagli strumenti AI locali attraverso un gateway interno, riscrivendo gli endpoint in modo che gli assistenti e gli SDK utilizzino l'ottimizzatore senza modifiche al codice. L'eseguibile lato client configura automaticamente gli strumenti compatibili per puntare al gateway, e il gateway applica trasformazioni deterministiche e basate su regole per la compressione e il ritaglio del contesto. La configurazione è destinata agli ambienti in cui il contenuto del prompt deve rimanere all'interno dell'infrastruttura aziendale, e espone un'API compatibile con OpenAI in modo che le integrazioni esistenti continuino a funzionare.
Influisce sui flussi di lavoro o richiede modifiche ingegneristiche?
Lo strumento funziona come un sostituto diretto per gli endpoint LLM esistenti, quindi i team non devono modificare il codice degli assistenti o le chiamate degli SDK. Inoltre, il client utilizza un meccanismo di fail-open con un timeout di 800–1200 millisecondi che inoltra le richieste senza modifiche se l'ottimizzatore è lento, il che preserva la produttività degli sviluppatori. La configurazione avviene a livello client e gateway, e gli installer sono distribuiti come un singolo eseguibile Windows firmato o tramite il Windows Package Manager.
È sicuro operare all'interno di un ambiente aziendale?
La sicurezza è progettata nell'architettura self-hosted; il gateway e l'ottimizzatore funzionano all'interno della tua infrastruttura (ad esempio, Docker o Kubernetes), e il contenuto del prompt/risposta rimane in sede. Inoltre, l'ottimizzatore utilizza trasformazioni deterministiche per mantenere stabili gli output, e il monitoraggio invia solo metadati privi di contenuto per l'attribuzione della spesa. Queste scelte progettuali limitano l'esposizione esterna fornendo al contempo report di utilizzo per team e progetti.
Uno strumento mirato per i team di ingegneria che già gestiscono infrastrutture auto-ospitate
Anyray Connect si adatta ai team di ingegneria e DevOps che necessitano di una governance granulare del traffico LLM e gestiscono già servizi containerizzati o on-premise. Preserva le integrazioni esistenti esponendo un'API standard e mantiene i prompt sensibili all'interno della rete. Il principale compromesso è il requisito operativo: i team devono ospitare e mantenere l'infrastruttura del gateway per beneficiare delle funzionalità di ottimizzazione e attribuzione.
