Scegli dove inviare i prompt prima di collegare un modello
Portward supporta tre tipi di modello: un provider AI cloud tramite un endpoint API standard, un modello in esecuzione locale sul tuo PC e il modello integrato. Ogni scelta determina dove finiscono i tuoi prompt, quindi decidila prima di assegnare un compito all'agente su un server.
Tre modi per collegare un modello
Provider AI cloud
Un provider cloud si connette tramite un endpoint API standard che inserisci nelle impostazioni insieme alla tua chiave API. Portward invia i tuoi prompt a quell'endpoint e un prompt può includere il testo di qualsiasi file o log letto dall'agente, quindi un modello cloud riceve quel testo. Le tue chat, le cartelle di lavoro e le chiavi API restano sul tuo PC e i segreti nell'output degli strumenti vengono oscurati prima di raggiungere il modello. Questa soluzione è ideale per log lunghi e file di configurazione grandi, perché il modello non è limitato dall'hardware locale. Leggi i termini del provider per vedere come gestisce i prompt e premi il pulsante Test dopo aver inserito l'endpoint.
Modello sul tuo PC
Un modello in esecuzione locale sul tuo PC mantiene tutto sulla macchina: con un modello locale nulla esce da essa. Collegi Portward all'endpoint locale e il pulsante Test mostra il tempo di risposta e la finestra di contesto. Velocità e qualità dipendono dal modello e dall'hardware, e un modello più piccolo può commettere più errori su un file di configurazione lungo, quindi leggi ogni diff con attenzione. Questa soluzione è adatta per note e log che non vuoi inviare a nessun provider, ad esempio una copia di una configurazione mail che contiene nomi privati.
Modello integrato
Il modello integrato è pronto all'uso senza bisogno di un endpoint personale, quindi non c'è nulla da inserire prima del primo compito. Sceglielo quando vuoi esaminare le schede, le diff e le modalità di approvazione prima di collegare altro. Puoi passare a un modello cloud o locale in un secondo momento se un compito richiede qualcosa di più potente. La qualità varia da compito a compito, quindi leggi ogni scheda di risultato e ogni diff prima di accettarla e verifica l'esito sul tuo server da una seconda sessione.
Cosa controlla il pulsante Test
Il pulsante Test verifica un endpoint e mostra il tempo di risposta e la finestra di contesto. Esegui la verifica dopo aver inserito un endpoint cloud o locale, prima di assegnare un compito all'agente. La finestra di contesto ti dice quanto testo può entrare in una singola richiesta, aspetto importante quando incolli un log lungo o un file di configurazione. Se il test fallisce, controlla l'indirizzo dell'endpoint e la chiave, correggili ed esegui di nuovo il test prima di avviare il compito.
Scegli un modello per il compito
Usa un modello più grande per passaggi complessi, come leggere un log lungo o pianificare una modifica al firewall, e un modello più piccolo per modifiche minime, come una riga in un file di configurazione copiato. Lo strumento run_on_model invia un passaggio complesso a un modello più grande mentre il resto della chat rimane sul modello predefinito. Lo strumento task suddivide i controlli indipendenti, ad esempio spazio su disco e stato dei servizi, tra sott-agenti paralleli. Cron esegue un prompt salvato a intervalli regolari e i piani sopravvivono ai riavvii, quindi un lavoro lungo può continuare dopo aver chiuso l'app.
La qualità varia tra i modelli e qualsiasi modello può leggere male un log o suggerire un'impostazione errata. Leggi la diff prima di accettarla. Ask first interrompe prima delle azioni che modificano qualcosa, Plan only scrive un piano ed esegue nulla, e Auto-run agisce immediatamente, quindi abbina la modalità al rischio della modifica. Verifica tu stesso il risultato, ad esempio collegandoti da una seconda sessione.
