Kies waar je prompts naartoe gaan voordat je een model koppelt

Portward werkt met drie soorten modellen: een cloud-AI-aanbieder via een standaard API-eindpunt, een model dat lokaal op je pc draait en het ingebouwde model. Elke keuze bepaalt waar je prompts naartoe gaan, dus maak die keuze voordat je de agent een taak op de server geeft.

Drie manieren om een model te koppelen

Cloud-AI-aanbieder

Een cloudaanbieder verbindt via een standaard API-eindpunt dat je in de instellingen invoert samen met je eigen API-sleutel. Portward stuurt je prompts naar dat eindpunt, en een prompt kan de tekst bevatten van elk bestand of logboek dat de agent heeft gelezen, dus een cloudmodel ontvangt die tekst. Je chats, werkmap en API-sleutels blijven op je pc, en geheimen in tooloutput worden geredigeerd voordat ze het model bereiken. Deze route is gebruikelijk voor lange logbestanden en grote configuratiebestanden, omdat het model niet beperkt wordt door je eigen hardware. Lees de eigen voorwaarden van de aanbieder om te zien hoe deze omgaat met prompts, en druk op de knop Test nadat je het eindpunt hebt ingevoerd.

Model op je pc

Een model dat lokaal op je pc draait, houdt alles op de machine: bij een lokaal model vertrekt er niets. Je koppelt Portward aan het lokale eindpunt, en de knop Test rapporteert de responstijd en het contextvenster. Snelheid en kwaliteit zijn afhankelijk van het model en je hardware, en een kleiner model kan meer fouten maken bij een lang configuratiebestand, dus lees elke diff zorgvuldig. Deze route past bij notities en logbestanden die je niet naar een aanbieder wilt sturen, bijvoorbeeld een kopie van een mailconfiguratie met privénamen.

Ingebouwd model

Het ingebouwde model is direct klaar voor gebruik zonder een eigen eindpunt, dus er hoeft niets ingevoerd te worden voordat de eerste taak start. Kies dit wanneer je de kaarten, de diffs en de goedkeuringsmodi wilt bekijken voordat je iets anders koppelt. Je kunt later overschakelen naar een cloud- of lokaal model als een taak een groter model nodig heeft. De kwaliteit varieert per taak, dus lees elke resultaatkaart en elke diff voordat je deze accepteert, en test het resultaat op je server vanuit een tweede sessie.

Wat de knop Test controleert

De knop Test controleert een eindpunt en toont vervolgens de responstijd en het contextvenster. Voer dit uit nadat je een cloud- of lokaal eindpunt hebt ingevoerd, voordat je de agent een taak op de server geeft. Het contextvenster geeft aan hoeveel tekst in één verzoek past, wat belangrijk is wanneer je een lang logboek of configuratiebestand plakt. Mislukt de test, controleer dan het eindpuntadres en de sleutel, corrigeer ze en voer de test opnieuw uit voordat je de taak start.

Kies een model bij de taak

Gebruik een groter model voor moeilijke stappen, zoals het lezen van een lang logboek of het plannen van een firewallwijziging, en een kleiner model voor kleine bewerkingen, zoals één regel in een gekopieerd configuratiebestand. De tool run_on_model stuurt een moeilijke stap naar een groter model terwijl de rest van de chat op je standaardmodel blijft. De tool taak splitst onafhankelijke controles, zoals schijfruimte en servicesstatus, over parallelle sub-agents. Cron voert een opgeslagen prompt uit volgens een schema, en plannen overleven herstarten, dus een lange taak kan doorgaan nadat je de app hebt gesloten.

De kwaliteit varieert tussen modellen, en elk model kan een logboek verkeerd interpreteren of een verkeerde instelling suggereren. Lees de diff voordat je deze accepteert. Ask first pauzeert voordat acties iets wijzigen, Plan only schrijft een plan en voert niets uit, en Auto-run handelt direct af, dus pas de modus aan bij het risico van de wijziging. Test het resultaat zelf, bijvoorbeeld door in te loggen vanuit een tweede sessie.