Wybierz trasę dla promptów przed podłączeniem modelu
Portward współpracuje z trzema rodzajami modeli: dostawcą AI w chmurze przez standardowy endpoint API, modelem uruchamianym lokalnie na Twoim PC oraz wbudowanym modelem. Każdy wybór decyduje o tym, gdzie trafiają Twoje prompty, więc dokonaj go przed skierowaniem agenta do serwera.
Trzy sposoby podłączenia modelu
Dostawca AI w chmurze
Dostawca w chmurze łączy się przez standardowy endpoint API, który wpisujesz w ustawieniach razem ze swoim kluczem API. Portward wysyła Twoje prompty do tego endpointu, a prompt może zawierać tekst dowolnego pliku lub dziennika odczytanego przez agenta, więc model w chmurze otrzymuje ten tekst. Twoje czaty, foldery robocze i klucze API pozostają na Twoim PC, a sekrety w wynikach narzędzi są maskowane przed dotarciem do modelu. Ta trasa jest powszechna przy długich dziennikach i dużych plikach konfiguracyjnych, ponieważ model nie jest ograniczony zasobami Twojego sprzętu. Przeczytaj własne warunki dostawcy, aby zobaczyć, jak obsługuje prompty, i naciśnij przycisk Test po wpisaniu endpointu.
Model na Twoim PC
Model uruchamiany lokalnie na Twoim PC trzyma wszystko na maszynie: przy lokalnym modelu nic nie opuszcza Twojego urządzenia. Podłączasz Portward do lokalnego endpointu, a przycisk Test raportuje czas odpowiedzi i okno kontekstowe. Prędkość i jakość zależą od modelu i Twojego sprzętu, a mniejszy model może popełniać więcej błędów przy długim pliku konfiguracyjnym, więc czytaj każdą różnicę z uwagą. Ta trasa pasuje do notatek i dzienników, których nie chcesz wysyłać do żadnego dostawcy, na przykład kopii konfiguracji poczty zawierającej prywatne nazwy.
Model wbudowany
Wbudowany model jest gotowy do użycia bez własnego endpointu, więc nie musisz nic wpisywać przed pierwszym zadaniem. Wybierz go, gdy chcesz przejrzeć karty, różnice i tryby zatwierdzania przed podłączeniem czegokolwiek innego. Możesz przełączyć się na model w chmurze lub lokalny później, jeśli zadanie wymaga większego modelu. Jakość różni się w zależności od zadania, więc czytaj każdą kartę wyniku i każdą różnicę przed jej zaakceptowaniem oraz przetestuj wynik na swoim serwerze z drugiej sesji.
Co sprawdza przycisk Test
Przycisk Test sprawdza endpoint, a następnie pokazuje czas odpowiedzi i okno kontekstowe. Uruchom go po wpisaniu endpointu chmurowego lub lokalnego, zanim dasz agentowi zadanie na serwerze. Okno kontekstowe mówi, ile tekstu zmieści się w jednym żądaniu, co ma znaczenie, gdy wklejasz długi dziennik lub plik konfiguracyjny. Jeśli test się nie powiedzie, sprawdź adres endpointu i klucz, popraw je i uruchom test ponownie przed rozpoczęciem zadania.
Wybierz model do zadania
Użyj większego modelu do trudnych kroków, takich jak odczyt długiego dziennika lub planowanie zmiany zapory, a mniejszego modelu do drobnych edycji, takich jak jedna linia w skopiowanym pliku konfiguracyjnym. Narzędzie run_on_model wysyła trudny krok do większego modelu, podczas gdy reszta czatu pozostaje na domyślnym. Narzędzie task dzieli niezależne sprawdzenia, na przykład miejsce na dysku i status usługi, między równoległe sub-agenty. Cron uruchamia zapisany prompt według harmonogramu, a plany przetrwają restarty, więc długie zadanie może kontynuować pracę po zamknięciu aplikacji.
Jakość różni się między modelami, a każdy model może źle odczytać dziennik lub zasugerować błędne ustawienie. Przeczytaj różnicę przed jej zaakceptowaniem. Ask first pauzuje przed akcjami zmieniającymi coś, Plan only pisze plan i nic nie uruchamia, a Auto-run działa natychmiast, więc dopasuj tryb do ryzyka zmiany. Przetestuj wynik samodzielnie, na przykład logując się z drugiej sesji.
