Skip to main content
CyberLab.Team

Przykładowy dokument

Bazowy pomiar widoczności w AI: zestaw promptów i zasady powtarzalności

Pomiar bazowy ma sens tylko wtedy, gdy kolejny zrobimy dokładnie tak samo. Ten przykład pokazuje zestaw promptów, zasadę uznawania wzmianki, sposób przechowywania dowodów i ograniczenia, które niesie mierzenie systemu odpowiadającego za każdym razem trochę inaczej.

Przykład, a nie dane klienta

Wymyślona sytuacja: firma z jedną główną usługą, dwoma konkurentami, na których stale wpada w rozmowach, i klientami w jednym kraju i języku. Nikt jeszcze nie sprawdził, co asystenci mówią o tej kategorii, więc ten pomiar jest punktem wyjścia przed zaplanowaniem jakiejkolwiek promocji. Wszystkie prawdziwe nazwy zastępują tu symbole.

Zestaw promptów

Prompty ustalamy z tobą przed uruchomieniem czegokolwiek i potem zostają niezmienne. Nawiasy kwadratowe oznaczają miejsca na twoją usługę, miasto, branżę i nazwy konkurentów.

PromptSilnikLokalizacjaCo liczymy jako wzmiankę
najlepszy dostawca [usługi] w [mieście]ChatGPTpl, [kraj]Wymieniona wśród opcji, z odnośnikiem albo bez
kogo mała firma powinna zatrudnić do [usługi]Google AI Overviewspl, [kraj]Wymieniona w tekście podsumowania albo cytowana jako źródło pod nim
[marka] w porównaniu z [konkurentem]Perplexitypl, [kraj]Wymieniona z co najmniej jedną cytowaną stroną z własnego serwisu marki
czy [marka] jest dobra do [usługi]Claudepl, [kraj]Opisana, a opis zgadza się z faktami ze strony marki
ile kosztuje [usługa] w [kraju]Perplexitypl, [kraj]Cytowana jako źródło widełek, a nie tylko wspomniana mimochodem
alternatywy dla [konkurenta]ChatGPTpl, [kraj]Wymieniona na liście alternatyw, a nie w zamykającym zastrzeżeniu
[usługa] dla firm z branży [branża]Geminipl, [kraj]Wymieniona albo cytowana stroną z serwisu marki
kto naprawi [problem] w sklepie internetowymMicrosoft Copilotpl, [kraj]Wymieniona wśród wykonawców, a nie tylko wewnątrz ogólnego wyjaśnienia

Zasady powtarzania pomiaru

Wszystko poniżej istnieje po to, żeby drugi pomiar różnił się od pierwszego tylko tam, gdzie zmieniła się twoja widoczność, a nie dlatego, że przesunęła się metoda.

  • Te same prompty, słowo w słowo. Przepisany prompt czyni z drugiego pomiaru inny pomiar.
  • Ta sama lokalizacja i język interfejsu, bo odpowiedzi różnią się między rynkami, nawet gdy pytanie jest to samo.
  • Ten sam stan sesji: wylogowany tam, gdzie silnik na to pozwala, bez pamięci i bez wcześniejszej rozmowy w oknie.
  • Kilka przebiegów każdego promptu, bo odpowiedzi dryfują między przebiegami, a pojedynczy przebieg to anegdota.
  • Ta sama lista silników. Silnik dodany później zaczyna własny pomiar bazowy, zamiast dołączać do starego.
  • Etykieta modelu zapisana wszędzie tam, gdzie silnik ją pokazuje, żeby przesunięcie po aktualizacji modelu dało się odróżnić od przesunięcia wywołanego pracą.
  • Odstęp ustalony w briefie i potem dotrzymany, żeby dwa pomiary dało się porównać, a nie brać przy okazji.

Co zapisujemy przy każdym przebiegu

Dowody przekazujemy jako pliki, więc pomiar może sprawdzić albo powtórzyć ktoś inny, także wykonawca, którym nie jesteśmy my.

PoleCo zapisujemyPo co to potrzebne
ID promptuStała etykieta promptu, zgodna z zestawem powyżejWiersze z dwóch pomiarów da się zestawić bez zgadywania
Silnik i modelSilnik oraz etykieta modelu tam, gdzie interfejs ją pokazujeOddziela zmianę modelu od zmiany twojej widoczności
LokalizacjaKraj i język interfejsu użyte w przebieguTo samo pytanie ma inną odpowiedź na innym rynku
Numer przebieguKtóry to przebieg tego promptuDryf między przebiegami zostaje widoczny, zamiast zniknąć w średniej
Treść odpowiedziPełna odpowiedź zapisana jako tekstSformułowania da się później przeszukać i zacytować bez otwierania obrazów
Cytowane źródłaKażde źródło wymienione przez silnik, w kolejności wymienieniaPokazuje, kto reprezentuje cię w odpowiedzi, gdy nie padasz z nazwy
Zrzut ekranuOdpowiedź jako obraz, nazwana promptem, silnikiem i przebiegiem, z datą przebieguZapis daje się sprawdzić człowiekowi, nie tylko nam

Czego pomiar bazowy nie pokazuje

  • Ruchu. Wzmianka to nie wizyta, a wejścia z asystentów czyta się osobno w analityce.
  • Przyczyny. Pomiar notuje, co powiedziała odpowiedź, a nie dlaczego silnik tak wybrał. Powody argumentujemy ze źródeł i z serwisu, i oznaczamy je jako rozumowanie, a nie fakt.
  • Pozycji. Wewnątrz odpowiedzi nie ma miejsca do utrzymania, więc to, jak często padasz z nazwy, nie jest miejscem na liście.
  • Obietnicy. Nikt nie kontroluje, czy silnik wymieni markę, a gwarancja tego jest sygnałem ostrzegawczym, a nie ofertą.
  • Całego rynku. Mierzymy tylko prompty z zestawu, a pytanie, którego nikt nie zgodził się testować, po prostu nie istnieje w danych.

Przykład syntetyczny, nie dane klienta

  • Zestaw promptów jest tu krótki i ogólny. Prawdziwy powstaje z pytań, które naprawdę zadają twoi klienci, i obejmuje całą ścieżkę zakupu, a nie tylko oczywiste zapytanie.
  • W tym przykładzie nic nie jest policzone. Prawdziwy pomiar bazowy podaje, jak często każdy silnik wymienił cię w przebiegach, i tę samą zasadę liczenia stosuje następnym razem.
  • Wymienione silniki to przykład zestawu domyślnego. Prawdziwa lista idzie za tym, gdzie pytają twoi klienci, i może obejmować silniki ważne tylko na twoim rynku.
  • Odpowiedzi dryfują między przebiegami i zmieniają się po aktualizacjach modeli, więc pomiar bazowy jest zdjęciem chwili, a nie stałą.

Prawdziwy pomiar bazowy dostajesz jako uzgodniony zestaw promptów, zapis dla każdego silnika ze zrzutami ekranu i cytowanymi źródłami oraz omówienie, na którym czytamy odpowiedzi razem, a luki stają się kolejnością prac. Zakres ustalamy w briefie.

Audyt widoczności w AI

Gotowi na audyt?

Prześlij stronę lub konto reklamowe: najpierw bezpłatna wstępna kontrola, największe problemy, pasujący pakiet i stała cena. Decyzja należy do Ciebie.

Zamów audyt

Bez zobowiązań. Odpowiedź w ciągu jednego dnia roboczego.