Przykładowy dokument
Bazowy pomiar widoczności w AI: zestaw promptów i zasady powtarzalności
Pomiar bazowy ma sens tylko wtedy, gdy kolejny zrobimy dokładnie tak samo. Ten przykład pokazuje zestaw promptów, zasadę uznawania wzmianki, sposób przechowywania dowodów i ograniczenia, które niesie mierzenie systemu odpowiadającego za każdym razem trochę inaczej.
Przykład, a nie dane klienta
Wymyślona sytuacja: firma z jedną główną usługą, dwoma konkurentami, na których stale wpada w rozmowach, i klientami w jednym kraju i języku. Nikt jeszcze nie sprawdził, co asystenci mówią o tej kategorii, więc ten pomiar jest punktem wyjścia przed zaplanowaniem jakiejkolwiek promocji. Wszystkie prawdziwe nazwy zastępują tu symbole.
Zestaw promptów
Prompty ustalamy z tobą przed uruchomieniem czegokolwiek i potem zostają niezmienne. Nawiasy kwadratowe oznaczają miejsca na twoją usługę, miasto, branżę i nazwy konkurentów.
| Prompt | Silnik | Lokalizacja | Co liczymy jako wzmiankę |
|---|---|---|---|
| najlepszy dostawca [usługi] w [mieście] | ChatGPT | pl, [kraj] | Wymieniona wśród opcji, z odnośnikiem albo bez |
| kogo mała firma powinna zatrudnić do [usługi] | Google AI Overviews | pl, [kraj] | Wymieniona w tekście podsumowania albo cytowana jako źródło pod nim |
| [marka] w porównaniu z [konkurentem] | Perplexity | pl, [kraj] | Wymieniona z co najmniej jedną cytowaną stroną z własnego serwisu marki |
| czy [marka] jest dobra do [usługi] | Claude | pl, [kraj] | Opisana, a opis zgadza się z faktami ze strony marki |
| ile kosztuje [usługa] w [kraju] | Perplexity | pl, [kraj] | Cytowana jako źródło widełek, a nie tylko wspomniana mimochodem |
| alternatywy dla [konkurenta] | ChatGPT | pl, [kraj] | Wymieniona na liście alternatyw, a nie w zamykającym zastrzeżeniu |
| [usługa] dla firm z branży [branża] | Gemini | pl, [kraj] | Wymieniona albo cytowana stroną z serwisu marki |
| kto naprawi [problem] w sklepie internetowym | Microsoft Copilot | pl, [kraj] | Wymieniona wśród wykonawców, a nie tylko wewnątrz ogólnego wyjaśnienia |
Zasady powtarzania pomiaru
Wszystko poniżej istnieje po to, żeby drugi pomiar różnił się od pierwszego tylko tam, gdzie zmieniła się twoja widoczność, a nie dlatego, że przesunęła się metoda.
- Te same prompty, słowo w słowo. Przepisany prompt czyni z drugiego pomiaru inny pomiar.
- Ta sama lokalizacja i język interfejsu, bo odpowiedzi różnią się między rynkami, nawet gdy pytanie jest to samo.
- Ten sam stan sesji: wylogowany tam, gdzie silnik na to pozwala, bez pamięci i bez wcześniejszej rozmowy w oknie.
- Kilka przebiegów każdego promptu, bo odpowiedzi dryfują między przebiegami, a pojedynczy przebieg to anegdota.
- Ta sama lista silników. Silnik dodany później zaczyna własny pomiar bazowy, zamiast dołączać do starego.
- Etykieta modelu zapisana wszędzie tam, gdzie silnik ją pokazuje, żeby przesunięcie po aktualizacji modelu dało się odróżnić od przesunięcia wywołanego pracą.
- Odstęp ustalony w briefie i potem dotrzymany, żeby dwa pomiary dało się porównać, a nie brać przy okazji.
Co zapisujemy przy każdym przebiegu
Dowody przekazujemy jako pliki, więc pomiar może sprawdzić albo powtórzyć ktoś inny, także wykonawca, którym nie jesteśmy my.
| Pole | Co zapisujemy | Po co to potrzebne |
|---|---|---|
| ID promptu | Stała etykieta promptu, zgodna z zestawem powyżej | Wiersze z dwóch pomiarów da się zestawić bez zgadywania |
| Silnik i model | Silnik oraz etykieta modelu tam, gdzie interfejs ją pokazuje | Oddziela zmianę modelu od zmiany twojej widoczności |
| Lokalizacja | Kraj i język interfejsu użyte w przebiegu | To samo pytanie ma inną odpowiedź na innym rynku |
| Numer przebiegu | Który to przebieg tego promptu | Dryf między przebiegami zostaje widoczny, zamiast zniknąć w średniej |
| Treść odpowiedzi | Pełna odpowiedź zapisana jako tekst | Sformułowania da się później przeszukać i zacytować bez otwierania obrazów |
| Cytowane źródła | Każde źródło wymienione przez silnik, w kolejności wymienienia | Pokazuje, kto reprezentuje cię w odpowiedzi, gdy nie padasz z nazwy |
| Zrzut ekranu | Odpowiedź jako obraz, nazwana promptem, silnikiem i przebiegiem, z datą przebiegu | Zapis daje się sprawdzić człowiekowi, nie tylko nam |
Czego pomiar bazowy nie pokazuje
- Ruchu. Wzmianka to nie wizyta, a wejścia z asystentów czyta się osobno w analityce.
- Przyczyny. Pomiar notuje, co powiedziała odpowiedź, a nie dlaczego silnik tak wybrał. Powody argumentujemy ze źródeł i z serwisu, i oznaczamy je jako rozumowanie, a nie fakt.
- Pozycji. Wewnątrz odpowiedzi nie ma miejsca do utrzymania, więc to, jak często padasz z nazwy, nie jest miejscem na liście.
- Obietnicy. Nikt nie kontroluje, czy silnik wymieni markę, a gwarancja tego jest sygnałem ostrzegawczym, a nie ofertą.
- Całego rynku. Mierzymy tylko prompty z zestawu, a pytanie, którego nikt nie zgodził się testować, po prostu nie istnieje w danych.
Przykład syntetyczny, nie dane klienta
- Zestaw promptów jest tu krótki i ogólny. Prawdziwy powstaje z pytań, które naprawdę zadają twoi klienci, i obejmuje całą ścieżkę zakupu, a nie tylko oczywiste zapytanie.
- W tym przykładzie nic nie jest policzone. Prawdziwy pomiar bazowy podaje, jak często każdy silnik wymienił cię w przebiegach, i tę samą zasadę liczenia stosuje następnym razem.
- Wymienione silniki to przykład zestawu domyślnego. Prawdziwa lista idzie za tym, gdzie pytają twoi klienci, i może obejmować silniki ważne tylko na twoim rynku.
- Odpowiedzi dryfują między przebiegami i zmieniają się po aktualizacjach modeli, więc pomiar bazowy jest zdjęciem chwili, a nie stałą.
Prawdziwy pomiar bazowy dostajesz jako uzgodniony zestaw promptów, zapis dla każdego silnika ze zrzutami ekranu i cytowanymi źródłami oraz omówienie, na którym czytamy odpowiedzi razem, a luki stają się kolejnością prac. Zakres ustalamy w briefie.
Audyt widoczności w AIGotowi na audyt?
Prześlij stronę lub konto reklamowe: najpierw bezpłatna wstępna kontrola, największe problemy, pasujący pakiet i stała cena. Decyzja należy do Ciebie.
Zamów audytBez zobowiązań. Odpowiedź w ciągu jednego dnia roboczego.