MATHCAST
Mathcast / Документы / Mathchast_33 — AI Visibility Metrics
МАТЧАСТЬ / AI VISIBILITY METRICS / DOCUMENT 33 / 02.09.2026

AI Visibility Metrics

Как «Матчасти» измерять присутствие бренда в ChatGPT, Gemini, Claude, Perplexity, Copilot, Google AI Mode/AI Overviews и других answer engines без псевдоточности и обещаний «мы заставим ИИ рекомендовать вас». Документ определяет prompt universe, mentions, citations, citation share, Share of Voice, prominence, sentiment, narratives, source categories, watched URLs, fact accuracy, model/region splits, variance, confidence, cost, dashboard и первую коммерчески жизнеспособную методологию.

Mention ≠ Citationбренд может присутствовать в ответе без ссылки на собственный сайт
Sample ≠ Universeни один внешний инструмент не видит все частные AI-разговоры
Prompt Setглавная единица измерения — заранее определённый набор вопросов
Trend firstдинамика на стабильной выборке важнее абсолютного «AI score»

1. Главное решение

Не создавать один магический «AI Visibility Score» как главный продукт. Ядро «Матчасти» должно состоять из прозрачных наблюдаемых метрик: Prompt Coverage, Brand Mention Rate, Citation Rate, Mathchast Citation Rate, AI Share of Voice, Citation Share, Source Mix, Prominence, Sentiment/Narratives и Fact Accuracy. Каждый показатель привязан к prompt set, модели, региону, дате и методологии.
PROMPT UNIVERSE ↓ PROMPT SET ↓ ANSWER RUNS ↓ RAW ANSWERS + CITATIONS ↓ ENTITY RESOLUTION ↓ METRICS ├─ Mention Rate ├─ Citation Rate ├─ Share of Voice ├─ Citation Share ├─ Prominence ├─ Sentiment ├─ Narrative/Attributes ├─ Source Mix ├─ Watched URL citations └─ Fact Accuracy ↓ BEFORE / AFTER ↓ CONTENT GAP ↓ NEXT BEST PUBLICATION

2. Что сегодня считается AI Visibility на рынке

Крупные продукты 2026 года сходятся на общем наборе измерений: частота упоминаний бренда, ссылки-цитаты, сравнительный Share of Voice, sentiment, анализ источников, platform/region breakdown и prompt-level tracking. Но формулы и набор prompt data у каждого поставщика разные, поэтому их «Visibility Score» нельзя считать универсальной отраслевой единицей.

3. Ahrefs Brand Radar

Ahrefs в июне 2026 года формализовал четыре базовые AI Visibility metrics: Mentions, Citations, Impressions и AI Share of Voice. Brand Radar работает как с большим предсобранным индексом search-backed prompts, так и с пользовательскими Custom Prompts. Ahrefs прямо объясняет, что это sampling-based monitoring, а не доступ ко всем частным разговорам пользователей.

Сильный паттерн Ahrefs: разделять macro discovery через огромный prompt index и micro tracking через фиксированный custom prompt set.

4. Semrush AI Visibility

Semrush в 2026 году использует собственную базу из сотен миллионов prompts/responses и отдельный слой Prompt Tracking. В инструментах присутствуют AI Visibility Score, Mentions, Cited Pages/Citations, Share of Voice, sentiment, Narrative Drivers, Average Position и prompt-level tracking. Semrush отдельно подчёркивает, что из-за персонализации и изменчивости AI-систем никакая платформа не даёт «точное абсолютное число видимости» — показатели являются directional signals.

Это должно стать частью публичной методологии «Матчасти»: мы измеряем согласованную выборку ответов, а не весь мировой AI-трафик.

5. Profound

Profound строит Answer Engine Insights вокруг ежедневного prompt-driven анализа и выделяет Visibility, Share of Voice, Citation Share, Sentiment, Positioning, Regions, Citations и Watched Pages. В 2026 году Profound также развивает Prompt Volumes на базе лицензированных, анонимизированных consumer-panel conversations и FactCheck — сопоставление фактических утверждений AI с knowledge base бренда.

Для «Матчасти» особенно интересны два направления Profound: Watched URLs и Fact Accuracy. Они напрямую соединяются с нашими permanent publications и verified Entity Graph.

6. Muck Rack Generative Pulse

Muck Rack ориентирует AI Visibility на PR/comms: Share of Voice, sentiment, top cited outlets, journalists, domains и exact URLs. Это не просто SEO-подход: задача — понять, какие внешние источники формируют AI narrative о бренде и куда направлять PR-работу.

7. Почему Muck Rack важен «Матчасти»

Наша площадка сама является потенциальным внешним earned/partner source. Значит, продукт должен измерять не только «цитируется ли сайт клиента», но и какие независимые/внешние источники AI использует при разговоре о клиенте.

8. Muck Rack research 2026

В майском исследовании 2026 года Muck Rack проанализировал более 25 млн ссылок из ответов ChatGPT, Claude и Gemini по 17 индустриям и сообщил, что earned media составили 84% цитат, а paid/advertorial — около 0,3%. Эти значения относятся к их конкретной выборке и не являются универсальной физической константой.

Практический вывод: стратегия «купить 100 рекламных статей и автоматически попасть в LLM» выглядит слабее стратегии построения реального внешнего информационного следа.

9. Главная методологическая проблема

Ответы AI недетерминированы. Один и тот же prompt в разное время, регионе, режиме, аккаунте или модели может дать другой ответ и другие citations.
PROMPT: "Какие сервисы AI visibility подходят B2B?" Run 1: A B C Run 2: B D A Run 3: A C Therefore: one screenshot ≠ stable visibility.

10. Вторая проблема: AI systems меняются

model update search backend update citation UI update retrieval change region rollout prompt routing personalization → metric can move without any change on client's website.

11. Третья проблема: разные answer engines — разные каналы

EngineОсобенность измерения
ChatGPT SearchWeb search/citations могут зависеть от search mode и retrieval
Google AI ModeСвязан с Google search ecosystem
AI OverviewsПоявляются внутри SERP, не в каждом запросе
PerplexitySource-heavy answer UX
ClaudeWeb search availability/model may differ
GeminiGoogle ecosystem/region behavior differs

12. Поэтому не нужен «общий AI ranking»

Фраза «вы занимаете 7-е место в ИИ» методологически бессмысленна без prompt set, competitor set, models, region и date range.

13. Единица наблюдения

AI_OBSERVATION prompt_id prompt_version platform model/mode region language persona optional run_at answer_text citations[] mentioned_entities[] response_metadata collection_method status

14. Единица метрики

METRIC = function( observations filtered by: prompt set platform region time window competitor set )

15. Prompt Set — главный объект продукта

Без стабильного Prompt Set нет нормального before/after.
Prompt Set: "Acme B2B purchase journey RU" 50 prompts categories: category discovery recommendation comparison problem-solving pricing trust implementation alternatives expertise version: v1 locked.

16. Типы prompt sets

SetНазначение
BRANDЧто AI говорит непосредственно о бренде
CATEGORYПопадает ли бренд в ответы без брендового запроса
COMMERCIALRecommendation/comparison/purchase questions
PROBLEMКакие решения AI предлагает для задач ЦА
TRUSTРепутация, доказательства, риски
EXPERTISEГде бренд/эксперты фигурируют как специалисты
CUSTOMЗапросы клиента

17. Branded prompts не показывают настоящую discoverability

"Что такое Acme?" → useful for accuracy But: "Какие CRM подходят агентству на 20 человек?" → useful for discovery visibility.
Основной commercial value — non-branded category prompts, где клиент вообще может быть выбран или не выбран.

18. Рекомендуемый первый набор

MVP client: 30–50 prompts 10 category/problem 10 comparison/recommendation 5 trust/reputation 5 branded facts 5 implementation/use-case 5 client custom Enterprise later: 100–500+

Размер — проектная гипотеза, не отраслевой стандарт.

19. Prompt sourcing

Sources: client interviews sales objections Search Console queries site search keyword/search data competitor topics real customer questions AI prompt-volume datasets later editorial research.

20. Не генерировать весь prompt universe только LLM

Synthetic prompts удобны, но могут измерять вопросы, которые никто не задаёт. AI-generated suggestions должны проходить demand/relevance review.

21. Prompt Volumes later

Profound в 2026 году показывает отдельный рынок для real-prompt datasets, а Semrush и Ahrefs также используют крупные proprietary prompt datasets. «Матчасти» на MVP не нужно пытаться конкурировать по масштабу с сотнями миллионов запросов.

Наш wedge — custom high-intent prompt set + verified publication/entity data + before/after + next action.

22. Prompt versioning

prompt_id immutable v1: "Какие CRM подходят небольшим агентствам?" v2: wording changed For strict trend: v1 series remains separate Do not: rewrite old prompt and pretend continuity.

23. Prompt tags

topic intent funnel stage brand/nonbrand commerciality persona region language priority source owner.

24. Prompt weighting

На MVP основной dashboard лучше считать unweighted prompt rates. Weighted score вводить позже, когда есть реальный demand signal.
UNWEIGHTED: each prompt = 1 WEIGHTED later: prompt importance / real volume / business value But: show both and methodology.

25. Mention

Brand Mention = brand entity appears at least once in an AI answer. If brand repeated 5 times: one answer-level mention for Mention Rate.

Такой answer-level подход соответствует базовой логике Ahrefs и Profound и лучше защищён от verbose answers.

26. Mention Rate

Mention Rate = answers mentioning brand / eligible answers Example: 18 of 50 = 36%

27. Visibility

Внутри «Матчасти» термин Visibility лучше использовать как синоним answer-level mention coverage, а не proprietary score.

28. No-answer handling

Prompt attempted: platform error safety refusal no answer tool unavailable Exclude from eligible denominator and show: coverage/run success separately.

29. Prompt Coverage

Run Coverage = successful answer observations / scheduled observations Need: ≥ defined threshold before report valid.

30. Brand entity resolution

Brand: "Матчасть" Aliases: mathchast Мат часть mathchast.com Do not match: generic phrase unrelated same-name entity Resolver: Entity Graph + context.

31. Mention false positives

Простой regex опасен для коротких или generic brand names. Нужен entity-aware classifier + manual QA для ambiguous cases.

32. Product mentions

Company Acme Product Alpha metrics: company mention brand/product mention combined portfolio optional Never silently: product = parent company mention.

33. Citation

Citation = AI response exposes a source/link that resolves to a tracked URL/domain. Different: brand mentioned but no source or: brand absent but its documentation cited.

34. Own-domain Citation Rate

Own Citation Rate = answers citing client's owned domains / eligible answers

35. Mathchast Citation Rate

Уникальная метрика нашего продукта.
Mathchast Citation Rate = answers citing one or more Mathchast URLs related to client / eligible answers

36. Publication Citation Rate

For watched publication: answers citing publication URL / eligible answers in relevant prompt set.

37. Citation Count vs Citation Rate

MetricИспользование
Citation CountКоличество citation occurrences
Answer Citation RateВ скольких ответах домен/URL появился хотя бы раз
Unique Cited URLsШирина source footprint
Citation ShareДоля citations относительно конкурентного/source set

38. Citation Share

Profound определяет Citation Share как долю конкретного citation/source среди всех citations в выбранном наборе. Для «Матчасти» нужен transparent variant.

Client Citation Share = citations to client's tracked sources / citations to all compared brand-owned sources Alternative: domain/category citation share Always show denominator definition.

39. Не смешивать source universe

Если denominator включает Wikipedia, Reddit, СМИ и сайты конкурентов, Citation Share будет отвечать на другой вопрос, чем brand-owned Citation Share.

40. AI Share of Voice

Brand SoV = brand answer-level mentions / sum of answer-level mentions for tracked competitor set Example: Client 20 Competitors total 80 SoV = 25%

41. Почему SoV зависит от competitor set

Добавили двух новых конкурентов — SoV изменился даже без изменения ответов про клиента. Поэтому competitor set version обязателен.

42. Competitor set

competitor_set_id version entities[] valid_from reason Client can propose 3–5 competitors Editor/system validates: same market/use case.

43. Не добавлять Amazon в comparison к маленькому SaaS ради «реализма»

Конкурентный набор должен отражать реальный buyer consideration set.

44. Absolute vs relative

Absolute: Mention Rate 36% Relative: SoV 18% Both needed. If category grows: absolute can rise while relative falls.

45. Prominence

Mention presence недостаточно: важно, где и как бренд появляется.
Prominence signals: recommended? top-3? first named option? mentioned in body? mentioned as caveat? only cited? appears in comparison table? appears in final recommendation?

46. Positioning metric

Profound использует aggregate Positioning relative to competitors; Semrush tracks average position of domain citations in selected prompt tracking contexts. «Матчасти» лучше не сводить всё к одному rank на MVP.

47. Recommended prominence model

ClassMeaning
PRIMARY_RECOMMENDATIONЯвно один из главных рекомендуемых вариантов
SHORTLISTЕсть в основном списке вариантов
MENTIONУпомянут, но не рекомендован
CAVEAT/NEGATIVEУпомянут в негативном/ограничивающем контексте
CITATION_ONLYИсточник процитирован без brand mention

48. Recommendation Rate

Recommendation Rate = answers where brand is classified PRIMARY/SHORTLIST / eligible commercial prompts

49. Это полезнее «позиции #2»

LLM не всегда даёт нумерованный рейтинг. Иногда первый бренд упомянут в caveat, а третий — фактическая рекомендация.

50. Sentiment

Semrush, Profound и Muck Rack уже измеряют sentiment. Для «Матчасти» sentiment должен быть вторичным diagnostic metric, а не главной KPI.

POSITIVE NEUTRAL/MIXED NEGATIVE NOT_APPLICABLE store: evidence spans themes.

51. Почему sentiment сложен

"Acme дороже конкурентов, но лучше подходит enterprise" Positive? Negative? Mixed. Therefore: theme/attribute-level analysis better than one scalar.

52. Narrative Drivers

Semrush использует Narrative Drivers, Profound — themes/attributes. «Матчасти» стоит строить похожий слой.
Brand narratives: "прост в использовании" "дорогой" "для enterprise" "сильная аналитика" "не подходит малому бизнесу" Each: frequency sentiment supporting answers sources.

53. Attribute matrix

Attribute: PRICE EASE_OF_USE ENTERPRISE SECURITY SUPPORT INTEGRATIONS EXPERTISE REPUTATION Brand × platform × time → narrative state.

54. Narrative ≠ fact

«Считается удобным» и «стоит 10 000 ₽» — разные классы. Первый относится к perception, второй можно fact-check.

55. Fact Accuracy

Один из самых сильных будущих дифференциаторов «Матчасти» благодаря Entity Graph + Claims + Sources.
AI answer claim: "Acme has a free plan" Mathchast truth layer: current verified pricing says: no free plan → INACCURATE source citations: identify likely outdated pages.

56. Fact Accuracy Rate

Accuracy Rate = verified accurate atomic claims / all verifiable relevant claims classes: ACCURATE INACCURATE OUTDATED AMBIGUOUS NOT_VERIFIABLE NOT_RELEVANT

57. Не запускать Fact Accuracy на всём интернете сразу

P2: сначала только 10–30 high-value verified facts клиента: pricing, geography, features, product names, official roles, terms.

58. Source of Truth

Verified Entity Graph + client-approved primary sources + official registry + current public product docs Never: client marketing statement automatically equals truth.

59. Source categories

Profound в 2026 году делит citations на Owned, Competition, Social, Earned Media, PRWire, Institutions и Other. Для «Матчасти» нужен свой более тонкий taxonomy.

OWNED MATHCHAST EARNED_MEDIA OTHER_BUSINESS_MEDIA OFFICIAL_REGISTRY GOVERNMENT ACADEMIC/RESEARCH REVIEW_PLATFORM SOCIAL FORUM/COMMUNITY WIKIPEDIA/REFERENCE PR_WIRE COMPETITOR DIRECTORY ECOMMERCE OTHER

60. Почему выделять MATHCHAST отдельно

Иначе мы не сможем показать клиенту, когда именно публикации на нашей платформе стали входить в source mix AI-систем.

61. Source Mix

For answers mentioning brand: Owned 22% Mathchast 8% Earned media 31% Reference 14% Community 9% Competitors 6% Other 10%

62. Source Mix is not authority score

Процент источников — наблюдаемая структура citations, а не доказательство «доверия AI» к категории источника.

63. Top Citation Domains

domain citation_count citation_rate prompt coverage platforms topics source_category trend.

64. Top Citation Pages

exact URL domain title snapshot citation count prompts platform first seen last seen.

65. Watched URLs

Profound позволяет выбирать specific Watched Pages. «Матчасти» эта механика нужна с первого commercial monitoring release.

Watched: Mathchast publication client homepage pricing page important case key documentation external earned media article

66. Watched URL metrics

citation count answer citation rate platforms prompts first seen last seen source category trend associated brand mention? yes/no.

67. External-media portfolio

Из будущего reputation layer: клиент может вручную/автоматически добавить важные внешние статьи и смотреть, становятся ли они AI sources.

68. Citation does not mean endorsement

AI может цитировать страницу, чтобы критиковать бренд или подтвердить негативный факт. Поэтому citation + narrative context идут вместе.

69. Citation-to-mention relationship

Cases: Mention + own citation Mention + Mathchast citation Mention + competitor citation Mention + earned media No mention + citation Mention + no citation All analytically different.

70. Platform split

ChatGPT Gemini Claude Perplexity Copilot Google AI Mode AI Overviews For each: Mention Rate SoV Citation Rate Source Mix Prominence.

71. Не усреднять всё сразу

Общий 42% может скрывать: ChatGPT 70%, Gemini 10%. Executive summary может иметь aggregate, но platform matrix обязательна.

72. Model/mode metadata

platform model if known mode: search deep research? AI Mode overview web-enabled API/browser collection_method.

73. Consumer UI vs API

Profound делает акцент на сборе из consumer experience, а не только через API. Semrush также описывает UI-level collection для части datasets. Это важно, потому что API response и пользовательский интерфейс могут различаться по retrieval, citations и системным настройкам.

«Матчасть» должна хранить collection method и не смешивать API experiment с consumer-search observation как одинаковые данные.

74. MVP collection strategy

Preferred: official/search-capable consumer-like path where automation legally/technically allowed Fallback: official APIs with web search clearly labeled Never: pretend API == consumer UI if not true.

75. Terms/compliance review

Перед автоматизацией каждого answer engine нужно отдельно проверить действующие Terms, API availability, automation restrictions и допустимый collection method.

76. Region

RU / EU / US etc. language location settings market Same prompt: may yield different: brands sources recommendations.

77. Region as first-class dimension

Для клиента «видимость в России» и «видимость в США» — разные продукты данных.

78. Language

Prompt set RU ≠ translated EN set automatically Translation changes: market terminology competitive set intent Separate set/version.

79. Persona

P2: роли/контекст пользователя могут влиять на вопрос и ответ.
Founder Marketing director Agency Procurement Developer But: do not invent fake personal histories to manipulate engines.

80. Run frequency

FrequencyUse
DailyHigh-value prompts / enterprise
WeeklyStandard monitoring
MonthlyLow-cost broad audit
On-demandBaseline / diagnostic

81. MVP recommendation

Baseline: 3–5 repeated runs over short initial window Standard 30d: weekly snapshots or controlled repeated runs High-value: daily selected prompts Goal: measure variance, not one deterministic answer.

82. Repeated runs per prompt

Для недетерминированности лучше делать несколько наблюдений одного prompt, чем увеличивать prompt set бесконечно.
50 prompts × 3 runs × 3 platforms = 450 observations vs 450 unrelated prompts × 1 run First: better stability for core questions.

83. Run replicate

prompt_id snapshot_date replicate_no Metric: presence probability estimate within observed sample.

84. Variance

Prompt: Brand appears: 2/5 runs Observed presence: 40% This is more honest than: "brand ranks #3".

85. Confidence interval

Для executive reporting можно позже показывать uncertainty bands для rates при достаточной выборке, но не создавать сложную статистику на 10 prompts.

86. Sample Size visible

Каждый dashboard должен показывать denominator.
Mention Rate 36% 18 / 50 prompts 150 valid observations 3 platforms 01–30 Sep

87. Weighted impressions

Ahrefs оценивает Impressions, взвешивая AI visibility по demand behind prompts. Semrush показывает Monthly Audience estimates. «Матчасти» не должен придумывать аналог до появления собственного достоверного prompt demand dataset.

На MVP не показывать «AI impressions 18 400» из синтетической формулы без реального источника спроса.

88. Future Opportunity Weight

P2: prompt importance × real prompt demand × buyer intent label: Opportunity Weight Not: literal impressions unless methodology supports.

89. Prompt Importance

Client can label: Critical High Medium Low Examples: "best CRM for agency" = critical "history of CRM" = low commercial value.

90. Priority Mention Rate

Mention rate within Critical/High prompts Useful alongside: all-prompt Mention Rate.

91. Commercial Prompt Share

Recommendation Rate for commercial-intent set This may be more valuable than overall visibility.

92. Buyer Journey view

DISCOVERY Does AI know brand? CONSIDERATION Does AI shortlist brand? COMPARISON How framed vs competitors? TRUST What sources/narratives? DECISION Pricing/features facts accurate?

93. Brand Mention Rate by funnel

StageExample metric
Discovery18%
Consideration34%
Comparison48%
Branded fact92%

94. Это выявляет реальную проблему

Если branded accuracy 95%, но discovery 5%, бренд корректно описывают только тогда, когда пользователь уже знает его название.

95. Source Gap

Prompt: "best AI visibility tools" Competitor A mentioned sources: Site X Site Y Site Z Client absent Gap: which sources repeatedly support category answer?

96. Source Gap score

Не нужен сложный score в MVP. Показывать:
Top sources cited when competitor appears and client doesn't frequency platforms topics source category.

97. Mathchast opportunity

Если в source gap отсутствует полноценный независимый материал, «Матчасть» может предложить создать реальный кейс/research/explainer, а затем наблюдать, цитируется ли он.

98. Это не гарантия citation

Recommendation = закрыть информационный пробел. Не «напишите статью и ChatGPT точно её возьмёт».

99. Competitor Citation Gap

Competitor has: 12 unique citation domains Client: 4 Overlap: 2 Missing high-frequency: X, Y, Z Action: PR / content / source correction depending category.

100. Owned vs earned gap

If AI knows brand only from owned pages: weak external corroboration signal If AI cites outdated earned article: fact accuracy risk If AI cites Mathchast: our platform enters source graph.

101. Source freshness

citation first seen last seen page published/updated if known current HTTP content snapshot metadata Old source: not automatically bad but inspect if factual claim changed.

102. Citation volatility

Source cited: week 1 yes week 2 no week 3 yes Track: persistence not just first occurrence.

103. Citation Persistence

Persistence = monitoring periods where watched URL was cited / eligible periods P2 metric.

104. Mention Persistence

Brand present across repeated snapshots Useful: stable visibility vs one-off appearance.

105. First Seen / Last Seen

Очень понятные client-facing metrics.
Mathchast case: First cited: 12 Sep Last cited: 01 Oct Platforms: ChatGPT, Perplexity

106. Citation velocity

Можно показывать trend, но не превращать несколько наблюдений в «скорость индексации AI».

107. AI Referral Traffic

ChatGPT referral Gemini referral Perplexity referral Claude referral other identifiable from first-party analytics Separate: AI visibility observations vs actual clicks.

108. OpenAI official observable

OpenAI в текущем publisher FAQ говорит, что сайты, открытые для OAI-SearchBot, могут отслеживать ChatGPT search referrals; ссылки автоматически включают utm_source=chatgpt.com. OpenAI также прямо говорит, что placement в ChatGPT search не гарантируется.

Это идеальный пример нашей taxonomy: crawler access — controlled; citation/placement — observed; referral — observed downstream event.

109. AI Citation vs AI Referral

MetricSource
CitationCaptured AI answer
ReferralFirst-party web analytics
Crawler visitServer log
Brand mentionCaptured AI answer

110. Three proofs

AI DISCOVERY PROOF crawler visit AI ANSWER PROOF mention/citation AI TRAFFIC PROOF referral click

111. Не считать crawler visits «AI visibility»

Bot visited page ≠ model used page.

112. Sentiment evidence

sentiment result stores: answer_id brand span context span attribute classification confidence internal review state.

113. Client-facing sentiment

Positive themes: automation analytics Mixed: price Negative: support response time show: examples not just 72/100.

114. Narrative change alert

New recurring narrative: "Acme discontinued feature X" appears in 6 answers across 2 platforms → fact check → source tracing.

115. Reputation incident

Это может стать premium alert: новая negative/inaccurate narrative пересекает threshold и требует проверки.

116. But no panic from one answer

Один случайный negative response не должен генерировать «репутационный кризис».

117. FactCheck connection

Profound 2026 уже показывает commercial viability модели «AI claim → knowledge base truth → inaccurate claim → citation source». У «Матчасти» это особенно естественно благодаря собственному verified claims layer.

118. Mathchast Fact Accuracy MVP later

Client chooses: 10 critical facts System observes: AI answers Extractor: atomic factual claims Verifier: Mathchast verified claims Output: accurate / inaccurate / outdated / unknown Human review: high-impact.

119. Example facts

official product name current pricing has/free trial cities served founder/CEO core service B2B/B2C integrations launch date certification.

120. Не проверять subjective claims как facts

"Acme is easy to use" → perception "Acme costs $99/month" → factual "Acme is the best" → subjective/comparative.

121. Prompt-level result card

Prompt: "Какие сервисы GEO подходят B2B?" ChatGPT Client: SHORTLIST Competitor A: PRIMARY Mathchast citation: yes Owned citation: no Sentiment: positive Sources: 6 [Open answer] [Compare previous]

122. Raw answer retention

Нужно проверить licensing/terms каждого provider. Если full answer storage ограничен, хранить разрешённый normalized extract/hash/metadata. Архитектура должна поддерживать разные retention policies.

123. Answer snapshot

answer_id provider prompt timestamp response_hash text where permitted citations entity mentions analysis outputs retention class.

124. Screenshot storage?

Если collection идёт через consumer UI и terms позволяют, screenshot может быть audit proof. Не считать обязательным universal method.

125. Entity resolver reuse

AI answer: "Open AI" "OpenAI" "Chat GPT" Need: Organization Brand Product separate. Use: Mathchast Entity Graph.

126. Competitor aliases

Semrush SEMrush historical spelling Semrush One product Resolver: does product mention count parent brand? policy explicit.

127. Parent/brand/product rollup

Dashboard должен позволять:
Acme Group Acme Acme Pro Acme Cloud view: specific entity or approved portfolio rollup.

128. Share of Voice rollup caveat

Нельзя одному клиенту считать 5 продуктов как 5 mentions, а конкуренту parent company как 1. Rollup policy должна быть симметричной.

129. Duplicate citations

same URL cited twice in same answer For answer Citation Rate: count once For raw citation occurrences: can count occurrences separately if useful. Default: answer-level unique URL.

130. URL normalization

remove: utm fragment known tracking params resolve: http/https www redirects canonical where observed retain: raw URL.

131. Domain normalization

docs.acme.com blog.acme.com Owned: yes Domain view: can roll to acme.com but keep hostname detail.

132. Citation target after redirect

AI cites old URL → redirect to new show: raw cited URL final destination publication_id if Mathchast Useful: migration monitoring.

133. Top source author/journalist

P2. Muck Rack делает это хорошо благодаря media database. «Матчасти» не нужно вручную создавать journalist graph на MVP.

134. Source publisher entity

P1: domain → publisher entity source category P2: author/journalist relation if reliable metadata available.

135. AI Visibility dashboard hierarchy

TOP: Mention Rate Recommendation Rate AI Share of Voice Citation Rate SECOND: platform matrix source mix watched URLs competitors topics THIRD: sentiment/narratives fact accuracy raw prompts.

136. Do not lead with 12 proprietary scores

Dashboard должен отвечать «видят ли нас, рекомендуют ли нас, на что ссылаются, что говорят», а не заставлять клиента учить новый словарь.

137. Executive summary

За 30 дней: Бренд появился: в 34% tracked answers В recommendation shortlist: 18% AI Share of Voice: 22% vs 17% baseline Mathchast URLs cited: 7 answers Top source gap: industry media X New issue: AI still reports old pricing.

138. Platform matrix

PlatformMentionRecommendationOwn citeMathchast citeSoV
ChatGPT42%21%12%8%25%
Gemini29%15%8%3%18%
Perplexity51%30%25%11%31%

Числа в таблице иллюстративные.

139. Topic matrix

AI Visibility: strong Pricing: medium Security: weak Integrations: absent → content gap.

140. Prompt explorer

filters: mentioned yes/no cited yes/no recommended platform topic competitor source sentiment accuracy date.

141. Competitor view

Client vs 4 competitors Mention Rate SoV Recommendation Rate Citation domains Top topics Source gaps Narratives.

142. Competitor discovery

AI can suggest competitors from responses, but client/editor approves additions to formal competitor set.

143. Emerging competitor

Brand X appears in 18% of category prompts but not tracked → "Emerging competitor" suggestion does not silently change SoV denominator.

144. AI Visibility Score — если всё-таки нужен

Можно иметь summary index later, но только как secondary convenience metric.
Potential components: Mention coverage Recommendation SoV Citation Fact accuracy Problems: arbitrary weights hard to compare industries formula changes Therefore: not MVP primary metric.

145. Client demand for one number

Если sales требует «одну цифру», лучше назвать её Visibility Coverage и сделать простой answer-level Mention Rate на фиксированном prompt set, а не скрытую смесь 14 сигналов.

146. Baseline

Before publication/campaign: locked: prompt set v1 competitor set v1 platform set region language collection method collect: several runs → BASELINE.

147. Why multiple baseline runs

Один baseline screenshot слишком зависит от random variation.

148. Post-publication snapshots

T0 baseline Publication date +7 +30 +60 same: prompt set competitors platform configuration methodology.

149. Full methodology goes to Doc 34

Документ 33 определяет метрики; документ 34 отдельно решит, как сравнивать before/after и что можно говорить о причинности.

150. Model change during experiment

Platform model changes between baseline and +30 record: model/mode version if known external change annotation Do not: pretend perfectly controlled experiment.

151. Prompt set drift

Добавить 20 лёгких branded prompts после publication и показать «рост Visibility» — методологический обман.

152. Reporting requires locked cohort

Comparable series: LOCKED_SET Exploratory new prompts: EXPANSION_SET show separately.

153. AI Visibility monitoring tiers

TierПредварительный scope
Baseline30–50 prompts, 2–3 platforms, one-time repeated snapshot
30dBaseline + periodic reruns + report
ProMore platforms/prompts + weekly/daily selected prompts
AgencyMulti-client + standard prompt templates + exports

154. Platform costs

cost = prompts × replicates × platforms × frequency × retrieval/model cost + parsing + storage + QA.

155. Cost must be tracked per run

Это прямое продолжение Mathchast_25/30.
ai_visibility_run: provider platform prompt tokens/credits external cost latency success retry collection method.

156. No unlimited prompts

Пока usage distribution и provider cost неизвестны — никаких «безлимитных AI checks».

157. Sampling design and cost

Instead of: 1000 prompts × every day Use: 50 strategic prompts × replicates × weekly + 10 critical prompts daily.

158. Data quality state

VALID PARTIAL LOW_COVERAGE PROVIDER_CHANGED METHOD_CHANGED STALE ERROR.

159. Report validity threshold

Например, если <80% scheduled observations completed, comparative metric marked PARTIAL. Точный threshold утвердить после pilots.

160. Provider refusal / unavailable

Do not count: as brand absent mark: NO_OBSERVATION.

161. Search mode not invoked

Если конкретный product может отвечать без web retrieval, citation absence имеет другой смысл. Collection metadata должен фиксировать доступный режим.

162. Citation parser

extract: URL title publisher position anchor/label citation context raw id if platform-specific normalize: URL/domain/category.

163. Mention parser

entity candidates → exact/alias → contextual resolve → parent/product relation → final mention entities.

164. Recommendation classifier

Input: answer + entity mentions Output: PRIMARY SHORTLIST MENTION CAVEAT NONE QA: sampled human evaluation.

165. Evals

Gold set: 500+ answer snippets later Metrics: mention precision/recall entity ambiguity citation parse accuracy recommendation agreement sentiment agreement fact extraction precision.

166. Manual QA on launch

Первые клиентские reports должны проходить manual spot-check. Пока extraction quality не измерена, нельзя выдавать полностью автоматическую цифру как факт.

167. Corrections to AI metrics

Client reports: brand missed / wrong entity → analyst review → resolver correction → recompute affected metrics → audit → methodology improvement.

168. Client cannot manually mark himself mentioned

Можно submit dispute/evidence, но final normalized observation controlled by measurement system.

169. Raw evidence access

У каждой важной метрики должен быть drill-down к prompts/answers/sources, насколько это разрешено provider terms.

170. Evidence-first dashboard

SoV 22% [Open 50 prompts] Citation Rate 14% [Open 7 answers] Negative narrative: "expensive" [Open examples + sources]

171. Alert types P1/P2

Visibility drop Competitor surge New citation source Watched URL first cited Watched URL disappears Negative narrative emerges Inaccurate critical fact New source gap Platform divergence.

172. Alert thresholds

Не alert по одному run. Использовать minimum observations / persistence / magnitude threshold.

173. Example alert

"Pricing accuracy issue" Incorrect old price appeared in: 8 answers 2 platforms 3 prompt categories Likely sources: URL A URL B [Review facts]

174. Source outreach vs content creation

Gap: AI cites industry publication X Possible action: earn coverage there Gap: AI lacks factual source → update owned docs Gap: no strong independent explanation → Mathchast article/research Gap: wrong outdated source → correction/outreach.

175. This is why AI Visibility must not always recommend "write article"

Следующий лучший action может быть: исправить сайт, подтвердить entity, обновить pricing page, получить earned media, исправить старый материал или ничего не делать.

176. Mathchast-specific advantage

We own: publisher entity graph verified claims publication history search analytics reader analytics We observe: AI answers citations competitors → can connect: content → source → answer → outcome.

177. Measurement flywheel

VERIFY ENTITY → PUBLISH → SEARCH PROOF → AI BASELINE → AI OBSERVATIONS → GAP → NEXT PUBLICATION / FIX → MEASURE AGAIN.

178. Client-facing core metrics MVP

MetricMVP
Mention RateДа
AI Share of VoiceДа
Recommendation RateДа
Citation RateДа
Mathchast Citation RateДа
Top Citation Sources/URLsДа
Platform breakdownДа
Prompt explorerДа
SentimentP1
Fact AccuracyP2

179. MVP data model

ai_prompt_sets ai_prompts ai_prompt_versions ai_competitor_sets ai_runs ai_answers ai_mentions ai_citations ai_source_domains ai_watched_urls ai_metric_snapshots ai_reports

180. P1 data model

ai_narratives ai_sentiment ai_attributes ai_alerts ai_source_categories ai_prompt_tags.

181. P2 data model

ai_claim_observations ai_fact_checks ai_accuracy_sources ai_personas ai_prompt_volume_signals.

182. Raw and derived separation

Raw answer observations не перезаписываются derived metrics. Если алгоритм entity resolution улучшился, метрики можно пересчитать.

183. Metric snapshot

metric_name metric_version prompt_set_version competitor_set_version platform_set window numerator denominator value data_quality generated_at.

184. Why numerator/denominator stored

Чтобы клиент и аналитик могли понять 36% = 18/50, а не только видеть float.

185. Metric versioning

MENTION_RATE_V1 SOV_V1 RECOMMENDATION_RATE_V1 If methodology changes: V2 Historical report: keeps V1.

186. Dashboard source label

Collected by Mathchast Prompt Set v1 3 platforms 150 observations Data window Last run Methodology link.

187. No claim of private conversation access

Публично прямо написать: «Матчасть не имеет доступа к частным чатам пользователей ChatGPT, Gemini, Claude и других сервисов. Метрики строятся на контролируемой выборке prompts/responses и доступных наблюдаемых данных.»

188. Why this matters

Ahrefs сам объясняет sampling limitation; Semrush подчёркивает directional nature AI visibility metrics. Утаивать это было бы недобросовестно.

189. Prompt data from real users later

Если «Матчасть» когда-нибудь покупает/licensing real-prompt datasets, источник, geography, sample limitations и privacy должны быть раскрыты в methodology.

190. User-submitted prompt data

Clients can contribute: sales questions support questions customer interviews These prompts: client-private unless permission to aggregate.

191. Privacy

Не отправлять в tracked prompts персональные данные клиентов/лидов. Prompt templates должны проходить PII redaction.

192. Competitor ethics

Allowed: public brand benchmarking Not: private competitor data impersonation credentialed access secret internal prompts.

193. Model provider terms

Automation and storage policies differ. Legal/technical review per provider before production connector.

194. MVP platform selection

Recommended start: ChatGPT Gemini Perplexity Then: Claude Google AI Mode / AI Overviews Copilot Reason: start with 2–3 robust connectors not seven fragile scrapers.

Точный набор зависит от доступных официальных/разрешённых collection methods на момент реализации.

195. Why not all platforms immediately

Каждая новая платформа умножает cost, variance, parsing, QA и legal/terms surface.

196. Local LLMs not core AI Visibility

Qwen/local model: useful for analysis/extraction But: not counted as market answer engine unless specific client use case.

197. Benchmark mode

BASELINE AUDIT: one-time 30–50 prompts 3 platforms competitors source map Output: where brand appears where absent what sources dominate what facts are wrong.

198. Monitoring mode

30/60 days: repeat locked prompt set track trends watched URLs alerts before/after next action.

199. Commercial positioning

Продавать не «продвижение в ChatGPT», а наблюдение и управление внешним информационным присутствием бренда в AI answer engines.

200. What is controlled

Mathchast controls: publication quality public URL entity data sources technical access monitoring method Mathchast observes: AI mention citation narrative competitor appearance Mathchast cannot control: model decision consumer personalization future AI update.

201. No guaranteed improvement

Даже качественная публикация может не изменить tracked AI answers за 30 дней. Это измеряемый результат, а не нарушение услуги.

202. «No change» is data

Baseline SoV: 18% +30: 18% But: Mathchast citation first appears in 3 prompts → partial change → analyze source/coverage → next action.

203. Success should be multidimensional

Possible success: more mentions higher recommendation more citations new independent sources better factual accuracy better narrative first AI referrals Not all must move together.

204. Bad KPI

«Увеличить AI Visibility Score на 30%» без зафиксированной формулы и prompt universe.

205. Better KPI

Increase: category Mention Rate from 18% to 25% on locked 40-prompt set across selected platforms or: get first external citation of watched case or: reduce inaccurate critical facts from 6 to 1.

206. Client target setting

Targets задаются после baseline, а не до измерения.

207. Minimum reporting window

Baseline: several runs +7: early signal +30: main first comparison +60: stronger persistence Avoid: "published yesterday, AI visibility up 300%" from 1→4 mentions.

208. Small denominator effect

1/10 → 3/10 = +200%, но это всего две дополнительные observations. Dashboard должен показывать counts вместе с percentages.

209. Trend chart

Date Mention Rate Recommendation Rate SoV Citation Rate Annotations: publication major update model change new source campaign.

210. Platform divergence alert

ChatGPT rising Gemini falling → do not average away → inspect source differences.

211. Source category trend

Owned ↓ Earned media ↑ Mathchast first appears Potential: external footprint broadening.

212. Citation concentration

Top 1 domain: 60% of citations Risk: AI narrative depends heavily on one source.

213. Source Concentration metric

P1/P2: top-1/top-3 share, not complex Herfindahl index initially.

214. Outdated source risk

high citation frequency + stale page + critical factual narrative → priority fix/outreach.

215. Source authority?

Не создавать собственный «AI authority 83» на MVP. Frequency and source category are observable; authority is a separate modeled assumption.

216. Citation order

Можно хранить citation position/order where platform exposes it, but do not assume first citation = most influential source.

217. Brand order

If explicit ordered list: store position If prose: recommendation classifier Do not force all answers into rank.

218. Comparison extraction

Features: price security use case pros cons P2: brand attribute comparison Need: avoid hallucinated extraction through evidence spans.

219. Narrative-to-source relationship

Narrative: "good for enterprise" Answers: 12 Common citations: URL A URL B → source influence hypothesis not proof of causal model internals.

220. Wording «source shaping narrative»

Можно говорить «источник часто присутствует в ответах с этим narrative», но не «этот URL заставил модель думать так» без stronger evidence.

221. Muck Rack lesson

Их strength — связать AI citations с PR outlets/journalists. «Матчасти» нужно аналогично связывать observation с конкретным actionable source gap.

222. Ahrefs lesson

Сильны в масштабе prompt index, custom prompts, citations and demand-weighted visibility. Мы не пытаемся повторить их global index на MVP.

223. Semrush lesson

Сильны в integrated SEO + AI visibility, competitor research, prompt research и narrative analysis. У «Матчасти» Search Proof уже строится отдельно, что создаёт сходную связку внутри собственного publisher/data product.

224. Profound lesson

Сильны в daily answer-engine monitoring, Watched Pages, Prompt Volumes, source categories, sentiment and FactCheck. Наш потенциальный moat — verified business graph + own publication workflow alongside those metrics.

225. Mathchast unique metrics

Mathchast Citation Rate Verified Fact Accuracy Publication → AI First Seen Publication Citation Persistence Entity Coverage Gap Source Gap by content format Search Proof + AI Visibility linkage.

226. Publication → AI First Seen

publication date: 04 Sep first citation observed: 19 Sep Observed lag: 15 days Do not call: "AI indexing time".

227. Why not «AI indexing time»

Мы не видим внутренний index/model state. Мы видим только first observed citation in our sample.

228. Entity Coverage

Company facts/topics known: 10 AI answer coverage: pricing ✓ product ✓ CEO ✓ use cases ✓ region ✕ integration ✕ case evidence ✕ → information gaps.

229. Entity Coverage metric

P2; useful only over predefined verified fact/topic set, not arbitrary generated checklist.

230. Topic Visibility Map

AI Visibility HIGH Automation HIGH Analytics MEDIUM Security LOW Enterprise LOW Overlay: Mathchast content coverage.

231. This powers Next Best Publication

Topic LOW + competitors HIGH + buyer intent HIGH + no verified publication → priority candidate.

232. Data retention

Derived metrics: long-term Prompt metadata: long-term Raw answers: provider/terms-based retention Citations: long-term normalized where legally permitted Screenshots: limited/audit if allowed.

233. Cost retention tradeoff

Не хранить гигабайты duplicate full answers «на всякий случай», если normalized evidence sufficient and provider terms limit usage.

234. Client exports

PDF: executive report CSV: prompt metrics citations sources platform breakdown Raw answer: where terms permit / selected evidence.

235. Agency export later

client prompt set Mention Rate SoV Recommendation Citation Rate Mathchast citations top source gap accuracy issue change vs baseline.

236. Public methodology

Создать отдельную страницу:
/methodology/ai-visibility Explain: sampling prompt sets runs platforms mention citation SoV recommendation competitors regions limitations provider changes no private chat access no guarantee.

237. Public methodology is commercial advantage

Новая категория переполнена marketing scores. Прозрачность формулы сама по себе может стать trust differentiator.

238. AI Visibility report footer

This report measures a controlled sample of AI responses. It does not represent: all user conversations all personalized answers all citations or guaranteed future behavior.

239. Client promise

«Мы покажем, где и как ваш бренд появляется в выбранных AI-системах на фиксированном наборе вопросов, какие источники используются и что изменилось за период.»

240. Что не обещать

NO: "мы видим весь ChatGPT" "попадёте в AI" "будете первым" "LLM любит ваш сайт" "AI index" "100% citations" "точные AI impressions" unless source truly provides estimate and labeled.

241. MVP scope

P0/P1 FIRST COMMERCIAL: 30–50 custom prompts 2–3 platforms 3–5 competitors repeated baseline weekly snapshots Mention Rate Recommendation Rate SoV Citation Rate Mathchast Citation Rate Top cited domains/pages Watched Mathchast/client URLs platform/topic breakdown prompt explorer +30 report basic source gaps.

242. P1

sentiment narrative themes source categories daily critical prompts alerts regional splits citation persistence external-media watched URLs +60 monitoring.

243. P2

Fact Accuracy real prompt-volume datasets personas advanced source relationships journalist/outlet mapping opportunity weighting entity coverage advanced confidence/variance API/agency scale.

244. Что не входит в MVP

Не строимПочему
Собственный 400M prompt indexНе наш wedge
Все LLM сразуConnector/QA explosion
Один proprietary scoreПсевдоточность
«AI impressions» без demand dataНедоказуемо
Automated FactCheck без verified truth layerНенадёжно
Private conversation monitoringНедоступно/неэтично
Guaranteed citation optimizationExternal outcome

245. Pilot validation

10 companies For each: 40 prompts 3 platforms 3 baseline replicates 30d monitoring Measure: run success cost variance entity extraction citation extraction client understanding action usefulness.

246. Technical acceptance

For same report: reproducible numerator/denominator prompt set locked competitor set locked raw evidence traceable provider failures excluded correctly URLs normalized metrics versioned cost known.

247. Product acceptance

Client can answer: Where do we appear? Where don't we? Who appears instead? Are we recommended? What sources are used? Is Mathchast cited? What is AI saying? What should we fix/publish next?

248. Commercial acceptance

Target pilot signals: ≥20% monitoring attach client opens report client understands limitations meaningful next action repeat intent margin supports pricing.

249. Core dashboard example

AI VISIBILITY · 30 DAYS Mention Rate 36% +8pp Recommendation 18% +5pp Share of Voice 22% +4pp Citation Rate 14% +6pp Mathchast citations: 7 answers / 4 URLs Top gap: Security topic Accuracy issue: Old pricing in 6 answers [See prompts] [See sources] [Create next publication]

Цифры — иллюстрация интерфейса.

250. Главное отличие от обычного GEO dashboard

«Матчасть» не заканчивает работу на графике. Она уже знает company entity, публикации, источники, search performance и редакционный workflow, поэтому может превратить наблюдение в конкретный следующий материал или correction.

251. Decision

Утвердить transparent prompt-based AI Visibility methodology. Главная единица — версионированный Prompt Set; основной абсолютный показатель — answer-level Mention Rate, относительный — AI Share of Voice по зафиксированному competitor set. Отдельно измеряются Recommendation Rate, Citation Rate, Mathchast Citation Rate, Citation Share, Top Sources/URLs и platform/topic breakdown. На MVP не создаётся proprietary «AI Score» и не оцениваются фиктивные «AI impressions». Baseline собирается несколькими повторными runs, затем сравнивается с +7/+30/+60 на неизменной выборке. No-response/provider failures не считаются отсутствием бренда. Каждый показатель хранит numerator, denominator, methodology version, platform, region, prompt set и timestamp. Sentiment/Narratives добавляются P1; Fact Accuracy на verified claims — P2. Клиенту прямо сообщается, что «Матчасть» не видит все частные разговоры пользователей и измеряет контролируемую выборку. Главная коммерческая связка: Publication → Search Proof → AI Visibility → Source/Topic Gap → Next Best Publication.

252. Что этот документ разблокирует

Mathchast_33 AI Visibility → Mathchast_34 before/after methodology → Mathchast_35 Next Best Publication → Mathchast_36 reputation/fact accuracy → Mathchast_37 agency workspace → Mathchast_38 GTM → Mathchast_40 architecture → Mathchast_43 MVP roadmap

Источники исследования

Prompt counts, platform launch order, Recommendation classification, Mathchast Citation Rate, source taxonomy, run replicates, monitoring tiers, dashboard hierarchy, data schemas and P0/P1/P2 scope are project decisions of «Матчасть». External vendor scores are used only as comparative research; «Матчасть» should publish its own metric definitions instead of reproducing proprietary formulas it cannot audit.