意味があります。1回の答えは「出た・出なかった」の二択で、偶然を多く含みます。同じ質問を独立に何度も投げて割合にすると、ばらつきの中に傾向が見えます。PromptCensus は 30 の質問を 3 つのエンジンに 3 回ずつ、週に 270 回投げ、推薦率と言及率を幅つきで出します。
ChatGPT・Gemini・Perplexity は、同じ質問を新しいチャットで聞き直すと、毎回少し違う答えを返します。挙がる会社の顔ぶれも、並び順も、説明の文も変わります。
だから1回だけ聞いて「うちが出た」「出なかった」と判断すると、その結果が実力なのか偶然なのかを区別できません。出た日に安心し、出なかった日に慌てる、という読み方になってしまいます。
同じ質問を独立に何回も投げることを反復と呼びます。反復して「何回中何回出たか」を割合にすると、1回ごとの違いは平均の中に吸収され、どのくらいの頻度で名前が挙がるかという傾向が残ります。
割合には幅が付きます。10回中3回出た会社と、100回中30回出た会社は同じ30%ですが、幅は後者の方が狭く、次の週も30%前後に収まる見込みが高いことを意味します。回数が少ないほど幅は広くなり、幅が広い数字は「動いた」とも「動かなかった」とも言えません。
同じ設計で週をまたいで測ると、先週と今週の差が幅の中に収まっているか、幅を超えて動いたかが言えるようになります。1週の差だけで施策の効果を判断しないのは、このためです。
幅（95%信頼区間）が付いた割合のことです。幅の付かない「出た・出なかった」や、1回分のスクリーンショットは、記録としては残せても比較には使えません。
PromptCensus では、1つのパネルにつき 30 種類の質問を、ChatGPT・Gemini・Perplexity の 3 つのエンジンに、毎回新しいチャットで各 3 回投げます。週に 270 回の回答を 1 件ずつ「推薦」「説明的な言及」「否定」に分け、薦められた割合を幅つきで記録します。指標の定義と集計方法は用語集で公開しています。質問文の実物だけは、最適化を防ぐため公開していません。
計測を頼む前に、手元で確かめる方法があります。
5 回で出た回数が 0 回か 5 回かで、おおよその位置はつかめます。2 回や 3 回のときは幅が広すぎて判断できないので、そこから先が反復計測の出番です。
更新日: 2026-10-19
PromptCensus の設計では、1 つの質問を 3 つのエンジンに 3 回ずつで 9 回、30 の質問で週 270 回です。回数を減らすと幅が広がり、週ごとの差が幅に埋もれます。回数を増やしても幅はゆっくりしか狭まらないので、ここを基準にしています。
毎回新しいチャットで、履歴を持たずに投げます。前回の答えを前提にした続きの会話にはならないので、各回は独立した 1 回として数えられます。
推薦率が中心です。言及率は、勧められたかを問わず社名が出た割合で、説明や否定も含みます。2 つの違いと、引用（出典）との関係は「言及・推薦・引用の違いは何か、どう測るか」にまとめています。