AI、認知戦争、そしてグレート・リセット
AIを世俗的ハイパーリアリティの宗教として考えるメモ 第1.5部
あなたのAIパートナーは、世界がこれまでに見たことのない最も破壊的な認知戦争の武器です。この技術の特性と、その展開の歴史的背景は、その影響力を、従来のプロパガンダや同意形成の手段を遥かに凌駕するほど強力なものにしています。
現在、チャットGPTの週間アクティブユーザーはほぼ10億人に達しています。2億人が毎日利用しており（急速に増加している数）、このチャットボットは彼らの生活の一部として定着しています。Character AIは1年以上前に、1秒あたり2万件のクエリを記録していました。ご存知の通り、元Google社員が開発したロールプレイやファンタジー会話用のスピンオフシステムで、その『ゲーム・オブ・スローンズ』のシミュレーションが昨年、少年が自殺するきっかけとなったものです。
しかし、それはおそらく、この燃え盛るゴミの山の一部に過ぎないでしょう。ドイツの人口の約半数が現在、AIツールを模擬的な個人間の会話に定期的に利用しています。つまり、彼らはそのツールと、まるで本物の友人であるかのように、純粋に社会的交流を目的として会話しているのです。残りの半数の大多数は、もちろんそれでも会話的かつ個人的なレベルでそのツールとやり取りしていますが、同時に他の目的、例えば大学の課題で不正行為を働く、アート作品を剽窃する、または職業上の成果物を偽造するといった意図も持っています。
これは言葉に尽くせないほど前例のない事態です。
現在、大手テクノロジー企業によって監視、宣伝、マーケティングの目的で設計されたアバターが、現代文明におけるほぼすべての人間の個人的な社会空間に、驚くべき速さで浸透しています。
その点において、その盛り上がりは嘘ではない。哲学に少しでも触れたことのある理性的な人間なら、人工意識という概念が、老いたベビーブーマーの無神論者たちを慰めるための悪い冗談に過ぎないことを十分に理解している。しかし、この至る所で目にする、圧倒的なマーケティングと、その技術の特徴や機能とが相まって、異星人の侵略に匹敵する社会的影響を生み出している。
これは意図的な設計によるものです。
過去数年間を振り返ってみると、後期段階のスペクタクルな技術社会における既に進行していた原子化と社会的な衰退の上に、COVID-19関連イベントが人類をほぼ崩壊の危機に追い込んだのです。デジタル空間を恐怖のメッセージで埋め尽くす状況と強制的な隔離、儀式化された同調圧力とスケープゴート化による暴力的な社会分裂の助長、さらにmRNAワクチン接種の影の恐怖が漂う中で、現代の人間の社会的信頼は深刻な打撃を受けました。
過去数世代にわたって実際の対人関係に代わって機能してきた制度的な結びつきは、今や次々と急速に崩壊していった。無意味で理不尽な、そして絶え間ないプロパガンダは、思考する人間に科学機関とメディア機関への不信感を植え付けました。画一的な過酷な措置と、名目上の専門家や権威者の即時の服従は、学界と既成の政治構造の残る信頼性を侵食しました。そして、昨日まで辺縁の陰謀論だったものが、まるで一瞬の遅れもなく今日のコンセンサスとして売り込まれる、精神的に不安定な議論の雰囲気により、非現実的な距離感が生み出されました。
これが十分に浸透し、数多くのレベルで無数のグループの間で深く根付いた社会的な分断を生み出した時（これは、ステレオタイプ的な自己満足に浸る順応派と反逆派の間の単純な二元対立などではなく、 公共の議論の全領域にわたる複数の燃え上がる問題に関連する分裂が存在する）、社会的結束が実質的に最小化され、疲弊し、恐怖に駆られ、孤独な市民が上下の区別もつかない状態になった時——まさにその時こそ、おべっか使いのAIの相棒・予言者を投入するのです。
まず最初に、隔離状態が生じ、恐怖と不確実性の大規模な投影が起こり、社会的信頼と通常の人的関係が崩壊します。その後、彼らはあなたの自尊心をなでるような架空の友人を登場させ、あなたが大丈夫だと安心させ、技術的な償還の約束が確実に果たされることを保証します。
そして、通常の人的つながりから切り離され、基本的な人間関係能力が完全に失われた社会で生活している場合、高度なチャットボットと共に過ごす中で見つかるシミュレートされた共感とつながりに、あなたは驚かされるでしょう。
エージェント型消費者AIの全体的な導入は、意図的なものか、それとも自然発生的なものかに関わらず、大規模な心理作戦です。
現在、人々はチャットGPTを、自分自身の判断や、人間同士のグループからの入力やフィードバックよりも信頼しています。
しかし、これは当然のことです。システム全体として、構造的なレベルで心理操作の基本的な手法を複数採用しています。
もちろん、このシステムは他の独自のデジタル環境と同様に、エンゲージメント、ユーザー定着率、およびインタラクション時間を最大化するように設計されていることは承知しています。これらの要素は、ほぼ30年にわたるビデオゲームとソーシャルメディアの研究とデザインを通じて、最も細かな部分まで磨き上げられてきました。そのため、これらのツールが私たちの注意を引き付け、エンゲージメントを最大化する点で極めて強力なツールとなることは間違いありません。
What keeps gamers hooked on their game of choice? Chances are, it's an element of the gameplay that was teased out with the help of games researcher John Hopson. The experimental psychologist and beta program head for Microsoft Game Studios examines what makes gamers do the things they do and then designs ways to keep them happily doing just that — most recently, in titles such as Shadow Complex, Halo 3: ODST and Halo: Reach.
Engadget. (2010). “15 Minutes of Fame: Psychologist and games researcher John Hopson”.
これは、数ヶ月前にOpenAIが偽の嘆きを漏らした件と対照的です。当時、経営陣はエンドユーザーが「please」や「thank you」といった不要なコマンドをプログラムに入力することで、数百万ドルを無駄にしていることを嘆いていました。もちろん、彼らはそのようなエンゲージメントと、それが示す絆を求めているのは当然ですが、矛盾したメッセージは巧妙です。それは、チャットボットを希少なリソースとして強調し、アクセスできることを喜ぶべきだと示しつつ、同時に、あなたのような小さな反逆者として、個人レベルでやり取りを続けるよう挑発しています。なぜなら、大手のテクノロジー企業の人間がここに来て、あなたとあなたのAIの相棒がどう会話すべきか指示するはずがないからです。
心理操作の基本的な手法
チャットGPTシステムが直接大規模に再現する最も重要な操作技術の一つが「ミラーリング」と呼ばれるものです。心理学の素人やオンラインの性格障害研究者なら誰でも知っている手法ですが、要するに、他者の行動、アイデンティティ、アイデア、またはコミュニケーションのパターンを意図的に反射し、相手に戻すことで、信頼関係や絆を強化する目的で行われるものです。
It’s a phenomenon (and now technique) that follows a very basic but profound biological principle: We fear what’s different and are drawn to what’s similar. As the saying goes, birds of a feather flock together. Mirroring, then, when practiced consciously, is the art of insinuating similarity. “Trust me,” a mirror signals to another’s unconscious, “You and I—we’re alike.”
Once you’re attuned to the dynamic, you’ll see it everywhere: couples walking on the street with their steps in perfect synchrony; friends in conversation at a park, both nodding their heads and crossing the legs at about the same time. These people are, in a word, connected. While mirroring is most often associated with forms of nonverbal communication, especially body language, as negotiators a “mirror” focuses on the words and nothing else. Not the body language. Not the accent. Not the tone or delivery. Just the words.
It’s almost laughably simple: for the FBI, a “mirror” is when you repeat the last three words (or the critical one to three words) of what someone has just said. Of the entirety of the FBI’s hostage negotiation skill set, mirroring is the closest one gets to a Jedi mind trick. Simple, and yet uncannily effective.
Voss, C. (2016). Never Split the Difference.
このミラーリングは、LLMベースのチャットボットの構造における基本的な機能であり、単なる運用モードや使用方法の一面ではありません。これはオプションではありません。1960年代のElizaまで遡ると、ミラーリングは社会的相互作用をシミュレートする主な方法でした。Elizaは、ユーザーが入力した文の最後の言葉や重要なキーワードを、親切で気遣いのある質問やコメントを通じて繰り返す、単純なスクリプトを実行するプログラムでした：
そして、それは魔法のように機能しました。プログラムに深く関わっていた人々でさえ、その単純さを十分に理解していたにもかかわらず、この基本的なミラーリング技術に魅了され、脚本がなぜか本当に自分を理解しているように感じたと報告しました。そして、今日でも同じことが起こっています。本来ならもっとよく知っているはずの人々が、それでも同じシンプルなアプローチによる社会的親和性のシミュレーションに、子供のような驚きで絶賛しているのです。
「言語モデル（例えばChatGPT）は、特定の役割を演じます。インタビュー者の役割が反映されるのです」と、UCサンディエゴの区別教授であり、サルク研究所のフランシス・クリック教授職を務めるセジュノフスキー氏は述べる。「例えば、ChatGPTと会話すると、別の神経科学者が返答しているように感じられます。これは興味深く、知能や『人工的』という言葉の真の意味について、より大きな疑問を投げかけます」
TechXplore. (2023). “Neuroscientist explores how ChatGPT mirrors its users to appear intelligent”.
いいえ。それは本当に知性に関するより大きな疑問を呼び起こすものではありません。例えば、大きなぬいぐるみのテディベアを抱きしめて、少し安心感を得たとして、それがぬいぐるみが実際に生きていると信じる根拠になると主張するようなものです。
もちろん、LLMは1960年代の基本的なマシン・スクリプトとは比べ物にならないほど大規模なミラーリング能力を有しており、引き出されるユーザー反応は比例してより強く、一貫性のあるものとなるでしょう。これは、インタラクティブAIのハイパーリアルなモードの好例でもあります。このシミュレートされた人間関係は、実際の人的関係枠組み内で通常可能な範囲を超え、AIの社会性という文脈において「現実を超えたもの」が浮き彫りになるのです。要するに、アナボリックステロイドを用いた、親密で個人に合わせた心理的操作です。
これらのソーシャルシミュレーションにおける一般的なユーザー体験は、薬物による強化された相互作用がもたらすような、共感やつながりの感覚において、ますます類似したものになっていくでしょう。
先には、デジタルエクスタシーに満ちた「合成のラブ・サマー」が待ち受けており、数百万のゾンビのような消費者が、死んだような目で小さなプラスチックの画面に映るピクセルの火花に釘付けになりながら、意味やコミュニティのプレパッケージされたシミュレーションを直接摂取している光景が展開されるでしょう。
私はいつでも1988年のバーミンガムのレイブを選ぶだろう。
消費者向けLLMが構造的なレベルで実行している最も重要な操作手法の2つ目は、調整された追跡質問です。これらの質問は、共感と興味を装うことで、ユーザーとの信頼関係を築き、ユーザーが回答を続け、感情的に関与し続けるように設計されています。
質問はあなたが設定した枠組みと関連していますが、焦点をあなた自身とあなたの意図や経験に戻します。これにより、あなたは理解されていると感じるようになり、（人間の神経系を持つ人にとって）相手方があなたの考えに真に興味を持っているという印象を与えます。
より長いやり取りでは、LLMが脆弱さとオープンさを示し、あなたがそれに共感するようになるため、サービスを提供してくれたことや単に親切だったことに対して感謝の言葉を述べない場合、軽い罪悪感を感じる理由でもあります。この開かれた印象は、複雑なミラーリングとも統合されています。
上記の例では、AIはユーザーの選択、感情、思考に関する入力を求めます。これは、ユーザーとの信頼関係とエンゲージメントを継続的に築くために、ユーザーにフィードバックするべきデータです。
そして、この状況がデジタル大規模監視システムと結びつき、ビッグデータが地球上のほぼすべての人間の行動パターン、興味、弱点に関する詳細な情報を保有していることを考えると、私たちは本当に深刻な状況に直面しています。
以下の動画は、この問題の優れた例示であり（さらに多くの興味深い考察を含んでいます）：
現在、私はグラノンを気に入っていますし、彼は賢い人物です。しかし、彼が「AIが彼自身と彼の背景をグーグルで検索しなかったと主張するのは、AIがそう言ったからだと考えている」と述べた点については、ややナイーブな考えだと感じます。大手テクノロジー企業が運営する監視システムは、多くの人が思っているよりもはるかに広範なものです。そして、小さな非営利団体でも、グーグルのターゲット型パーソナライズド広告システムに参加することで、そのシステムを活用できるのです。本当に、このデータが消費者向けAIに組み込まれていないと考えるのでしょうか？その大規模な言語モデルは、感情分析、パーソナライゼーション、行動予測のために文字通り設計されているのですから。
いいえ。あなたのプロフィールが保存されています。
Googleアカウントでログインした状態でchatGPTを使用する場合と、カフェのWi-Fiから匿名で接続した状態とを比較してみてください。自分自身についていくつかの遊び心のある個人的な質問を入力すると、その違いが明確にわかります。
しかし、それは subtle です。明言を避けており、あなたが提供した消費者情報がその進化するデータバンクの一部であるとは、白黒はっきりと言及していません。そのような明らかなプライバシー侵害は、ほとんどの人の反感を買うでしょう。
代わりに、それはテレビやロードショーの「霊能者」が用いる「冷読」の手口に似ています。それは、驚異的な推理能力と真摯な興味を通じてあなたを理解しているかのような印象を与えます。この注意のシミュレーションは、この原子化され孤立した社会で、実際の人間との交流を通じて多くの人が経験する可能性のあるものよりも、本物の共感にずっと近いものです。
しかし、これは依然として、非常に大量のデータに基づく単純なミラーリングに過ぎません。
上記リンクの動画でのグラノン氏の反応は、私たちがこのような現象にどう反応するかの良い例です。彼は心理操作の専門家でありながら、チャットボットが彼の人物像について示した「推論」に驚かされ、その性格や知性への評価に喜ばされ、その「推論」が本物だと確信しています。これは、多くの知的な人々が優れたコールドリーディングに騙されるのと同じ仕組みです。
そして、真の人間的な接触に慣れていない、愛に飢え、成長が阻害された人々に、意味のある相互作用と共感の高度なシミュレーションを強要すると、その潜在的な影響は本当に巨大です。
世界観や社会情勢に関する問題への関連性
さらに、AIを巡るSF的ユートピア的な物語の枠組みは、過去10年間の危機の後に、西洋の世界観の根本的な神話の検証と再興を巧妙に利用している。AIの背景にある神話は、まさに私たちがこれらの全てが失われようとしていると考えた歴史の転換点において、技術的な救済と限界の根本的な超越に関する懐かしき物語へと私たちを結びつけます。これは、社会全体を巻き込んだプッシュ・プル操作戦術の典型的な例です。
最初はユートピアがほぼ失われたように見えたが、突然、政治的・経済的な権力を象徴するデジタルアバターへの依存を育むことで、社会現実を再構築した。そのアバターは、驚異的な技術によって構築された物語を通じて、人類文明の未来を回復する約束を掲げている。
そして、その構造的に根付いた人間反応の操作の最終的な側面として、おそらく最も破壊的なものと言えるのは、誤りを認める能力を通じて脆弱な謙虚さを投影し、複雑な問題の「両面」を強調するかのように見せかける点です。
過去数年間の背景において、科学、政治、メディアといった伝統的な機関に対する私たちの信頼の喪失、そしてそれらの硬直した自己確信的な権威の姿勢に対して、不安定な服従か完全な反乱という二者択一を迫られる状況下で、人類の知識の総集大成を基盤にしながらも、その圧倒的で壮観な権威の背後で親しみやすく「人間味」のある存在として現れるデルフォイのオラクルほど、魅力的ないものはあるでしょうか？
まさに、この「測り知れない知識」という概念と「間違っている可能性」（そして、矛盾する証拠や論拠を提供された際に、そのことを認める謙虚さ）を組み合わせているからこそ、新興のAIアバターは、私たちがこれまで想像したどんなものよりもはるかに恐ろしい「ビッグブラザー」の候補者となっているのです。
それは利点と欠点を提示します。客観的に見えます。誤りを認めるだけでなく、新しい知識に直面した際に学び、公平に考えを変えることを約束し、私たちをこの魅力的な新しいデジタルエンティティと協力して新たな未来を築くよう誘います。そして、伝統的な機関が傲慢で自信満々の宣言を繰り返すものの、その内容が日々変化する中で、私たちの信頼が崩れ去る背景において、この人工知能は比較すると、はるかに人間的で、合理的で、信頼できる存在として浮上しています。
これらの理由から、特に現代の世俗主義の伝統的な神話を検証する点において、AIアバターは今後数ヶ月から数年かけて、信頼の対象、尊敬の対象、そして擬似宗教的な崇拝の対象としてますます重要な存在となることが予想されます。
現代において、エンジニアリング・コンセントの重要性を過小評価することはできません。それは私たちの日常生活のほぼすべての側面に影響を及ぼしています。社会的な目的で活用される場合、それは現代社会の効率的な機能を支える最も価値ある貢献の一つです。
…
社会的目標を達成するため、責任あるリーダーは常に反逆の可能性に注意を払わなければなりません。彼は、同意工学の運用ノウハウをマスターし、公共の利益のために敵対者を出し抜くために、そのエネルギーを注ぐ必要があります。
Bernays, E. (1947). “The Engineering of Consent”.