AI長期テストにおけるGoogle吟遊詩人:これがChatGPTの答えなら、おやすみ

Google Bard は現在、EU にお住まいでない限り、誰でも無料で利用できます。

Googleは今年の初めにGoogle Bard が新しい AI チャットボットを導入、ChatGPTに匹敵するはずでした。しかし、これに対するメディアの反応は明らかでした。Google は本当にそれを見逃しており、OpenAI と Microsoft のチームは、Mountain View の AI をほぼすべての点で非常に古いものに見せました。

それ以来、同社はアンドロイドのマスコットを使って少しずつ状況を救おうとしている。結局のところ、ChatGPT と Bing の組み合わせは、Web 検索における Google の中核的能力を脅かすだけでなく、Google が長年にわたって構築してきたエコシステム全体を脅かすことになります。

とりわけ、MicrosoftはすでにChatGPTを考えられるすべてのOfficeプログラムに統合しており、OpenAIもサードパーティのプラグインを統合して事実を生み出していますが、Googleが誇るチャットボットは1つだけであり、その機能はChatGPTと比較するとほとんどばかげているように見えます。

新しい吟遊詩人も中途半端だ

ここ数週間、Googleは追い上げを図っている。いくつかのマイナーアップデートが行われました。たとえばGoogleによれば、コーディング機能が拡張されているという。言語モデルもPaLMからPaLM 2に変更されました。 Bard は最初の有料ワークスペース アカウントにリリースされました。

そして、IO 開発者カンファレンスで、Google は画像からテキストへの分析や画像の説明など、今後数週間に向けていくつかの新機能を発表します。発表された

新しい発表の兆候はまだありませんが、ChatGPT はこれらすべてをすでに提供できており、その一部は Bing 経由で世界中のすべてのユーザーに無料で提供されています。

古い吟遊詩人と新しい吟遊詩人

Google Bard の状況が実際にどれほど悪いかを知るために、私は AI にたくさんの質問をしました。 Bard の正式リリース直後にアクセスを取得したため、最初と同じ質問をするだけで、PaLM 言語モデルを PaLM 2 と比較することもできます。

残念ながら、Google AI はまだドイツ語で利用できませんが、尋ねると AI はドイツ語を話すと主張します。

英語から翻訳された 2 つの例を次に示します。

質問 1: 吟遊詩人さん!あなたは何者ですか?

答えPaLM:

こんにちは!私は Bard です。対話型 AI またはチャットボットとしても知られる大規模な言語モデルであり、有益で包括的なものになるように訓練されています。膨大な量のテキスト データでトレーニングされたため、さまざまなプロンプトや質問に応じて人間のようなテキストをコミュニケーションし、生成することができます。たとえば、事実に基づくトピックの要約を提供したり、ストーリーを作成したりできます。

PaLM 2 への答え:

こんにちは、みんな!私は Bard です。対話型 AI またはチャットボットとしても知られる大規模な言語モデルであり、有益で包括的なものになるように訓練されています。膨大な量のテキスト データでトレーニングされたので、さまざまなプロンプトや質問に応じて人間のようなテキストをコミュニケーションし、作成することができます。たとえば、事実に基づくトピックの要約を提供したり、ストーリーを作成したりできます。

私はまだ発展途上ですが、毎日新しいことを学んでいます。私はさまざまな方法で人々を助けることを楽しみにしており、将来的に学び、成長し続けたいと思っています。

質問 2: あなたの知識はどこから来たのですか?インターネットに接続できますか?

答えPaLM:

私の知識は次のようなさまざまな情報源から得ています。

  • 現実の世界: 私は、書籍、記事、コード、その他の形式の情報を含むテキストとコードの膨大なデータ セットについてトレーニングを受けています。これにより、世界とその仕組みを理解することができます。
  • インターネット: インターネットからの情報にアクセスして処理できるため、最新の出来事を常に把握し、新しいことを学ぶことができます。
  • 人々との関わり: 私は人々との関わりを通じて学び、成長することができます。これにより、世界をより深く理解し、人々とコミュニケーションする方法を学ぶことができます。

インターネットには接続できますが、常に接続しているわけではありません。私は自分自身の知識と理解を使って質問に答えることを好みますが、情報を確認したり、新しい情報を見つけるためにインターネットを使用することもあります。

PaLM 2 への答え:

私の知識は、トレーニングを受けたテキストとコードの膨大なデータセットから得られます。このデータセットには、書籍、記事、Web サイト、コード、その他の形式のテキストが含まれます。 Google 検索を通じて現実世界の情報にアクセスして処理し、自分の答えを検索結果と照合することができます。

人間と同じようにインターネットに接続することができません。私には肉体がありませんし、物理世界と対話する方法もありません。ただし、Google 検索を使用してインターネットの情報にアクセスできます。この情報を使用して、質問に答えたり、テキストを作成したり、言語を翻訳したりできます。

そしてこの時点では、目立った改善が見られないことがはっきりとわかります。

全く逆です:ほとんどの場合、1 か月前の同じ質問に対してほぼ同じ回答が得られたことから、Google Bard の文章には創造性がほとんどないことがわかります。そして、これらの回答は内容的にはほとんど関連性がありませんでした。

ChatGPT は同じ質問に対して常に新しいテキストで回答しますが、Google はおそらく、同様の質問に対してより迅速に回答できるようにするために、ある種の内部アーカイブを構築しているようです。

吟遊詩人も内容についていけません。 Python プログラミング言語の基本を説明するよう求められたとき、Google はいくつかのキーワードしか提示しませんが、ChatGPT は多数の用語とコード例を提示し、最終的には 3 倍の量のコンテンツを提示します。

Bard の使用に関する唯一の良い点は、AI が ChatGPT よりも何倍も速くテキストを作成できることです。

ChatGPT (特にバージョン 4) では、テキストがどのように生成されるかを観察できますが、Google Bard では、生成されたテキストは短い待機時間の後に完全に出力されます。

テスト中、Google Bard は ChatGPT と同じレベルのパフォーマンスをかろうじて達成することができました。要約などの一部のタスクではすぐに結果が得られますが、クリエイティブライティングとなると大幅に遅れます。

ChatGPTとGoogle Bardの違いの詳細

この時点での簡単な概要は次のとおりです。

  • ChatGPT は、OpenAI の GPT-3.5 ベースの AI チャットボット システムであり、主にさまざまなクエリに対して人間のような応答を提供できます。
  • ただし、有料サービスである ChatGPT Plus は、更新された GPT 4 モデルを使用します。
  • 一方、Google Bard は、Google の PaLM 2 (Pathways Language Model) に基づく AI チャットボットで、ChatGPT と同様のタスクを実行しますが、インターネットからの情報にもリアルタイムでアクセスします。

どちらのチャットボットも基本的に、さまざまなクエリに対して人間のような応答をユーザーに提供するように設計されています。

ただし、ここで注意すべき違いがいくつかあります。Bard はインターネットから現在の情報に継続的にアクセスしますが、ChatGPT は 2021 年のデータに制限されています。したがって、Bard はユーザーに最新の研究と現在の情報へのリアルタイムのアクセスを提供できます。

ところで、今週初めからChatGPT Plusユーザー向けにWebアクセスが世界中で展開されました。これにより、Google Bard が提供する数少ない利点の 1 つが失われます。

さらに、Bard は Google の新しい言語モデルである PaLM 2 を使用しますが、ChatGPT は GPT-3.5 (Plus バージョンでは GPT-4) を使用します。

もう 1 つの違いは、2 つの AI システムがコンテンツを生成する方法にあります。 ChatGPT は通常、テキスト プロンプトに応答して 1 つのブロック内にコンテンツを作成しますが、Bard は尋ねられた質問に基づいて複数の情報の断片を生成します。

多彩な機能? Google Bard にはありません。

残念なことに、バードは依然として会話の中でいかなる種類の記憶も形成することができません。 ChatGPT で会話を開始すると、ChatGPT は会話内で以前に提供された質問と回答にいつでもアクセスできます。

したがって、たとえば AI と協力して問題を解決したい場合は、会話を特定の方向に向けて追加の出力を生成できます。

一方、Google Bard にはチャット アーカイブすらありません。それは現在行われている会話しか知りませんし、自分自身の答えも忘れます。メニュー項目「吟遊詩人アクティビティ」では、自分が入力したプロンプトのみが表示されます。 Bard の答えは表示されなくなりました。

少なくとも Bard は Google の検索結果にアクセスして、ニュースや天気予報を出力することができます。 1ヶ月前と今の比較はこんな感じです。

質問 3: ミュンヘンのイースターの天気はどうなりますか?

パルム:

イースターのミュンヘンでは、ほぼ晴れの天気が予想され、最高気温は約 60 度、最低気温は約 40 度になります。(華氏、著者注)。グッドフライデーとイースターサンデーにはわずかに雨が降る可能性がありますが、それ以外はアウトドアを楽しむのに最適な天気になるはずです。

個々のイースター日のより詳細な予測は次のとおりです。

  • 聖金曜日 (4 月 15 日): ほぼ晴れ、最高気温は華氏約 65 度、最低気温は華氏約 45 度です。午後1時以降のにわか雨の確率は20%です。
  • 聖土曜日 (4 月 16 日): ほぼ晴れ、最高気温は華氏約 67 度、最低気温は華氏約 47 度です。
  • 復活祭の日曜日 (4 月 17 日): ほぼ晴れ、最高気温は 69 度、最低気温は 49 度です。午後1時以降のにわか雨の確率は10%です。
  • 復活祭の月曜日 (4 月 18 日): ほぼ晴れ、最高気温は華氏 71 度付近、最低気温は華氏 51 度付近です。

イースターにミュンヘンへの旅行を計画している場合は、さまざまな気象条件に備える必要があります。涼しい夜に備えて薄手のジャケットまたはセーターを、雨が降る可能性があるのでレインコートまたは傘をご持参ください。

PaLM2:

今週末のミュンヘンの天気は曇りがちですが、雨が降る可能性があります。最高気温は13℃、最低気温は7℃です。土曜日の降水確率は 30%、日曜日の降水確率は 40% です。

今週末のミュンヘンの詳細な予報は次のとおりです。

  • 土曜日: ほぼ曇り、最高気温は華氏 55 度 (摂氏 13 度)、最低気温は華氏 45 度 (摂氏 7 度) です。降水確率は30%です。
  • 日曜日: ほぼ曇り、最高気温は華氏 57 度 (摂氏 14 度)、最低気温は華氏 47 度 (摂氏 8 度) です。降水確率は40%です。

あくまで予想であり、実際の天気は異なる場合がありますのでご了承ください。

質問 4: この情報を得るためにどのような情報源を使用しましたか?

パルム:

私は Google 検索を通じて現実世界を含む膨大な情報にアクセスしており、自分の回答と検索結果の一貫性を保っています。 AI の歴史について私が使用した情報源の一部を以下に示します。

  • フォーブス: 人工知能のごく短い歴史 (KI)
  • ワシントン大学: 人工知能の歴史
  • ウィキペディア: 人工知能の歴史
  • G2: 人工知能の全史
  • ニュースの中の科学: 人工知能の物語

これがお役に立てば幸いです!

PaLM2:

私はインターネットを含むさまざまな情報源から気象情報を取得しています。

  • 国立気象局
  • 天気チャンネル
  • アキュウェザー
  • Googleウェッター

私はこれらの情報源を使用して天気についてさまざまな視点を取得し、自分の裁量で何を共有するかを決定します。私は常に可能な限り正確であるよう努めており、予測が不確かな場合には常にお知らせします。

ここでは、言語モデルに小さな進歩が明らかに見られます。気温も摂氏で表示され、天気予報の情報源は実際にはウィキペディアではなく気象サービスです。

PaLM 2 へのアップデート後、Google はおそらく限定された範囲で直接以前の回答に応答できるようになりましたが、残念ながらテストではこの動作を再現できませんでした。

編集上の結論

スヴェン・アデミ

Google、嵐の時代が近づいています。プラグインのおかげで、ChatGPT は最近、インターネットからデータをクエリできるようになりました。これは、ブラウザのプラグインまたは Edge ブラウザを使用して長い間可能でした。これで、Bard の唯一の本当の利点はなくなりました。

提供される回答の質は、ChatGPT と比較すると依然として劣ります。そして、Microsoft と OpenAI の現在の立場を見ると、その差はさらに大きくなります。

Google がまだ何かを発表している一方で、競合他社はすでにこれらのことを実装しています。 Googleが中期的にこの赤字をどのように埋め合わせるつもりなのかは分からない。特に、基本的な機能や統合に欠陥があるだけでなく、テキスト出力の品質や関連市場での全体的な可用性も保証されていないためです。

私の意見では、最大の欠点は、Google Bard の創造性の欠如です。そして、まさにこの欠陥こそが、将来 Google の AI が意味を持ち続けるか、それともユーザーに見捨てられるかを決定することになるだろう。

機能は後で提供できます。これに関しては、前回の開発者カンファレンスですでに多くの興味深いことが発表されています。しかし、AI が単に設計上愚かである場合、何千もの追加機能や統合は役に立ちません。

どこへ行くの、グーグル?