Googleの本気AI、Gemini登場！GPT-4を抜き人間の専門家を上回るパフォーマンスを示す

Googleが最大かつ高性能の AI モデル、Gemini を発表。

Gemini - Google DeepMind

Gemini is built from the ground up for multimodality — reasoning seamlessly across image, video, audio, and code.

Geminiは、画像、ビデオ、オーディオ、コードをシームレスに推論するマルチモダリティのために一から構築されています。

GeminiはChatGPTに代表されるLLM（大規模言語モデル）の一種。推論、マルチモダリティなどを備え、ChatGPT (GPT-4) と比較して、数学とコーディングの面で高いパフォーマンスを発揮している。実際デモ動画では高度な物理学の問題を解く様子や、手書きの絵を認識して、それが何であるかリアルタイムで会話する様子が公開された。

今後提供されるモデルは、Ultra、Pro、Nano の 3つが用意されており、Ultraが最も賢く、Nanoはモバイルデバイス向けとされる。特にGemini UltraはMMLUベンチマークで今まで独走していたOpenAI社のGPT-4を抜き初めて90%を超えたAIとして記録された。これは人間の専門家を上回るパフォーマンスとのこと。Googleの本気度がうかがえる。

Googleは今後Geminiを自社のアプリに直接統合していく予定。先行して公開しているGoogle Bardは中間グレードのProをファインチューニングしたバージョンを利用して公開されているのですぐに試すことができる。

加えてGemini APIは12月13日からGoogle AI Studioを通じて外部ベンダーに提供されるそう。2024年は、これらを組み込んだサービスなどが続々と登場すると予想される。

大規模自然言語モデル賢さベスト10

MMLU（Massive Multitask Language Understanding）は、事前学習で獲得した知識を評価するために設計された新しいベンチマーク。
このベンチマークは、より人間らしい評価が可能とされ人文科学、社会科学など、57の主題をカバーしており、初級から上級プロフェッショナルレベルまでの難易度があり、世界知識と問題解決能力の両方をテストする。
主題は、数学や歴史などの伝統的な分野から、法律や倫理などのより専門的な分野まで幅広く、文書分類、言語生成、感情分析、問題応答などを同時に解決することに用いることで、主題の粒度と広さから、モデルの盲点を特定するのに最適なベンチマーク。

引用元: MMLU Benchmark (Multi-task Language Understanding) | Papers With Code