ChatGPTは日本の医師国家試験を解くことができるか？

米国でChatGPTに米国医師資格試験問題を解かせたところ正解率は52～75％。合格ラインとされる60％前後に達したとのこと。日本の国試ではどうか？

ChatGPTをご存知でしょうか？、対話しながら回答を得る、新しいスタイルの生成系AIです。ある意味人間らしい受け答えで回答が得られるとあって100万ユーザー獲得までわずか5日と史上最速のスピードで利用され始めています。その衝撃は、マイクロソフトの検索エンジンbingでも搭載され、あのGoolgeの株価が下落、同種のAIの開発を最優先で進めているとされています。

米企業が開発した人工知能（AI）に米国の医師資格試験問題を解かせたところ正解率は52～75％で、合格ラインとされる60％前後に達したと米医療企業の研究チームが9日、科学誌プロス・デジタル・ヘルスに発表した。
via AIドクター誕生近い？　米医師試験、合格ライン｜共同通信

そんな中、ChatGPTで米国の医師資格試験問題を解かせたところ正解率は52～75％で、合格ラインとされる60％前後に達した、というニュースがありました。ここでいう米国の医師資格試験というのは恐らくUSMLEだと思います。これは「これだけ得点すれば全面監督下の実地トレーニングに出してもいいよ」という最低ラインの試験です。つまり、USMLEの合格=医師としての職能を保証するものでは全然ありません。

日本とは制度が異なるので単純な比較はできませんが、それでも頻出の医学知識に関してはChatGPTがかなり高い精度で回答するのは事実です。下手な医師よりよほど良くまとめたりします。ですが、頻度の低い医学知識は知ったかぶり的な誤答をします。現時点ではChatGPTの回答をうのみにするのは危険です。

日本の国試をChatGPTで解いてみる

日本の国試（医師国家試験）をChatGPTに解かせたらどうなるのか？と、好奇心が出てきます。さっそく先日行われた117回医師国家試験問題をいくつか試してみました。

こちらは117回国試のA問題2問目。正答は「a」と「e」ですが、ChatGPTさん、瞬時に回答します。しかも複数解答を選ばせるという問題の趣旨をしっかり理解しています。
しかし、ここで疑問が生まれます。ChatGPTさんは、なぜaとeを正答として選んだのでしょう？、続けて理由を質問してみます。

うぐぐっ、模範解答すぎてもはや何も言えません・・・
しかし、これでは他の回答が違うと判断した答えにはなりません。そこで、他の回答がなぜ違っているのか？、問うてみました。

なぜ間違った回答なのかも理由付きで回答してくれます。

つづいてE問題39問目です。文章問題はどうでしょうか？、こちらは「b」が正答です。2歳児とは言えコミュニケーションは大切。しかしこのような文章問題も比較的良好な回答返してきます。

このように、単に知識を問う問題であれば、理由（エビデンス）も含めて対話しながら回答を得ることが出来ます。国試は2日間にわたり実施され、出題総数は 500題と、精神的にもキツイ試験です。ChatGPTの出現は、単に過去問を解いて反復学習するという暗記に頼る方法が過去のものになると感じています。もちろん、全面的に正しいかと言えばNoです。ChatGPTの誤りを見抜くという点でも基礎的な理解が重要なことがわかります。