WSU が主導した調査によると、ChatGPT のような AI は多肢選択式の金融ライセンス試験では優れた成績を収める一方で、複雑で特殊なタスクには苦戦することがわかりました。調査結果から、AI は金融専門家の代わりというよりは、補助ツールとしての方が適していることがわかります。
ChatGPT のような人工知能システムがさまざまな業界に浸透するにつれ、ワシントン州立大学が主導した最近の研究では、AI が人間の金融専門家に取って代わる能力には大きな限界があることが浮き彫りになっています。
研究、 公表 Financial Analysts Journal に掲載された研究では、AI 言語モデル BARD、Llama、ChatGPT からの金融試験問題に対する 10,000 件を超える回答を分析しました。
研究者であるワシントン州立大学カーソン経営学部の財務学准教授ドナルド(DJ)フェアハースト氏とクレムソン大学ウィルバー・O・アン・パワーズ経営学部のビル・ショート財務学准教授ダニエル・グリーン氏は、正しい答えだけでなく詳細な説明も求め、人間の専門家と比較したAIの理解力と推論力を評価しました。
「認定試験に合格するだけでは十分ではありません。これらのモデルが実際に何ができるのかを知るには、さらに深く掘り下げる必要があります」とフェアハースト氏は述べた。 ニュースリリース.
ChatGPT、特に有料版の 4.0 は、正確で人間のような回答を提供するという点で優れたパフォーマンスを示しましたが、より特殊なシナリオでは依然として不十分でした。
「インターネット上で長い間、適切な説明がなされてきた幅広い概念については、ChatGPT はそれらの概念をうまく統合することができます。しかし、それが特定の、特異な問題である場合、それは本当に苦労するでしょう」とフェアハースト氏は付け加えた。
この調査では、金融専門家が実際に行っている業務を再現したシリーズ6、7、65、66など、さまざまなライセンス試験の問題が使用されました。AIモデルは、証券取引や市場動向の監視などの分野で高い精度を示しました。しかし、顧客の保険適用範囲や納税状況の判断など、より複雑な問題では苦戦しました。
フェアハースト氏とグリーン氏はまた、正しい応答と説明の例を提供することで ChatGPT 3.5 を微調整する実験を行い、精度が大幅に向上し、ChatGPT 4.0 に匹敵するようになりました。
研究は継続しており、ワシントン州立大学の博士課程の学生アダム・ボズマン氏を含むチームは、合併取引の可能性の評価など、他の財務タスクについても調査している。ChatGPT のトレーニング データは 2021 年 XNUMX 月までしかなく、その日以降に行われた取引の既知の結果に対してテストを行っている。初期の結果では、AI モデルはこの領域では期待どおりに機能しないことが示されており、AI が複雑な財務上の意思決定にはまだ対応できていないという考えが再確認されている。
これらの調査結果の意味は、AI は強力なツールではあるものの、経験豊富な金融専門家に取って代わるのではなく、支援するために最も効果的に活用されることを示唆しています。
「ChatGPTが金融業界の仕事を完全に奪ってしまうのではないかと心配するのは時期尚早だ」とフェアハースト氏は付け加えた。
しかし、AIの台頭により、投資銀行の初級職の構造が変化する可能性があります。
「ジュニアアナリストとして大勢の人材を採用し、競争させ、勝者を維持するというやり方は、コストがかなり高くなります。そのため、こうしたタイプの仕事は減少するかもしれませんが、それは ChatGPT がアナリストよりも優れているからではなく、ジュニアアナリストにもっと単純な作業を依頼してきたからです」とフェアハースト氏は付け加えた。
AI が進化し続けるにつれ、金融分野における AI の役割に関する議論は間違いなく続くでしょう。この研究は、専門職における ChatGPT などの AI テクノロジーの可能性と限界の両方を理解する上で重要な一歩となります。