2023年6月14日から15日にかけて開催された「Developer eXperience Day 2023」（主催：日本CTO協会）。3000名超の視聴者を集めた本カンファレンスでは、「Developer eXperience（開発者体験）」をテーマに、日本を代表するCTOの講演をはじめ、産官学の有識者による講演がおこなわれました。今回は、日本CTO協会の藤倉成太理事（Sansan株式会社 技術本部 海外開発拠点支援室 室長）によるオープニングセッション、東京大学大学院の松尾豊教授による基調講演を紹介します。

• 関連記事：NFTはエンジニアにとってこそ「大きなチャンス」｜イラストレーター登内けんじさん
• 関連記事：「離職率0（ゼロ）」を実現する、社員全員で行う採用活動とは？
• 関連記事：＜QAエンジニアが語る＞テスト会社のQAエンジニアは事業会社で活躍できない説

オープニングセッション

私からは、Developer eXperience Day 2023の開催背景や、われわれの思いについてお話しします。日本CTO協会は「DX」という言葉の2つの意味を大切にしています。Digital TransformationとDeveloper eXperience（開発者体験）です。このカンファレンスは後者のDX、つまりDeveloper eXperienceをテーマにしたものです。

「開発者体験」と一言で言っても、組織や人、技術、環境、文化など多くの要素が関係します。それらは私たち一人ひとりが主体的に考えることで改善できることがたくさんあります。本カンファレンスでは、さまざまな切り口から開発者体験をみんなで考える場を提供できればと思っています。 

われわれ日本CTO協会について紹介をさせてください。当会はCTO経験者たちの互助会のようなかたちで、2013年頃からスタートし、2019年に一般社団法人となりました。現在、約800名の個人会員と、約100社の法人会員の皆さまとともに、さまざまな活動をおこなっています。今回のDeveloper eXperience Day 2023は、その中のイベントコミュニティ運営活動の一環として行っているものです。

活動を進める中、私たちの可能性を考えるようになりました。つまり、企業経営の課題を解決するだけでなく、日本社会全体に目を向ける必要があると感じたのです。そこで、昨年の2022年に日本CTO協会は新たなミッション、ビジョン、バリューを作成しました。

日本CTO協会のミッションは「テクノロジーによる自己変革を日本社会の当たり前にする」ことです。テクノロジーによる自己変革の取り組みは、現在でも日本国内のさまざまな場所で行われていると思います。この取り組みを、参加している皆さんや協会のメンバーと一緒に日本社会の当たり前にしていきたいと考えています。

 日本CTO協会の前身は、スタートアップやベンチャー企業のCTOが集まるコミュニティでしたが、徐々にその範囲が広がり、大企業やエンタープライズ企業の方々も参画するようになりました。今後は国や行政との連携をいっそう強めていきたいと考えています。

私たちは、そうした行動を続ける皆さんにとって拠り所となるベースキャンプでありたいと考えています。それが日本CTO協会のビジョンです。世の中の変化のスピードは上がっており、企業や組織は自らの価値を提供するために挑戦しています。一つの成果にこだわることなく、次々と変化し続ける力や自己変革を成し遂げる力が重要だと考えています。しかし、これらの努力は一人や一社だけで成し遂げられるものではありません。お互いの知見を共有し、議論し、励まし合うことも重要です。私たちは、これからの行動に価値があると信じています。知識を共有し、考え、動き、そして失敗からも学ぶことで、未来に向けて進み続けることが重要です。

本カンファレンスでは「開発者体験」をテーマに、技術、環境、文化など、多様な側面をカバーしています。そして「Developer eXperience AWARD 2023」では、600名以上の開発者にアンケートを行い、開発者にとって働きやすい環境や組織文化を体現していると評価された30の企業がランキングにまとめ、ランキングの発表と表彰、受賞企業による特別トークセッションをおこないます。

これからも知識を共有し、考え、動き続けることで、未来に向けて進んでいくことが重要です。Developer eXperience Day 2023は、そのようなバリューに基づいた取り組みの一環となっています。知識の共有や互いの学び合いの場となることを願っています。

基調講演【ChatGPTという現象、 LLMが開いたAI時代と日本の戦略】 

 

生成AIの現状

今、生成AIは非常に注目を集めていますが、人工知能の分野自体はコンピュータができてすぐの時期には研究がスタートしています。そこから第1次、第2次AIブームがあり、2010年代から現在にかけてが第3次AIブームと位置付けられています。この中心となっているのがディープラーニングという技術。その背景にマシンパワーの向上やデータ量の増大があります。

人工知能という分野の中にマシンラーニング（機械学習）という領域があり、その中にディープラーニング（深層学習）という領域があります。生成AIはそのディープラーニングの中にあるという関係になっています。

生成AIは基盤モデルや大規模言語モデル（LLM）とも関連しますが、多少異なる概念です。生成AIは学術的には「生成モデル」として研究されており、データの生成過程に注目をしたモデルということで、画像認識や文書分類などの識別モデルと区別して呼んできました。

一方で基盤モデルという言い方もしますが、これは自然言語や画像などを事前に学習したモデルを用いて後続タスクに適用可能にしたもの。主に後述する「トランスフォーマー」が使われます。大規模言語モデルはこれを言語に限定し、大規模に学習させることを指した言葉。それぞれ微妙に意味合いが違うものです。

人工知能やそれぞれのモデルについて整理したところで、非常に重要な技術的ポイントを2つ紹介します。それは「トランスフォーマー」と「自己教師あり学習」です。トランスフォーマーはディープラーニングの技術の一つで、2017年に”Attention is all you need” （Vaswani et al）という論文で提唱されたモデルです。「アテンション」というニューラネットワークの中で特定の部分に注意を向けて学習させる機構があり、これを大規模かつ多層に使うと、非常に柔軟な処理が可能になるというものです。長距離の依存関係も取り出すことができ、次の挙動を柔軟に変えていくこともできるようになりました。

もう一つの自己教師あり学習は、たとえば自然言語処理の場合でいえば、途中までの文を読み込ませて事前学習をおこない、次の単語を予測するということをやります。予測問題を作ることで、次の単語をうまく当てるモデルができるわけです。そのためには単語だけではなく、文法構造やトピックのつながりという、背景知識などを学習する必要がある。そこでトランスフォーマーを使って大規模かつ多層でおこなったところ、精度が非常に上がりやすくなることがわかりました。そのため、この自己教師あり学習はトランスフォーマーと合わせて使われるようになったというのが、生成AIの現状です。

このような仕組みが有効であることがわかった中で登場したのが、2020年に開発されたGPT-3です。1750億のパラメーターを持ち、人間の質問に対して正確、知識による補完などもできるモデルです。ここで注目すべきは「スケール則」という考え方で、パラメータの数を増やせば精度が向上し続けるというものです。

従来、パラメーターの数が上がれば精度が上がるとは考えられておらず、適切なサイズであるべきだといわれていました。しかし、パラメーターの数を上げたところ、精度・性能の上昇を伴う不思議な現象が起きました。このようなスケール則が判明したからこそ、大規模化への競争が起きている。次々とより大きなものが開発されているのです。そのような中、2022年に公開されたのがChatGPT。2020年に研究者で話題になったことが一般化し、史上最速で1億ユーザに到達しました。

ChatGPTはGPT-3とGPT3.5をベースにしたサービスで、3つのステップで構成されています。1つ目が教師あり学習、2つ目が報酬モデルの学習です。これは「ちゃんとした回答をすると○をつける」といったように、人間が評価するもの。3つ目は強化学習というものです。これは人間の評価を参考にしながら報酬が最大になるように学習するものです。この強化学習が重要で、それまでは出力すると人にとって好ましくない発言をしてしまうリスクがありましたが、ChatGPTは強化学習によって倫理的にも配慮されたサービスになっています。

大規模言語モデルのポテンシャルは非常に大きいです。既存の「検索」というプロセスがなくなる可能性もあり、オフィス製品も多く変化すると考えられます。現状ではMicrosoftのCopilotなども登場し、現在の汎用的な言語モデルから目的特化の専用の言語モデルもでてくるでしょう。これは強化学習やファインチューニング、プロンプトエンジニアリングなどのやり方が考えられます。

このような大きな流れはホワイトカラーすべての仕事に影響が出てくると考えられています。実際、3月にOpenAIとペンシルバニア大学との共著で論文が出ましたが、とくに高賃金の職業や参入障壁の高い職業の影響が大きいとされています。

トランスフォーマーの発明と技術の進展、大規模化、そしてChatGPTという社会現象。この一連の流れには、研究者・技術者も驚いています。この数か月で、AIの使い方を全人類が体験しました。ある意味で私たちはこのような創発のプロセスに参加、あるいは巻き込まれるかたちとなり、未来が変わることを確信しました。これから社会全体が進んでいくでしょう。

日本の国内の議論や政治の動き、世界の動き

このような技術の進展と社会現象をみて、国も急ピッチで動いています。自民党でAIPT（AIの進化と実装に関するプロジェクトチーム）が発足。結果としてサム・アルトマンCEOと岸田首相の会談が実現しました。最新技術への動きとしてはかつてない対応の速さであり、すばらしいことだと思っています。

内閣府では「AI戦略会議」を立ち上げ、私が座長を務めています。論点として上がっているのは「リスクへの対応」と「AIの利用」についてです。リスクへの対応については、さまざまなリスクや懸念があり、とくに画像生成AIの学習に関して著作権侵害の声が出てきています。ルールと技術双方にきちんと対応していくことが重要です。AIの利用は行政でも積極的な活用が重要である一方で、国が注力すべきはAIインフラである計算環境の拡充とデータの整備です。LLM自体の開発や事業化は民間でスピード感を持って進めるべきだと考えています。

先日開催されたG7広島サミット2023でもAIに関する議論がなされ、広島AIプロセスがスタートしました。これはAIの仕組みやルール、社会づくりの議論を進めることの合意で、日本がリードしていくことになります。ここで重要になるのが、技術がわかった上で議論を進めなければならないこと。技術者が議論のプロセスに入っていくことが重要です。

文化庁では、AIと著作権の関係などについて資料が発表されました。この動きも非常に早いものですが、内容は大きくわけてAIの開発・学習段階と生成・利用段階の2つについて言及されています。

企業や組織はどう動くべきか

日本でも大企業を中心に生成AIを活用する仕組みづくりが進むと同時に、ChatGPTのAPIを活用したサービス開発も進んでいます。民間だけでなく行政でも動きがあり、たとえば横須賀市は全国の自治体で初めてChatGPTの活用実証を行っています。

一方で、LLM開発も進んでいます。現在はLINEやソフトバンク、NTTやサイバーエージェント、ABEJA等が開発に乗り出しています。

今後はこのような開発と並行し、国際競争力のある取り組みにどう繋げていくのかも重要になっていきます。1つのヒントは「バーティカルLLMの可能性」。これは汎用的な目的ではなく、ある目的に特化してつくられるLLMのことです。たとえばGoogleが開発した医療特化型LLM「Med-PaLM」というものがあります。基本的には大規模限言語モデルをファインチューニングするよりも特定分野に特化したLLMの方がより有益であると考えられているため、そのポテンシャルは高いといわれています。一方で注視しなければならないのは、より大きなLLMが来た際、そちらが勝ってしまう可能性もあるということです。ただし、その可能性はまだ未知数な段階であり、現状はさまざまなチャレンジをしていく必要があります。

現代は「第4次AIブーム」に入ったといってよいでしょう。そのような中で、日本のスピード感は悪くないと考えています。ぜひトライアルを続けてほしいと考えています。そして、こうしたことはCTOのみなさんがリードしていくものです。LLMはほぼすべての企業でコスト削減や業務の効率化を実現できるもの。どのような活用の仕方ができるのかを考えてみるのは重要で、どこに大きなビジネスチャンスがあるのかわかりません。現事業とまったく関係のない活用可能性も模索してみてほしいと思います。現在の事業にこだわるだけでなく、さまざまなトライアルをし、情報共有をしていってほしいと考えています。

 

（取材／文：川島大雅）

― presented by paiza