この記事の公開は、たぶん一か月近く遅れてしまった。まず紙に書いたまま数週間が過ぎ、AIでスキャンしたところでブログのサイトがちょうど不具合を起こして、そのまままた数週間。それでも何とか解決できたので、もう気に病まなくて済む。 原文修正版(正確な書き起こし+AIによる推敲) 私は「反蒸留」を支持する人々は「三難」を解決しなければならないと考える。それはそれぞれ「喩えが的外れ、法を論じない、名が正しくない」である。 一、「喩えが的外れ」——類推の誤り 「喩えが的外れ」とは何か。「反蒸留」を支持する人々は、よく「宿題を写す」「カンニング」などを引き合いに出して、「蒸留」の違法性を論証しようとする。しかし、私に言わせれば、それこそが類推の誤りである。彼らの挙げる例では、宿題を写したりカンニングをしたりする者は、不正な手段によって自分の知識量に見合わない最終結果を手に入れるだけで、そこから実際に何かを学べるわけでもなく、試験の公平性などにも悪影響を及ぼす。一方、モデルの蒸留では、蒸留する側は実際に知識と能力を身につけており、ルールの公平性に悪影響を及ぼすこともない。これはむしろ、生徒が学ぶ場面により近い。教師(高性能モデル)が内容(訓練用コーパス)を出力し、生徒(より低性能のモデル)がそこから知識を学んで応用する、という構図だ。「反蒸留」を支持する人々の論理に従えば、世界中の誰もが「カンニングした者」の汚名を着せられてしまうではないか。 二、「法を論じない」——契約と約款 「生徒が教師から学ぶのは教師の同意を得ており、通常は相応の費用も払っているではないか」と反論する人もいるだろう。ならば、蒸留のプロセスを見てみよう。生徒の保護者(大規模モデルのユーザー)が教師(高性能モデルの事業者)に相応の費用(サブスクリプション料金)を支払い、生徒(小規模モデル)に教師の出力内容を学ばせている。これは正常な商取引の論理にかなっているではないか。それとも、とっくに存在している法規定を破り捨てて、一部の事業者の「覇王条項」が一方的に唱える「禁止条項」を後押ししなければならないというのか。これこそが「法を論じない」というものだ。 三、「名が正しくない」——ダブルスタンダードとロングアーム管轄 次に「名が正しくない」を見てみよう。一部の事業者に問いたい。彼ら自身のモデルが、かつてオープンソースモデルを「蒸留」したことがないとでも言うのか。今になって「恩を仇で返す」とは、笑止千万ではないか。ましてや、今日のAI大規模モデルの本質は、そもそも人類の知識の蒸留にほかならない。それなのに一部の「反蒸留」事業者は、一方で蒸留する者を非難しておきながら、他方では「読後即消去」という方法で法規制をかいくぐる。これほどダブルスタンダードが染みついていながら、さらに一部の政府機関は国内法を振りかざして他国に「ロングアーム管轄」を及ぼそうとする。まさに「司馬昭の心、路人皆知る」である。 補訂版(一) “改訂の説明: 原文の骨格と辛口の文体はそのままに、長い文のつながりを整え、「名正しからざれば則ち言順ならず」という古典の響きを強め、結びの言葉を補って首尾を呼応させ、勢いを増した。 「反蒸留」支持の三難を論ず AI大規模モデルの「知識蒸留」をめぐる論争は日増しに騒がしくなっている。私の見るところ、「反蒸留」を支持する人々が自説を筋の通ったものにしたいなら、まず「三難」を乗り越えなければならない。すなわち「喩えが的外れ、法を論じない、名が正しくない」である。 一に曰く「喩えが的外れ」——概念のすり替え、類推の誤り 「反蒸留」を支持する人々は、よく「宿題を写す」「カンニング」を引き合いに出して、技術としてのモデル蒸留に不道徳、ひいては違法のレッテルを貼ろうとする。しかし、この類推はまさに「鹿を指して馬と言う」ものだ。日常の経験では、宿題を写す者やカンニングをする者は、ごまかしの手段で自分の実力に見合わない偽りの結果を盗み取る。知識を本当に身につけたわけでもなく、選抜の仕組みの公平性を壊している。一方、モデル蒸留では、蒸留された「生徒モデル」は実際に重みを再構築し、論理を推論する能力を内面化しており、公開の評価で実力を正々堂々と試されている。ルールの公平性を壊したなど、どこから出てくる話か。これはむしろ、人間の教育の本来の姿により近い。教師(高性能モデル)が講義と解答(訓練用コーパス)を出力し、生徒(軽量モデル)がそこから方法を会得して、一を聞いて十を知る。もし「反蒸留」派の論理で押し進めれば、天下、師に学び、先人の著作から栄養を吸収する者は、みな「カンニングした者」の汚名を着せられてしまうではないか。 二に曰く「法を論じない」——契約を無視し、私的な覇権を立てる 「生徒が教師に学ぶには、教師の同意を得て、授業料も納めなければならない」と反論する人がいるかもしれない。それなら、モデル蒸留の実際のビジネス上の循環をじっくり見てみよう。開発者(いわば生徒の保護者)は、高性能モデルの事業者に、API利用料やサブスクリプション料金という現金を支払い、その計算資源と出力サービスを購入し、そのうえで自社モデルに推論の論理を学ばせている。金を渡し、情報サービスを受け取る。これは最も基本的な商取引・契約の論理にかなっているではないか。一歩譲って言えば、大手各社は自社の利用規約で「モデルの生成物について著作権を主張しない」と明言しておきながら、今度は一方的に作った「覇王条項」で、ユーザーが対価を払って得た出力内容の使い方を力ずくで奪おうとしている。現行の著作権法や契約法の原則はそっちのけで、公共の法理を一部の巨大企業の独占的な私利のために利用させようというのか。これが「法を論じない」というものだ。 三に曰く「名が正しくない」——ダブルスタンダード、露骨な横暴 古人は「名正しからざれば、則ち言順ならず」と言った。「反蒸留」の旗を高く掲げる一部の商業大手に問いたい。あなたがたは創業のころ、オープンソースコミュニティのコードやモデルをファインチューニングや蒸留に使わなかったことがあるのか。いまや羽が生え、高い壁を築くや、「恩を仇で返す」芝居を打ち始めた。笑止千万ではないか。ましてや、今日のAI大規模モデルの本質は、どれ一つとして、人類数千年の知の結晶とインターネットの公開コーパスに対する「超蒸留」でないものはない。一部の事業者は、一方で許可なく全ネットワークのデータを収集する際に「フェアユース」を叫び、元の訓練データの削除や「読後即消去」などの手段で著作権の追及を逃れようとする。他方では、他者が自社モデルの出力を学ぶと「知的財産の窃取」と大声で騒ぐ。ダブルスタンダードをここまで演じ尽くし、さらに一部の政治家と組んで、一国の家法で世界のオープンソース生態系と他国の技術発展に「ロングアーム管轄」を及ぼそうと企てる。このような振る舞いは、もはや技術倫理とは無関係であり、コンプライアンスの名を借りた技術独占の実践にほかならない。まさに「司馬昭の心、路人皆知る」である。 補訂版(二) “改訂の説明: もしこの文章を公開発表や討論、学術・業界交流に使うなら、反対側は往々にして「契約法における自由な合意」「合成データの商業的価値」といった角度から反論してくる。この版は、あなたの「三難」の枠組みのなかで、著作権の法理(思想と表現の二分法)と技術の進化史(合成データのフライホイール)の論拠を補い、文章を専門的なレベルで隙のないものにした。 大規模モデル「反蒸留」の三難を評す——喩えが的外れ、法を論じない、名が正しくない 近年、一部の大手クローズドソースの大規模モデル事業者は、「モデル知識蒸留(Knowledge Distillation)」に対して世論による包囲と約款による封鎖を展開している。しかし、技術の原理・法理の論理・業界の倫理という三つの次元から見ると、「反蒸留」を支持する立場は、実のところ自己矛盾を免れがたい「三重のジレンマ」、すなわち「喩えが的外れ、法を論じない、名が正しくない」に陥っている。 一、「喩えが的外れ」——「結果の不正」と「能力の習得」の混同 「反蒸留」を支持する人々は、大衆向けの喩えとして「宿題を写す」とか「カンニング」を好んで持ち出し、蒸留技術の非正当性を煽ろうとする。しかし、この類推は根底の論理からして完全に破綻している。 カンニングの本質は「労せずして得る結果の偽造」である。カンニングする者は能力を身につける過程をすっ飛ばし、自分の本当の実力に見合わない評価を盗み取る。技能を何一つ習得しないばかりか、選抜制度の信頼性を直接損なう。一方、モデル蒸留の本質は「名人の手本に基づく能力の内面化」である。蒸留の過程では、教師モデル(高パラメータモデル)が思考連鎖(CoT)と推論のパラダイムを出力し、生徒モデル(小パラメータモデル)がこれらの論理分布を学ぶことで、自身のニューラルネットワークの重みを最適化する。それは新しい問題を独立に解く汎化能力を本当に備えるだけでなく、計算コストを下げ、エッジAIの普及を進めるうえでも付加価値を生み出している。「魚を与えるのではなく釣り方を教える」という教育の過程を「カンニング」と貶めるのは、人類社会における名著の精読や先達への師事といった学習行為を、すべて「学術的剽窃」に仕立て上げるのと変わらない。 二、「法を論じない」——一方的な約款を法定の権利の境界より上位に置く 反対側がよく持ち出す二つ目の弁護は、商業契約である。「名高い師に学ぶのが妥当だとしても、師の同意は必要だ。事業者はすでにサービス規約(ToS)で、出力を競合モデルの訓練に使うことを禁じているのだから、蒸留は契約違反だ」と。この論調は一見もっともに見えるが、実は「法を論じない」という誤りに陥っている。つまり、一方的に作った格式の覇王条項で、現行の知的財産法の根本原則を骨抜きにしようとしているのだ。 まず、商業上の対価という点から見ると、開発者はAPIを通じてコーパスを取得し、すでにトークン数に応じた商業費用を十分に支払っており、標準的な「有償でのサービス購入」というループを完成させている。次に、著作権法の核心的な原則から見ると、法が保護するのは独創的な「表現」だけであり、その背後にある「思想、論理、アルゴリズム、推論方法」を独占するものではない。ましてや、現在の主流な司法実務では、純粋なAI生成コンテンツには著作権が認められないとする判断が一般的であり、大手各社も免責事項のなかで、出力コンテンツの利用権を有料ユーザーに譲渡していることが多い。事業者が出力テキストそのものについて排他的な法定の著作権すら持っていないのに、いったい何を根拠に、競争を制限する一方的な約款一枚で、他者がそこから「推論の論理」を学ぶことを禁じられるのか。もし巨大企業のサービス規約が無限に拡張し、法定の公正利用や独占禁止の原則の上に君臨するのを許すなら、それは正常な商取引の秩序と法治の精神を歪めることにほかならない。 三、「名が正しくない」——人類の共有地に身を置きながら「恩を仇で返す」所業に及ぶ 「反蒸留」の論調が最も人を納得させにくい点は、その唱道者自身の「名が正しくない」ことにある。 技術的な来歴から見ると、今日、どのクローズドソースの大規模モデルも「源なき水」から生まれたものはない。業界全体の大規模モデルは、本質的にみな、全人類の数千年にわたる文明の蓄積、オープンソースコミュニティのコード、そして世界のインターネット上の公開コーパスに対して行われた、前例のない「超蒸留」である。合成データ(Synthetic Data)が業界の標準装備となった今日では、大手事業者自身が新しいモデルを訓練する際にも、例外なくオープンソースモデルを含む多様なソースの生成データを交差利用して、データのクレンジングと能力の蒸留を行っている。 これらの事業者は、ネット上の著作物や個人データを収集するときには「全人類の技術進歩の促進」と「フェアユース」の旗を高く掲げ、元の訓練データの削除(読後即消去)という手段まで取って、司法の審査や著作権の出所追跡を逃れようとする。ところが、後発組やオープンソースコミュニティが有料のAPIを通じてその推論パラダイムを学び、その計算力の独占を崩そうとすると、今度は一転して知的財産の「守護者」を気取る。この「恩を仇で返す」ようなダブルスタンダードに、さらに一部の行政権力が国内法で世界の技術研究開発に「ロングアーム管轄」を及ぼそうとする動きが重なる。その根底にある論理は、とうに技術保護の範疇を離れており、既得権益者が技術の拡散経路を封じ、独占的な暴利のための堀を守ろうとするものにすぎない。これこそ「司馬昭の心、路人皆知る」である。
「反蒸留」を難じる三つの事柄
この記事の公開は、たぶん一か月近く遅れてしまった。まず紙に書いたまま数週間が過ぎ、AIでスキャンしたところでブログのサイトがちょうど不具合を起こして、そのまままた数週間。それでも何とか解決できたので、もう気に病まなくて済む。
原文修正版(正確な書き起こし+AIによる推敲)
私は「反蒸留」を支持する人々は「三難」を解決しなければならないと考える。それはそれぞれ「喩えが的外れ、法を論じない、名が正しくない」である。
一、「喩えが的外れ」——類推の誤り
「喩えが的外れ」とは何か。「反蒸留」を支持する人々は、よく「宿題を写す」「カンニング」などを引き合いに出して、「蒸留」の違法性を論証しようとする。しかし、私に言わせれば、それこそが類推の誤りである。彼らの挙げる例では、宿題を写したりカンニングをしたりする者は、不正な手段によって自分の知識量に見合わない最終結果を手に入れるだけで、そこから実際に何かを学べるわけでもなく、試験の公平性などにも悪影響を及ぼす。一方、モデルの蒸留では、蒸留する側は実際に知識と能力を身につけており、ルールの公平性に悪影響を及ぼすこともない。これはむしろ、生徒が学ぶ場面により近い。教師(高性能モデル)が内容(訓練用コーパス)を出力し、生徒(より低性能のモデル)がそこから知識を学んで応用する、という構図だ。「反蒸留」を支持する人々の論理に従えば、世界中の誰もが「カンニングした者」の汚名を着せられてしまうではないか。
二、「法を論じない」——契約と約款
「生徒が教師から学ぶのは教師の同意を得ており、通常は相応の費用も払っているではないか」と反論する人もいるだろう。ならば、蒸留のプロセスを見てみよう。生徒の保護者(大規模モデルのユーザー)が教師(高性能モデルの事業者)に相応の費用(サブスクリプション料金)を支払い、生徒(小規模モデル)に教師の出力内容を学ばせている。これは正常な商取引の論理にかなっているではないか。それとも、とっくに存在している法規定を破り捨てて、一部の事業者の「覇王条項」が一方的に唱える「禁止条項」を後押ししなければならないというのか。これこそが「法を論じない」というものだ。
三、「名が正しくない」——ダブルスタンダードとロングアーム管轄
次に「名が正しくない」を見てみよう。一部の事業者に問いたい。彼ら自身のモデルが、かつてオープンソースモデルを「蒸留」したことがないとでも言うのか。今になって「恩を仇で返す」とは、笑止千万ではないか。ましてや、今日のAI大規模モデルの本質は、そもそも人類の知識の蒸留にほかならない。それなのに一部の「反蒸留」事業者は、一方で蒸留する者を非難しておきながら、他方では「読後即消去」という方法で法規制をかいくぐる。これほどダブルスタンダードが染みついていながら、さらに一部の政府機関は国内法を振りかざして他国に「ロングアーム管轄」を及ぼそうとする。まさに「司馬昭の心、路人皆知る」である。
補訂版(一)
「反蒸留」支持の三難を論ず
AI大規模モデルの「知識蒸留」をめぐる論争は日増しに騒がしくなっている。私の見るところ、「反蒸留」を支持する人々が自説を筋の通ったものにしたいなら、まず「三難」を乗り越えなければならない。すなわち「喩えが的外れ、法を論じない、名が正しくない」である。
一に曰く「喩えが的外れ」——概念のすり替え、類推の誤り
「反蒸留」を支持する人々は、よく「宿題を写す」「カンニング」を引き合いに出して、技術としてのモデル蒸留に不道徳、ひいては違法のレッテルを貼ろうとする。しかし、この類推はまさに「鹿を指して馬と言う」ものだ。日常の経験では、宿題を写す者やカンニングをする者は、ごまかしの手段で自分の実力に見合わない偽りの結果を盗み取る。知識を本当に身につけたわけでもなく、選抜の仕組みの公平性を壊している。一方、モデル蒸留では、蒸留された「生徒モデル」は実際に重みを再構築し、論理を推論する能力を内面化しており、公開の評価で実力を正々堂々と試されている。ルールの公平性を壊したなど、どこから出てくる話か。これはむしろ、人間の教育の本来の姿により近い。教師(高性能モデル)が講義と解答(訓練用コーパス)を出力し、生徒(軽量モデル)がそこから方法を会得して、一を聞いて十を知る。もし「反蒸留」派の論理で押し進めれば、天下、師に学び、先人の著作から栄養を吸収する者は、みな「カンニングした者」の汚名を着せられてしまうではないか。
二に曰く「法を論じない」——契約を無視し、私的な覇権を立てる
「生徒が教師に学ぶには、教師の同意を得て、授業料も納めなければならない」と反論する人がいるかもしれない。それなら、モデル蒸留の実際のビジネス上の循環をじっくり見てみよう。開発者(いわば生徒の保護者)は、高性能モデルの事業者に、API利用料やサブスクリプション料金という現金を支払い、その計算資源と出力サービスを購入し、そのうえで自社モデルに推論の論理を学ばせている。金を渡し、情報サービスを受け取る。これは最も基本的な商取引・契約の論理にかなっているではないか。一歩譲って言えば、大手各社は自社の利用規約で「モデルの生成物について著作権を主張しない」と明言しておきながら、今度は一方的に作った「覇王条項」で、ユーザーが対価を払って得た出力内容の使い方を力ずくで奪おうとしている。現行の著作権法や契約法の原則はそっちのけで、公共の法理を一部の巨大企業の独占的な私利のために利用させようというのか。これが「法を論じない」というものだ。
三に曰く「名が正しくない」——ダブルスタンダード、露骨な横暴
古人は「名正しからざれば、則ち言順ならず」と言った。「反蒸留」の旗を高く掲げる一部の商業大手に問いたい。あなたがたは創業のころ、オープンソースコミュニティのコードやモデルをファインチューニングや蒸留に使わなかったことがあるのか。いまや羽が生え、高い壁を築くや、「恩を仇で返す」芝居を打ち始めた。笑止千万ではないか。ましてや、今日のAI大規模モデルの本質は、どれ一つとして、人類数千年の知の結晶とインターネットの公開コーパスに対する「超蒸留」でないものはない。一部の事業者は、一方で許可なく全ネットワークのデータを収集する際に「フェアユース」を叫び、元の訓練データの削除や「読後即消去」などの手段で著作権の追及を逃れようとする。他方では、他者が自社モデルの出力を学ぶと「知的財産の窃取」と大声で騒ぐ。ダブルスタンダードをここまで演じ尽くし、さらに一部の政治家と組んで、一国の家法で世界のオープンソース生態系と他国の技術発展に「ロングアーム管轄」を及ぼそうと企てる。このような振る舞いは、もはや技術倫理とは無関係であり、コンプライアンスの名を借りた技術独占の実践にほかならない。まさに「司馬昭の心、路人皆知る」である。
補訂版(二)
大規模モデル「反蒸留」の三難を評す——喩えが的外れ、法を論じない、名が正しくない
近年、一部の大手クローズドソースの大規模モデル事業者は、「モデル知識蒸留(Knowledge Distillation)」に対して世論による包囲と約款による封鎖を展開している。しかし、技術の原理・法理の論理・業界の倫理という三つの次元から見ると、「反蒸留」を支持する立場は、実のところ自己矛盾を免れがたい「三重のジレンマ」、すなわち「喩えが的外れ、法を論じない、名が正しくない」に陥っている。
一、「喩えが的外れ」——「結果の不正」と「能力の習得」の混同
「反蒸留」を支持する人々は、大衆向けの喩えとして「宿題を写す」とか「カンニング」を好んで持ち出し、蒸留技術の非正当性を煽ろうとする。しかし、この類推は根底の論理からして完全に破綻している。
カンニングの本質は「労せずして得る結果の偽造」である。カンニングする者は能力を身につける過程をすっ飛ばし、自分の本当の実力に見合わない評価を盗み取る。技能を何一つ習得しないばかりか、選抜制度の信頼性を直接損なう。一方、モデル蒸留の本質は「名人の手本に基づく能力の内面化」である。蒸留の過程では、教師モデル(高パラメータモデル)が思考連鎖(CoT)と推論のパラダイムを出力し、生徒モデル(小パラメータモデル)がこれらの論理分布を学ぶことで、自身のニューラルネットワークの重みを最適化する。それは新しい問題を独立に解く汎化能力を本当に備えるだけでなく、計算コストを下げ、エッジAIの普及を進めるうえでも付加価値を生み出している。「魚を与えるのではなく釣り方を教える」という教育の過程を「カンニング」と貶めるのは、人類社会における名著の精読や先達への師事といった学習行為を、すべて「学術的剽窃」に仕立て上げるのと変わらない。
二、「法を論じない」——一方的な約款を法定の権利の境界より上位に置く
反対側がよく持ち出す二つ目の弁護は、商業契約である。「名高い師に学ぶのが妥当だとしても、師の同意は必要だ。事業者はすでにサービス規約(ToS)で、出力を競合モデルの訓練に使うことを禁じているのだから、蒸留は契約違反だ」と。この論調は一見もっともに見えるが、実は「法を論じない」という誤りに陥っている。つまり、一方的に作った格式の覇王条項で、現行の知的財産法の根本原則を骨抜きにしようとしているのだ。
まず、商業上の対価という点から見ると、開発者はAPIを通じてコーパスを取得し、すでにトークン数に応じた商業費用を十分に支払っており、標準的な「有償でのサービス購入」というループを完成させている。次に、著作権法の核心的な原則から見ると、法が保護するのは独創的な「表現」だけであり、その背後にある「思想、論理、アルゴリズム、推論方法」を独占するものではない。ましてや、現在の主流な司法実務では、純粋なAI生成コンテンツには著作権が認められないとする判断が一般的であり、大手各社も免責事項のなかで、出力コンテンツの利用権を有料ユーザーに譲渡していることが多い。事業者が出力テキストそのものについて排他的な法定の著作権すら持っていないのに、いったい何を根拠に、競争を制限する一方的な約款一枚で、他者がそこから「推論の論理」を学ぶことを禁じられるのか。もし巨大企業のサービス規約が無限に拡張し、法定の公正利用や独占禁止の原則の上に君臨するのを許すなら、それは正常な商取引の秩序と法治の精神を歪めることにほかならない。
三、「名が正しくない」——人類の共有地に身を置きながら「恩を仇で返す」所業に及ぶ
「反蒸留」の論調が最も人を納得させにくい点は、その唱道者自身の「名が正しくない」ことにある。
技術的な来歴から見ると、今日、どのクローズドソースの大規模モデルも「源なき水」から生まれたものはない。業界全体の大規模モデルは、本質的にみな、全人類の数千年にわたる文明の蓄積、オープンソースコミュニティのコード、そして世界のインターネット上の公開コーパスに対して行われた、前例のない「超蒸留」である。合成データ(Synthetic Data)が業界の標準装備となった今日では、大手事業者自身が新しいモデルを訓練する際にも、例外なくオープンソースモデルを含む多様なソースの生成データを交差利用して、データのクレンジングと能力の蒸留を行っている。
これらの事業者は、ネット上の著作物や個人データを収集するときには「全人類の技術進歩の促進」と「フェアユース」の旗を高く掲げ、元の訓練データの削除(読後即消去)という手段まで取って、司法の審査や著作権の出所追跡を逃れようとする。ところが、後発組やオープンソースコミュニティが有料のAPIを通じてその推論パラダイムを学び、その計算力の独占を崩そうとすると、今度は一転して知的財産の「守護者」を気取る。この「恩を仇で返す」ようなダブルスタンダードに、さらに一部の行政権力が国内法で世界の技術研究開発に「ロングアーム管轄」を及ぼそうとする動きが重なる。その根底にある論理は、とうに技術保護の範疇を離れており、既得権益者が技術の拡散経路を封じ、独占的な暴利のための堀を守ろうとするものにすぎない。これこそ「司馬昭の心、路人皆知る」である。