人間のあるべき姿の探索

思索・人形・エンジニアリング

Frustratingly Fuzzy Symbol Representations in Real World Modeling

以前から記号接地について興味があったが,ここ最近どうやら一つの言語の多義性や意味の曖昧性といった事象に対して敏感になり,それらを原因とする問題を見るたびに耐えがたいストレスを感じているらしい*1.あくまでメモ程度だが,自分の記号の理解の仕方と私見を述べようと思う.

言語の曖昧性について

言語の曖昧性といってもいろんなものが考えられる.表現については齟齬がありそうだが,僕が気になったものを挙げると,

  • 全ての物事に共通しないこと:例えばりんごの定義を考えると,”赤い”とか”丸い”とか色々考えられるが,赤くないリンゴもあり,丸くないリンゴもまぁ作ろうと思えば作れるだろう.また,ジェンダーに関する認識もそうであり,意味が時間的に流動的な記号もこの性質を持つと思う.
  • 定義の決定が難しいもの:死の定義は色々あるが,一応概ね不可逆なものという認識がある.この不可逆を定義して,医療現場について詳しくないのであれだが,医者の方は死亡を判断する.基本的に死亡したと判断された方は息を吹き返すことはないが,ごくまれに吹き返す例がある*2.吹き返すというか,観測の不完全さや判断ミスの可能性もあり医者が定義に基づいた判断を下せなかった可能性があるが,不可逆の定義が不完全だった為に息を吹き返した可能性がある.この定義は科学の進歩によって更新されうるが,少なくとも現在定義の決定が難しい為に現実に即していない,ということがある.
  • 観測主体ごとの認識の違い:僕は”人形”という単語を聞いたときにビスクドールやアンドロイド,そして人の形をしていないものを思いつく.しかし,他の人が人形について考えたとき,例えば日本人形や操り人形といった違うものを思い浮かべるだろう.物事の経験や認識の仕方が異なるだけなのだが,これによって齟齬が生じる.僕がビスクドールの造形を思いながら「人形は美しい」といったときに,操り人形の印象が強い人はその印象から「操られた存在なんて汚い」と言いかねない.
  •  多義性:一つの記号に対して二つ以上の意味が存在すること.しかしこれはりんごの曖昧性とは少し趣向が異なる為,別の項目にした.まず,例を挙げると英単語のbankは日本語でいうところの銀行の他に,岸とか色んな意味がある.りんごの曖昧性は一つの対象に対する定義が定まらない事を示すが,多義性は齟齬を許して言い換えるのであれば一つの記号に対して,”二つ以上の記号で表されるべきもの”が割り当てられていると表現すれば良いのだろうか. 

分析フェミニズム哲学というものがあるらしい

りんごのような意味の曖昧なものを解釈する際の方法として,いくつかの方法が以前から存在していることは知っていた.例えば,共通する要素のみを抽出する方法がある.”赤いことは全てのりんごに共通する”というやり方だ.これは例外の存在からすでに否定されている.これは家族的類似によって「部分的に共通する特徴によって全体が緩くつながっているに過ぎない」と指摘されている*3

こういった問題を具体的に考えている(,と僕が感じた)物事として分析フェミニズム哲学があるらしく,「人工物がジェンダーを持つとはどのようなことなのか」という文章に出会ったことでその概念を知った.

http://www.ritsumei.ac.jp/acd/re/k-rsc/hss/book/pdf/no120_13.pdf

この文章の主題は人工物のジェンダーについてで,問題やその解決のための指針についての分析を行っているが,これは分析フェミニズム哲学の派生として考えられる為,前提知識として分析フェミニズム哲学における議論が紹介されている*4

まず,ジェンダーにおいて女性が誰かという定義についてジェンダー本質主義という,女性や男性が何者であるかを特定できるという考え方があるらしい.

女性とは しかじかである、というを定義することで、女性であるための条件を認める ことになるからである。その結果、女性として人生を送っている人であるに もかかわらず、条件を満たさないがゆえに女性集団から排除されるという事 態が生じてしまう。 

そして,これに対して第二波フェミニズムと呼ばれる考え方が登場したらしい.

統計やインタビューを通じて、女性は自分が目指すべき理想の「女らしさ」が 家事、結婚、育児、性的な受動性などにあることを規範として身につけてい ることを指摘する。彼女の仕事には性別が法や制度上の問題にとどまらず、 女性が社会で活動することへのさまざまな障壁を指摘した点でフェミニストの運動においては価値があるものだ。

しかしこれは中流階級の白人のみに限定される上,女性全てに共通する項目が存在することを仮定してしまう. ”赤いことは全てのりんごに共通している”わけではない.こういった問題に対して,多様性やアイデンティティの複合性を認める為の考え方が第三波フェミニズムらしい.

ジェンダー についての普遍主義的本質主義は、文化相対的本質主義に帰着するだけのよ うに思われる(cf. Narayan, 1998)。そうだとすれば、結局のところ本質主義 に抵触せず語りうるのは個人の体験のみである、ということにもなるだろう。

しかしながら,これも文中で批判されている.というのも,個人の体験のみであり共通の性質を語ることができなければ(個人ではなく集団として)女性が誰であるかを特定することができない為,社会的な構造の性差別の問題を扱う際に不正を被る対象である人が誰であるか特定できなくなってしまう,らしい.

そこで登場したのがジェンダーの新実在論もしくは反反本質主義と呼ばれる立場らしい.今までの問題を要約すると,1.共通性質を持つという考え方は排他性を含む,2.個人のアイデンティティが多様な社会的性質から構成される複合性を損なっている,という2つである.

 

大方のあらすじは以上の通りであるが,それらの調停をできる方法が記述されていない為,Openな問題なのかもしれない.そして,この二つの問題は「全ての要素に共通ではない記号」一般について言えることなのではないかと思う*5

オントロジー

前項で曖昧性に対する問題が明確化されたが,排他性に対処する方法として,観測可能なものを全て記述しきることがあると考える*6.まず,本質主義を仮定するが,観測されたもの全てを書き出すことは理論上は可能だろう.

りんごが概ね赤いがたまに青いものが存在する為”赤い”と定義できないのであれば,”りんごが概ね赤いがたまに青いものが存在する”と記述する,思いつく全ての要素,[色,形,成長方法,根があるか,分類学的に何に含まれるのか,…]といった要素を書き切ることは可能である*7.要するに,観察において必要な観点から書けば良い.

この辺りの議論に詳しくないので誰かに聞きたいが,本質主義は時間変化を許すのだろうか.例えば時刻tにおいて共通の性質Aがあるが,時刻t+1には性質Aは消滅し新たな共通の性質Bが現れるといったことは可能なのだろうか.これが可能であれば時刻tごとに要素を記述することを許せる.

僕は本質主義をほぼ全く知りません.なので,適当なことを書いていることに留意してください.

さらに,分析によって新たに得られた知見を記述に使用する.

例えば人工知能ダートマス会議で人工知能と呼ばれたとき,その方法の例としてはニューラルネットワーク自然言語処理,コンピュータといったものが存在していたと思われるが,現在ではその分類の様相も変わっている.

以下は現在の人工知能研究のMapである.

https://www.ai-gakkai.or.jp/pdf/aimap/AIMap_JP_20190606b.pdf

認知科学・問題解決・知識推論・学習といった段階ごとの分類や,さらにその中の詳細な分類も記述され,例えば認知科学ならニューラルネットワークや計算論的神経科学,知識推論であればスケジューリングやHuman Agent Interactionといった分野が存在し,そこをさらに掘り下げることもできる.

こういった詳細な記述が可能となっていれば,広く全体を指す場合に”人工知能”と呼び,特定の要素に関しては語弊のある意味の広い表現を使わず,”機械学習”と呼んだり”エキスパートシステム”と呼んだり,適切なレベル感・観点から呼ぶことができる.

齟齬の発生

記号の意味の解釈は人によって異なるが,これが問題となるのは直接的にコミュニケーションをとる場合に限らず,間接的なコミュニケーションとして誰かの書いた本を読んだり人が解釈した記号を他の人が解釈する場合に起こりうる.そもそも完璧に意図を伝達できるコミュニケーションというものが人間にはとても高度である.

例えば考えられる方法として厳密な定義の記述が考えられる.数学はその定義が存在する.何に応用できるかとか派生する表現の捉え方は違うものの,定義に関しては(理解していれば)共通の意味を共有ことになる.僕の表現能力が悪いのが原因だが,これはトートロジーで共通の意味を共有できず齟齬が生じた場合少なくとも片方が理解できていない感じがしてしまう.数学の優位性をサポートする良い表現を見つけたい.

さて,なぜ完璧に意図を伝達できるコミュニケーションが難しいのか.これは二つ思い当たる節がある.まず一つ目に,数学のような厳密な論理的記述が多くの人間にとっては難しすぎることが挙げられる.そして,二つ目に複雑な事象の詳細な記述は骨が折れることが挙げられる.人工知能研究のMapを全て暗記して,さらに過去の研究の概観を掴むのは相当骨が折れるし,全ての物事でこれをやるのはほぼ不可能である.青いリンゴがあることを覚えておくくらいなら簡単だが,一人の人間が世の中の記述しうる全ての物事を全てしることはできない.その知識の差によって問題が生じる.

だいぶ大きな議論をしてしまったので現実的なことを考えると,各個人が持つ前提知識はある程度推論できる.例えば理工学部生なら(微積分の講義を履修している確率が高いので)微分の定義を知っているだろうとか,おしゃれな服を着ているのでファッションに詳しいだろう程度の推論ができ,相互適応することが可能である.問題となるのはその齟齬が解消されない場合である.知識の差が大きすぎて埋めきれない場合がある.例えば僕はプログラミングの知識を若干なりとも持っているが,その全てを初心者と共有するのはとても難しい.プログラミングを学んでくれれば良いが,頼んでも学んでくれない人もいる.その場合には溝が埋まらない.そういった問題が世界でたくさん起こっている気がする*8

Word2Vec的解釈,階層性・曖昧性・多義性について

ここ最近では上記の様な具体的な問題や考え方をしていたが,元々人間の話す言語を自然言語処理の手法によって記述することのみに興味があり,最初はオントロジーシソーラスといった具体的に記述する手法に興味があったが,Word2Vecを知って以来統計的な言語処理による記述に興味を持った.人間の使う言語にはしばしば非文や”正しい表現”からすれば間違った表現が生まれ変化していくが,これらを記述する際に人間が全てを書ききることが大変だから,そして”正しい表現”を仮定したくないからである.

まず,基本的なものを考える.まず,分布仮説について言及している文献より,*9

 単語の分散表現のアイデアは,1950年代に提案さ れた分布仮説8)に遡る.これは,「単語の意味はそ の単語の出現した際の周囲の単語(文脈)によって 決まる」という仮説である.

Word2Vecは「分布仮説に基づいて同じ文脈から現れる単語をベクトル空間上の近い位置に配置し,近い位置に存在する単語同士は意味も近い.」というのが僕にとって一番わかりやすい説明になっている.流石に勾配降下方程度の知識は知っていた方が良いが,ベクトル表現を学習する際の目的関数はまさに先の文言を表している.

一応イメージがわかない方のために記事及び図を紹介する.

word2vec:Pythonで単語ベクトルを作成する - IMACEL Academy -人工知能・画像解析の技術応用に向けて-| エルピクセル株式会社

 そして,記事から以下の図を引用する.

f:id:godiva_frappuccino:20200617143556p:plain

本来もっとベクトル表現はもっと高い次元で行われるが,雑に前提知識として入れておくのであれば,二次元で可視化した結果として,ラーメン・ステーキ,ピザなどの単語は食べ物という点で似た意味を持つという程度で良いと思う.

さて,この表現はベクトル空間上に単語を埋め込むものであるが,この表現で記号と概念の関係を十分表現できるのだろうか.因みに,そもそもこのベクトル表現は世界を表しているわけではないし,単語ごとの関係によってベクトル空間に埋め込まれるので言語情報に現れない様な他のモダリティは考慮されていない.その点には目を瞑った上でWord2Vecの拡張を考えてみる.

まず,ベクトル空間は決して現実世界を表しているわけではない.その上で,一つの記号が一つのベクトルに割り当てられるとその幅が表現されない.これに対処する方法として確率分布を用いる手法が存在している.

https://arxiv.org/pdf/1412.6623.pdf

f:id:godiva_frappuccino:20200617145843p:plain

(読んだのが以前なのであまり覚えていないが,)ガウス分布を用いて表現される.意味の広がりを表現できることとして曖昧性に対処することに加え,ここでは意味の内包を扱える点が個人的に面白いと感じた.

ここで多義性の問題を考える.bankは銀行だったり岸だったりするが,単純にガウス分布を用いると分布の平均が銀行と岸(,そしてその他の意味)を表すベクトルの中心の平均をとるため,それぞれの意味から離れてしまう.そこで考えうる案として,混合ガウスモデル(GMM)を用いることを検討してみる.

…まぁ調べたら出てきた.Abstractと図など,一部しか読めていないので間違っている部分はあるかもしれないが,Abstractを読む限りでは僕が考えていることと同じと言って差し支えがなさそうなので紹介する.他の人がちゃんと考えたことは,自分の考えと差異がない場合わざわざ焼き直さないほうが良い.

Multimodal Word Distributions

f:id:godiva_frappuccino:20200617151808p:plain

rockは岩と音楽の二つの意味を持つよ!ということで,二つのガウス分布の和として表現されている(この図は明確な線がひかれているので分かりづらいが…).言及されているが.意味の内包も表現されている辺りもとても良いし,結構一般性のある表現かもしれない.因みにGMMと他の分布のハイブリッド形式もあるらしいが,こういった表現は現実のタスクにおいては計算が重いし一般的なWord2Vecでも十分表現できているため使われていないのかもしれない.

そして,意味の内包について補足すると,個人的にはこれが好きなので読んでほしい.ベクトル空間にユークリッド空間ではなくポアンカレ空間を用いることで階層構造の表現を可能にしている.シソーラスじゃ〜んと言い切るのはよくないが,数学的な構造に言語の構造を当てはめることができる気がして,個人的にとても好き.LOVE.僕は輪講でやったので論文も読んだが,正直パッと理解する分にはこちらの記事の方が分かりやすい.

異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - ABEJA Tech Blog

これらはあくまで文章の情報からモデリングを行うにすぎないため人間のコミュニケーションにおける齟齬などは別途その中間のやり取りを表現する必要があるが,ともかく一個人にとっての表現の獲得に関しては可能性を感じている*10*11

「記号の意味の分離性を高めるか分散表現を認識するのが良いかもしれない」という主張

 とまぁ,今まではなんとなく情報を自分の理解の範囲で参照してきたが,ここからは完全に個人の主張である.そして実際にやってくれというわけでもない.不便すぎる.

タイトルの通りだが,ここ最近は多義性で問題が起こっている感じもする.歴史的背景の問題ではなく現在の言語の使いやすさのみに言及すると,GitHubのmasterリポジトリがmainに変わった問題はどうなのかと思った.別にGitHubのmasterはmaster/slaveのmasterではないし,そもそもロボットにおけるmaster/slaveも別に奴隷を意識したいわけではない.これもまた伝聞の情報でしかないし真偽がわからないが,反レイシズムの方達がピラミッドを破壊しようと考えているらしい.脱線しかねない話だが,現代のイメージと違って当時のエジプトの奴隷は割と優遇されていた気がする.

British anti-racism protestors call for destruction of Giza Pyramids - Egypt Independent

要するに,第一種過誤も第二種過誤も存在する.奴隷という言葉にもいろんな意味があるし,現代の人がイメージする差別的な意味合いを表すには十分ではなくて,

方法として, いわゆる差別的な意味合いを持つものに記号を割り当てて,ロボットのmaster/slaveにもロボット操作的な意味合いの記号を割り当てて,masterにはmainが割り当てられていたがそれがmainらしくないのであれば別の記号を割り当てる,といった感じ.

コミュニケーションにおける齟齬に関しても,同じ言葉に対する意味の違いから生じている場合がある.アンジャッシュのコントは結構好きだが,あれは各個人の文脈から推測される状況が異なるために齟齬が生じる.文脈を内包した言語表現があればそれを一言伝えるだけで全ての状況を理解できる.そんな難解な言語は使いたくないが.

結論としては,不便だし先の問題たちから実施が難しすぎるので僕はやりたくない.記号の背景の意味を全て把握して大量の記号を使えるほど人間は賢くないから効率化を図って齟齬のある意味の割り当てが雑な言語を使っている*12 

ただ,これができるほどみんなが賢ければLOVEを正確に伝えられる気がする.

*1:耐えがたいということは無い.Frastratingly Short Attention Spans in Neural Language Modelingの著者らは本当に耐えられなかったのだろうか.耐えられなかったから論文を執筆したのかもしれない

*2:

霊安室で葬儀を待つばかりだった女性が奇跡の生還 - GIGAZINE .記事を参照すると,バイタルサインによって判断されたらしい.

*3:明示的に指摘したのかどうかは知らない,どうなんですか?

*4:この分野に詳しくない為,解釈が間違っている場合には指摘していただきたい

*5:この主張は排他性を含む為,妥当なのかどうか考察を深める必要がある

*6:単に思いつきだが…

*7:そもそも記号自体人間の思いつきなので思いついていない範囲の物事はいったん考えずに思いついた時点で書けば良い

*8:自信がないので明確なことは言えないが,「知識は同じでも善悪判断が異なるために齟齬が生じる可能性はあるか?」という疑問がある.しかし善悪判断自体経験からくる上,それは対象の知識に含まれるのではないかという気もする為,もう少し厳密に議論する必要がある

*9:

http://www.kawasaki-m.ac.jp/soc/mw/journal/jp/2018-j28-1/P167-P178_tanaka.pdf

 ,ひとまず日本語で分散表現について述べている文献を探したのでこの文献の選択はベストではない,本来ならWord2Vecを提案している3本の論文から原文を引用すべきだろう.

*10:数学を勉強した方が良い.妥当な分布が存在するかどうかなど,勘が全くないので何もわからない

*11:計算量とか気にしてはいけない

*12:また,この齟齬がより発展的な思考につながるという側面もあり,単純に否定されるものではない