世間とのズレ、あるいは、「自然言語処理」もしくは「人工知能」に関する一般の認識？

　一般の方々との認識のズレに関する事例をいくつかご紹介します。

　昨年末、何人かの方とお話ししていたときの会話の一部です。
　個人の特定を避けるため実際の会話から加工してあります。

・知識がないのでずれた解釈
　私　「自然言語処理をやってます」
　A氏「？」
　私　「えーと、大枠で言えば、人工知能的なものです」
　A氏「おー、すごいですね！人工知能ですか」
　私　「いや、その中の自然言語処理…」
　A氏「？」
　私　「えーと、日本語とかを解析してですね…」
　A氏「ああ、SiriとかAsimoみたいな」
　私　「…ええ、まあそんな感じです（そこはAsimoじゃないだろ…）」
　A氏「つまり音声認識ですね！」
　私　「（いや…そうじゃなくて…）」

・昔それなりにやっていて、最近の状況は理解拒否
　B氏「機械学習って最近ではどんなことをやってるんですか？」
　私　「最近では、DeepLearninngとかが注目されてますね」
　B氏「？」
　私　「えーと、NeuralNetworkをご存じですか？
　　　　大まかに言うとそれの改良版みたいなものです。」
　B氏「ああ、はやりましたね、昔…でも、すぐに消えましたね。実用にならないですよね。」
　私　「でも、最近ではGoogleなんかが画像認識で…」
　B氏「いやいや、NeuralNetworkはだめですよ」
　私　「（…トラウマがあるのかな？）」

・少し知識があるがゆえに夢を見る
　私　「自然言語処理をやってます」
　C氏「形態素解析とか？」
　私　「はい、そうです。（いい感じ！）」
　C氏「Twitterの解析とかできます？」
　私　「（Tweetの解析かな？）はい、できますよ」
　C氏「実は、TwitterやFacebookを解析して、
　　　　そこから個人の嗜好や友人関係・活動地域などを特定して、
　　　　その人に特化した広告をDMで送ろうという企画を考えているんですけど…」
　私　「（いやいや、それスパムでしょ…
　　　　それ以前に、個人の嗜好と広告のマッチングは、どのレベルで考えてる？
　　　　友人関係・活動地域ってリアルまで収集するつもり？
　　　　ていうか、解析するTweet文はどうやって収集するつもりなんだろ？
　　　　計算量とか、データサイズとかは？
　　　　…思いついただけで満足して、実現方法何も考えてないな、この人…）」

クローズアップ現代「広がる“読書ゼロ” ～日本人に何が～」（2014/12/10）をみて思ったこと

昨日（2014/12/10）のクローズアップ現代「広がる“読書ゼロ”　～日本人に何が～」をみました。

前半は、筑波大学の教授による学生に対する実験の映像が流れました。

読書量の多い学生と少ない学生を合わせて4名に小論文の課題を出します。

まず全員がインターネットでの検索から始めます。

その後、読書量の少ない学生は最後までインターネットの検索にたより、その結果、大部分をコピペ・引用で、自分の意見は2～数行。しかも引用した内容とのつながりが希薄あるいは皆無であり、さらに独自の視点に立ったものがありません。

一方、読書量の多い学生は、途中で図書館から本を探してきて、その中から独自の視点を見いだし、それに基づいた論文を組み立てることができていました。

また、インターネットを検索するときの目の動きから、一つの検索結果が有効かどうかを判断する時間も1秒以内ということも分かりました。

後半は、立花隆氏をスタジオに迎えて、この問題について話し合われました。

タイトルと、前半の実験から、NHKが主張あるいは誘導したい方向性が見えてきます。
どこから突っ込んだものやら、と思っていたのですが、立花隆氏が的確に切り込んでくれました。
抜粋します。（うろ覚え）

• インターネットは、その先にある膨大な全人類の知識に到達することができるものでありすばらしいものである
• 論文を書けるかどうかと言うのは、その知識を使ってどうするのかということであり、インターネットの検索だからどうこうということではない。
• これまで、新聞を読んでいるときでも、見出しを見てその記事を読むかどうかを判断するのは1秒くらいであったはずである。インターネットの検索だからというのはおかしい。
• 読書によって得られるのは「知（知識）」「情（感情）」「意（意志／意思）」というものがある。「知」以外の部分にも目を向けるべきである。
• 読書は重要である。「情」や「意」を読み取り、自身の指針とすることができる。

これまで立花隆氏に対してはよい印象を持っていなかったのですが、（NHKの思惑に反して？）まっとうな突っ込みを入れていたのを見て、考えを改めることになりました。

番組では、インターネットの検索がダメで紙の本がいいというように誘導したかったのかもしれませんが、立花隆氏のおかげで、見事に失敗しています。


さらに、2点ほど突っ込んでおきます。

• インターネット検索ではダメで本を読まないと正しい知識が得られないか？
  • IT系の業務をしてきた立場からすると、これはむしろ逆で、最新の知識/情報を得るためにはインターネットを使うべきであり、使わざるを得ません。本になっているような情報は古くて役に立たない場合が多くあります。
    

• 実験映像では、一番読書量が多い男性学生が図書館に向かい、『検索結果の記事で参考文献になっていた本と、たまたま目にした本を持ってきました』とナレーションが入っていました。そして、たまたま目にした本の中の文章から独自の視点を構築していったと続けています。
  • しかし、インターネット検索するときにも同じようなことをしているのではないでしょうか？
    検索結果を見たときに、関連記事を見たり、その記事中に出てきた別の表現で再検索したり、あるいは著者の論文一覧を見たり、さらに共著者の論文を見たり…
    そういった中で、最初考えていたものよりもさらに良いものを見つけることは少なくありません。
    つまり、よりよい情報にたどり着くかどうかはインターネットも本も関係ない話です。

ここまで書いて気がついたのですが、そもそも冒頭の実験を提示することによって、“読書ゼロ”であることの問題点が見えなくなってしまったのではないでしょうか…

雇用保険説明会に参加して、驚いたこと

　失業保険をもらうために、ハローワークに登録する必要があります。
　元の会社から必要書類が届いて、その翌日に登録しました。

　登録してから初回認定までの間に「雇用保険説明会」が開催され、それに参加しました。
　内容について、特筆すべきものもなく、「早く再就職すればそれだけ有利ですよ」というようなことを言い方を変えて連呼しているだけのもの。

大型スクリーンに表示した説明を担当者がなぞる形式で行われます。

　それは、担当者がPCをセッテイングしているときに起こりました。

ハローワークの説明会で驚いたこと スクリーンに映されたPCの起動画面が ＿人人人人人人人＿ ＞　Windows2000　＜ ￣Y^Y^Y^Y^Y^Y￣
— ヒューミン (@chetter_hummin) 2014, 11月 9

　4月にWindowsXPのサポートが打ち切られましたが、もしかしてXPはダメだと言うことでWindows2000に切り替えた（戻した）のでしょうか？

　しかし、Windows2000はXPよりずーっと前（2010年）にサポート終了されています。
　（『Windows 製品のサポート ライフサイクル について』参照）

　Windows2000はビジネス向けOSということもあり、サポート終了が世間一般では騒がれなかったので知らなかったのかもしれません…

　Windows2000もサポート終了してますよ　＞　ハローワークさん

iPadからブログ投稿（Blogger）する方法を試行錯誤

以前はPCを使ってる時間が長かったのですが、最近は移動時間や外にいることが多くなり、当然のようにPCよりもiPadに触れる時間が圧倒的に長くなりました。

ということは、ブログの更新も、iPadでできるようにしないと、また更新が滞るんじゃなかろうか…

という不安が頭をもたげてきたので、iPadから投稿する方法を試行錯誤しました


１．アプリ

iOSで何かするとしたら、まずアプリですよね。
当然Googleもアプリくらい出してるはず…と思って調べると、すぐ見つかりました。

「Blogger」…そのまんまですね。

レビューを読むと、酷い有様なんですが、ものは試しとインストールしました。
使ってみると…やっぱり、ダメですね(>_<)

機能的に劣っているのは覚悟していましたが、最大の難点は、ある程度の行入力していくと、入力している画面がキーボードの下に隠れてしまうということです。

内容確認のためには、一旦キーボードを閉じないといけないという有様。
分割キーボードにすると、なんとか見えますが、入力しづらい。

アンインストールしました。


２．Web

Webを使えば大丈夫でした。
当然ながら、PC版と同じ操作が可能です。

とはいえiPadだけでブログを書くというのは難しいですので、

• 外出時（iPad）下書き/メモ
• 自　宅（PC）　清書＆必要な情報の付加→公開

という使い分けになりそうです。

しばらくは、これで様子を見てみます。

インターネットと世間のズレを垣間みる

Twitter分析でのノイズ対応の検討の打ち合わせで、

「橋下市長がプリキュアとツイッターでつぶやいた」

という事例を紹介したところ

「橋本聖子が鰤をついた？」

という反応が帰ってきました。
取り敢えず、その場では簡単に説明したのですが、未だに冗談だったのか本気だったのか分かりません。

日付の明記されてないブログ記事や文書に振り回され

　ある情報を検索していたときのこと、問題解決法が書かれたブログ記事を見つけて喜んでいたら、実はそれは古い情報で使い物にならなかったという事がありました。日付が書いてなかったので最新の情報だと思い込んで読んでしまったのです。もし日付があったら、古い情報だという前提でその内容を確認するのでショックは少なかったはずです。

　同じことが、社内文書なんかでも良くあるから困ってしまいます。
　調査レポートや仕様検討の資料が、時系列無視してあちこちのサーバに格納されているという現状に直面し、ため息をついています。

　IT系サービスに関する情報は特に鮮度が重要な場合が多いように感じます。少し前の情報があっという間に役に立たなくなるということがこれまでにも何度もありました。
　そしてまた今回も同じ轍を踏んでしまいました。

　本来エネルギーを割かなければならないところに力を注げないのは困りものです。

言語処理学会の論文誌「自然言語処理」がオンライン公開されていました

言語処理学会の論文誌「自然言語処理」がオンライン公開されていました。
（「はてなブックマーク > 人気エントリー」で見つけました。）

・自然言語処理：Journal@rchive（言語処理学会）

現在、1994年から2008年までの論文が公開されています。もちろん無料です。
残念ながら、最新の論文は読めないようですが、タイトルだけは自然言語処理学会のサイトでみることはできます。

こういうサービスは非常に助かります。

他にも、無料で論文を公開している自然言語処理関連の学会としては、次のようなものがあります。
・人工知能学会論文誌（人工知能学会）
・知能と情報（日本知能情報ファジィ学会）

一方、会員のみ（もしくは有料で）参照・ダウンロードできる学会もあります。
・情報処理学会電子図書館オンデマンドサービス（情報処理学会）

最新の論文誌を即時公開するのは難しいでしょうし、また、それぞれの事情があるのでしょうが、過去の論文だけでも無料で公開してもらえると助かります。

---

（備考）

[2014/11/21]　人工知能学会誌　のリンク先修正

SymbolistからConnectionistへ

Connectionist（コネクショニスト）とSymbolist（シンボリスト）という構図を考えた場合に、自分はSymbolistという立場をずっととってきていたが、最近は、次第にConnectionist的な考えになってきている。

（先日の記事にもそれが現れてきている）

ざっくりといえば、統計処理なのか、論理処理なのかという違いとみることができる。（異論はあるでしょうが…）

すべでの単語を取り出して、それらの関係を明確にして、同義関係・類義関係・階層関係などを定義して、それらを操作するルールを定義することで、その文・文章を理解することができると考えてきていた。

しかし、それがなかなかうまくいかない。

例をあげてみよう。「警察の犬」と言った場合に、どういう意味を持つだろうか。

警察犬？それとも、警察の手下といったような意味？

それは、その会話の中における、いわゆる文脈に依存するのだろう。

同様に単語の区切り位置も文脈によって変わってくることがある。

すべての文脈を抜き出して、それらをルール化すればいいのだろうか？

人間がその文を理解するときに、そんなに膨大なルールを参照しているというようなことがあるのだろうか。少なくとも自分にはその自覚はない。

大まかなイメージとしては、ある単語（あるいは概念）ノードが発火しており、会話によって、信号が別の単語（概念）に伝達し、意味をそのネットワーク全体が意味を構成しているというような印象を持っている。

まさに、Connectionist的な考え方だろうか。

そこで、コーパスから共起関係を抜き出して、それによって信号の伝達経路を定義し、簡単な実験を行ってみた。想像できるとおり、こんな簡単な仕組みでは、簡単な例ではそれなりの結果は出てくるが、ちょっと複雑な例ではうまくいかない。

実は、ここに罠があって、形態素解析を使って、共起関係を作成している。

形態素が確定してしまった段階で、自由度がある程度制限されているのだろう。

必ずしも、人間と同じ仕組みを構築する必要があるとは思わないが、ある程度は参考にした方がいいのかもしれない。

今後も、さらに考察していきたい。

形態素解析処理は必要か

最近よく考えているのは、形態素解析というのは実は不要なのではないか、と言うこと。

現在の「形態素解析処理」は、『形態素』あるいは『単語』という単位を決めて、それに『品詞』なるタグを振っている。それら『形態素』や『品詞』は、人間の都合で決めたものである。
しかし、これは必要だろうか。

実は人間が文字を書いたり会話したりするときにそれを意識しているわけではない。
その一方で、これまでの『自然言語処理』研究の流れの中では、当然のごとく必要とされてきている。

現在、ほとんどの自然言語処理システムの根幹にあるのが、『形態素解析処理』である。
この仕組み自体は、枯れた技術となってきており、フリーのプログラムも出回っているし、自然言語処理を全面に出している企業なら、容易に自社開発できるレベルである。（学生ですら自作できるだろう。）

しかし、問題になるのは『形態素』である。既存の単語については追加すれば対応可能であるが、新語が出てきた場合には、なかなかむつかしい。わかり易い例は、たとえば、外国人の名前だろうか。
また、その単位にも異論がある。（「横浜市／役所」なのか「横浜／市役所」なのかなど、多数の例があるが、厳密に書こうとするときりがないので割愛）

形態素解析の辞書をひたすらメンテナンスするというのも一つの方法であるが、”今”の言葉に追いつくことはできない。可能ならば、自動的に、新語や適切な単位を認識して欲しいところである。

ある人は言う。「人間には出来ているじゃないか。その仕組みを機械に組み込めばいいじゃないか」と。人間がどのように理解しているかすら判明していないことを彼は知らない。

ひたすら、形態素を追加するというのは、非現実的である。それを自動化できるくらいなら、最初からシステムに組み込めば良いわけで、そう言うわけにもいかない。

人間は、形態素あるいはそれに類する単位を認識しているのは間違いないように見える。
従って、形態素が不要だと考えているわけではない。

しかし、現在の”形態素解析システム”を前提とした仕組みで、自然言語処理の構築に進んでいいものかどうか疑問に感じている。

プロジェクト0.2かと思っていたけど、プロジェクト0.1かもしれない件

さて、プロジェクトはますます混迷の度を増してきている。

本来の方向性（ある明確な名前がついてる）が次第に薄れていき、

「クローズアップ現代」（飛び出せ！“異能”～日本の閉塞感を打ち破れ～）

に触発（？）されて、その中で言及されていた株価予測に取って代わろうとしている。
本来の目的はそっちのけ状態でだ。

一社員の身としては、それに対してどうこう言える立場に無いのがすごく悲しい。

その一方で、非常にチャレンジングなテーマであり、やりがいがあるということはいえるだろう。
…ある程度の時間さえ与えられていれば…

問題は、それだけではない。
何を勘違いしているのか、上層部(経営陣)が営業の人物に、本件の真偽を相談していた。びっくりした。
返ってくる答えが否定的であるのは自明であろう。
「具体的な方法論について言及していないので、信用できない」といっているらしい。

おお！全く何も理解していないことを暴露しているではないか。
ある程度のスキルを持った技術の人間が見れば、方法論はある程度想像できる。何を伏せているのかすら想像できるだろう。
それに、具体的な方法論は企業秘密なのでしゃべるわけはないではないか！

その他いくつかの点を指摘して、実現不可能と豪語しているらしい。
何も理解出来ていないことを自ら暴露しているのがわからないのだろう。

聞いた話だが、某社では、既に世の中に広く知られていたアルゴリズムであっても、それが、何かに採用されていることについて口にすることが許されないそうだ。（もちろん、具体的に何のことかは教えてもらえなかった）

技術とはそうしたものなんです。営業さんにはそれがわからんのです。

経営陣も大きな勘違いをしている。
これ（株価予測）は製品開発の話ではなくて、研究の話なのに。
さらにそれを短期間で製品化するということを考えてる時点で勘違い。

このプロジェクト、この先どうなっていくのかと…嘆息

プロジェクト0.2？を体感中

現在、あるプロジェクトに所属して、関連情報のサーベイやデモ用プログラムの作成を担当している。
直属の上司とは綿密な打ち合わせに基づいて実施しているのだが、そのさらに上の上司な人にレビューするたびに言うことが変わってくる。
あっちにふらふら、こっちにふらふら、狙いが定まらない。

最初は、「簡単なツールでいいから」「製品で出して反応見て改良しよう」という話だった。

にもかかわらず、毎週のように機能追加が発生する。

単純ダイアログプログラム
↓
タブ付きダイアログ
↓
子ダイアログが開く
↓
小ダイアログもタブ付きに
↓
ダイアログ2つも必要か？→ひとつにまとめろ

これだけ見ると、プログラム作成の手間がかかるだけに見えるかもしれないけど、内部計算手法（理論や計算式）の変更やら、表示そのもの（リストにするか／グラフにするか）の変更やら、色々と注文がやってくるのでたまらない。
無駄なコードは発生するし、超スパゲッティ状態だし、当然ドキュメントなんか書く暇はないので、誰かにちょっとヘルプを頼めるわけもないという状態。というわけで、いつの間にやら実質一人で作業している。

そして、ここに来て、先日（2011/1/24）の「クローズアップ現代」（飛び出せ！“異能”～日本の閉塞感を打ち破れ～）の話に触発されて、株の予測ができないかとか言い出す始末！

いやいや、そんなに簡単にできるものなら、誰かがとっくに作ってだろうが。（過去に大量の類似研究があるものの、さほど成功してない。）そんなに簡単にいかないから、「クローズアップ現代」での内山氏の報告が注目された訳なのに、何言ってんだか。

というか、それ以前に、このアプリと方向性ぜんぜん違うでしょうが、統合する意味ないし。

と思って、軽くいなしておいたら、今度はこれに反応してきた。

インターネット上の大量な情報を分析・整理し信頼性判断を支援する技術を開発(NEC)

いやー、トレンドへの反応早いっすねー。
じゃなくて、こんな事やってたらきりないでしょ。最初の構想とかけ離れすぎてるし、注目されてるものに目を奪われすぎ。
類似の研究はみんなやってるから、それが発表されるたびに対応してたら、いつまでたっても仕様が固まらないんですけど。

目的と方向性を明確にして、まず製品を作らないといけないんじゃないんでしょうかねえ。

そのあとで必要な拡張をする機会はあるかもしれないし、時間さえ（数年？）くれれば、株価予測の研究はやるから。予測ができるかどうかは知らないけど :-P

先日（2011/1/24）のクローズアップ現代（ＮＨＫ）を見て

クローズアップ現代  2011年 1月24日(月)放送
飛び出せ！“異能”～日本の閉塞感を打ち破れ～

ホットリンクの内山氏がピックアップされていた。
全世界のブログ情報を解析して、それから株価の変化を導きだそうという発想によって、支援をもらえたという趣旨だった。実際の効果も確認されているんだろう。

はっきり言って、これを聞いたときに、「やられた」と思った。
同様のことは、実は考えたことがあった。
番組中でも、外国で類似の発表がなされていることが報告されていた。
解説では、同じアイデアは同時に3人が思いつくと考えていいので、いかに早く高性能なものを創り上げるかにかかっているということだった。

このホットリンクの話を、会社の同僚にしてみた。
社内でも人工知能的な話についてはかなり話が通じる人で、想いを共感できるかと思っていた人物だった。
彼も、この番組を見ており、話を振ってみたが、返ってきたのは
意外にも「（株価の予測なんて）そんなに簡単にいかないよね」という返事だった。
「それ面白いそうだね」という反応を期待していたのだが、そうではなかった。

彼にして、この反応ということが、日本で『異能』の者が活躍することができない理由を端的に表しているように思う。

すなわち、『異能』あるいは『異質』なものに対しては、まず否定が出てくる。なぜだか皆、うまくいかない理由をさがそうとする。
肯定的とは言わないまでも、ニュートラルな視点から見ることができない。可能性を論じることができない。

たしかに、このアイデアはある意味「ラプラスの悪魔」に近いものかもしれない。
あらゆる情報の中から、必要な相関を取り出して、未来を予測する。
さて、必要な相関を見つけることが、容易にできるだろうか？

株価について言えば、何らかの相関はあるのではないかと思っている。
ある特別なイベント（戦争とか、油田事故とか）との関連は容易に想像できると思うが、ある種の目に見えない法則があるかもしれない。
だが、自分にはまだみつけられていない。

これもまた、「成功するのは続けている人」ということなのかもしれない。

自然言語処理とプログラミングと設計

ちょっと前の記事ですが、最近知って読みました。

プログラミングと設計は本来切り離せないものなのでは（達人プログラマーを目指して）

プログラミングという世界全体を見ると、完全に同意です。
そして更に、自然言語処理という世界から見ると、より厳しくなっていきます。

>> そういった設計は事前に設計図上で時間をかけて検討するということは可能であり、

自然言語処理においては、昔も今も、事前設計が可能だとは限りません。
なぜなら、自然言語処理プログラムおいては要求仕様（ユーザが期待する機能・性能）を100%実現することは出来ないからです。

たとえば、電卓プログラムを例にとって考えてみましょう。
人間は、時間をかければ計算できます。でも、省力化したい。そこで電卓が活躍します。
これは、100%実現可能です。事前設計も100％可能です。（GUIの調整などは除く、機能の話です）

それでは、たとえば、仮名漢字変換を例にとってみましょう。
人間は、辞書を引きさえすれば漢字にすることは可能です。でも省力化したい。そこで仮名漢字変換システムが活躍します。
これは、100%実現することは不可能です。なぜなら、実は人間でさえ間違えることがあるから。
「かのう」を漢字にしてみましょう。ここまでの文の流れから「可能」を思いつくと思います。
しかし、本当は「叶」「化膿」「加納」…どれが正しいのでしょうか？
ユーザに取ってみれば、その中の一つであることは自明なのですが、単純に辞書引きでは決定できません。これを改善するために様々な技術開発がなされていますが、未だ完璧ではありません。

物事が出来ないというとき、いくつかの段階があると考えています。

　(0) 社員のやる気がない
　(1) 社内のリソース不足（人手／時間／技術力・能力）
　(2) 世の中に、実現するための技術が、（現在）存在しない
　　　ただし、近似的に実現する技術は存在する
　(3) それを実現することは、未来永劫不可能である

0番は論外ですが、自然言語処理関係のプログラムでは、1番か2番あるいはその狭間で悩んでいるのが現実ではないでしょうか。
しかし、自然言語処理が何たるかを正しく理解しない、管理職や経営者は、簡単に製品化が実現するものと思い込んでしまいます。
もちろん、彼らも、過去においては、同じような問題に直面していたのかもしれませんが、それを解決したと勘違いしているに過ぎません。それは、上記の2番での「近似的に実現する技術」を用いることによってです。
それまで、0点だったものを80点、90点にしたことによるインパクトは大きいです。
ところが、90点から95点に引き上げるためには別の技術が必要で、95点から99点にするためには更に別の技術が必要です。

話が少しずれてしまいました。
自然言語のおける技術は、本質的には近似解を求める技術の固まりであると考えられます。
問題は、どの技術／方法が、その時点での解決法として最適であるかと言うことです。
自然言語では同じ意図を表すのに無数の表現が存在します。
そして、その境界を決めることはきわめて困難です。

従って、現実的な対応としたら、やってみて、文句が出たら修正する。ということになりましょうか。
もう少し、堅い言い回しをすれば、「アジャイル開発的手法を用いて、ユーザの要求の変化に対して柔軟に対処する」ということです。

※もちろん、自然言語処理を冠したプログラムでも、確定的に対応できる問題を対象としている場合もあります。ここで述べているのはあくまで一般論です。

コーパス収集の必要性を説いてみたが・・・

　昔は、コーパスの作成／収集というと多大な労力と時間を要するものなので、その必要性は理解していても、なかなか手を出すことができない状態だった（らしい）。大学では、いろいろな方法でそれを作成することができたので、あまり気にしたことはなかった。
　インターネットの時代になって、ある程度の規模の文書を収集することが、容易になった。それは、企業にとっては、費用がかからないということであり、研究者にとっては、個人の経験則に頼って作成していた様々な方法論を検証したり、あるいは、それ自身から新しいものを生み出す力を持っている。

　しかし、現実にウェブからコーパス収集しようとすると、コストがゼロというわけにはいかない。それ故に、なかなか手を出そうとしてくれない。

　以前に某社での話だが、形態素解析システムのコスト計算を手計算でやっていたので、コーパスからの学習に切り替えることを提案した。いや、提案しようとした。まずは、直属の上司に相談してみると、「コーパスないでしょ」と一蹴された。いや、だから、収集の必要性があると粘ったが、「まず、今やっている改善をこつこつとやっていこう」と、完全に議論がかみ合っていなかった。
　別の先輩にも相談したが、だいたい似たような話に落ち着いてしまう。

　企業というものは、短期的な成果を追い求めるもので、長期的な成果のために、多大なコストをかけるという選択は市内ものであると痛感した。

　仕方がないので、自分で(自宅で)収集することにした。アクセス量が多いと、プロバイダから文句がくる時代だったので、cronで1時間おきにあるブログのRSS経由で、ブログ本文を収集することにした。
　（余談だが、光どころかADSLでもなくISDNでの通信で、これがほんの数年前の話である。）

　さて、ある程度のコーパスが収集し、分析し、報告した。
　彼らは、特段の反応を示すこともなく、「じゃせっかくだから使ってやろうか、でも、あれとあれが足りないから、それも収集・分析して」と注文をつけてくる始末。

　自然言語処理に限った話ではないだろうが、まじめな人間が報われない状況が存在するということを実感した瞬間だった。

　というか、むしろ、会社に夢を見すぎていたのかもしれない。
　会社は何もしてくれない。だから、自分でやらないといけない。
　やるべきは、「コーパスの収集」を説くことではなくて、コスト削減にどれだけ貢献できるかということだったのだろうと、今となっては考えている。
　そして、そのための様々な過程で得られたノウハウについては、要求されれば公開すればいいし、要求されなければ、自分で抱えていればいいだろう。それが本当に役に立つ知識であるならば、そのノウハウを持っていることによって、会社内における強みとして生かすことができるだろう。

社員として食っていけるか

　一昔前の様に「技術が優れている」ということが売りにならない時代になりました。ユーザーにとって「いかに便利であるか」を明確に示さないと使ってもらえません。
　その意味では、「自然言語処理」は表舞台に立つことはないのかもしれません。

　社員として会社に所属するということはいろいろな意味を持ちます。一定の収入が保証されているということもあります。また、会社が自然言語処理関連の製品を作る限り、何らかの形で、「自然言語処理」との関連を持ちつつ仕事をしていくことはできます。
　しかし、その代償として、必ずしも自分の望む研究分野の仕事ができるというわけではありません。

　会社の仕事をこなすということは、単純なことではなく、夜遅くまで残業する現状があり、自分で何かをする余裕などはありません。時には休日出勤もあり、体を休めるのもままならない状況です。

　わずかな休日や偶然できた隙間時間を使って、自分なりの調査・研究を行っています。
　会社員にとっての研究というのは、ある意味で、趣味の様なものかもしれません。
　しかし、現実に目を向けてみると、ほかの人とは違う技術を手につけておく、すなわち、差別化をしておくことで、会社にとって必要な人材とされることを期待しています。（さらにいえば、それによって、自分のやりたいことに近づくことができるかもしれません）

形態素解析システム

　昔、自然言語処理で実用になったものといえば、「仮名漢字変換システム」や「形態素解析システム」といったところでした。
　当時は、「仮名漢字変換システム」が多くあり、その変換精度を比較する記事が雑誌などを賑わしていたものですが、今はすっかりその陰もなく、「仮名漢字変換システム」を意識して使うという人すら少ないのではないでしょうか。

　自然言語処理だけではなく、あらゆる技術について同じことがいえるのではないでしょうか。
　少し違う話ですが、昔の「電子レンジ」は機能の追加競争状態になっていて、ある段階で機能の飽和状態になり、『機能』より『使い安さ』というようになり、現在では、機能そのものを売りにすることはほとんどなくなってきました。（時折、新しい技術開発により、新機能が追加されることはありますが、以前ほど大騒ぎすることはありません。）
　「仮名漢字変換システム」も同じようです。あれほど、PC関係雑誌を賑わしていた記事を目にすることはほとんどありません。大部分の企業は撤退し、ある意味、勝ち組の企業だけが生き残っていると観ることもできるでしょうか。

　「仮名漢字変換」は、かな文字で入力された文を、漢字に変換するもので、ユーザが直接触れる機能です。
　一方、「形態素解析システム」は、新聞記事や書籍やユーザ入力文などの、いわゆる「かな漢字混じり文」を解析し、それを、「名詞」や「動詞」などごとに区切るものです。これは、一般ユーザにとっては直接的には、何の意味もありません。
　しかし、実はすでに「検索システム」や「会話システム」などに利用されていて、実用に供されている技術です。

　形態素解析システムの開発は、企業よりは、むしろ大学での研究が進んでいるようで、「ChaSen」や「MeCab」など、ほぼ自由に利用できるシステムが存在します。（正確には、各ライセンスを確認してください）
　基礎技術も、ほぼ固まっており、それらの情報はほとんど公開されています。

　さて、自然言語処理を会社としての旗頭として掲げている会社が、独自の形態素解析システム程度が用意できていないというのでは話になりません。
　それは、プライドの問題というのではなく、出来合のシステムでは、応用技術開発の際に小回りが利かなくなる場合があるからです。使い方によっては、システム自体の性能を引き出せずに、逆に非効率になってしまうこともあります。
　前述のように、形態素解析システムにおける技術はすでに固まっているし、ほとんど情報は公開されている訳ですから、それを用いて開発することは可能です。

　ところがその一方で、「自然言語処理をやってます」という会社の中で、本当に自然言語処理の開発をやっている／できる（能力がある）人はそれほど多くありません。
　実際の製品開発においては、UIであったりデザインであったり、どういう使い方を提案するとか、様々な課題が存在します。プログラム開発はその一部であり、その中核技術であるはずの自然言語処理開発は、さらにその一部にしか過ぎないのが現実です。
　その結果として、形態素解析システムの開発にすら手をつけることができないので、期待する性能が出せないという、本末転倒な状態が存在しています。

　その会社では、形態素解析システム「Juman」を使い続けていました。これは、「ChaSen」よりさらに古いシステムですが、ある機能を必要としていたために、別の形態素解析システムへの移行ができませんでした。
　そこで、新規開発を提案したのですが、最初は、話すら聞いてもらえませんでした。すでに動いているものを差し替えるメリットが理解してもらえなかったのです。そこで、速度・精度・メンテナンス性についての説明を粘り強く行い、結局2ヶ月たって受け入れてもらうことができました。

　その後、プログラム開発は・辞書開発をあわせて2ヶ月で仕上げ、ほぼ同じ精度で速度を約10倍近くに上げることができました。精度向上のためのメンテナンス法も改善したため、それまでのメンテナンスより遙かに短い期間で精度を大幅に向上させることができました。
　今度は、それに味をしめたのか、形態素解析システムとは関係ない機能までも詰め込もうとしたので、その開発からは手を引きました。

　要素技術・応用技術として何を作り上げるのか、そして製品としてユーザに何を提供していくのか。
　その目標を明確にしていきたいものです。

はじめました

　自然言語処理とは、人間の話す言葉を理解し、応答したり行動したりできるシステム全般を指しています。
　この技術を中心に仕事をすることを期待して入社した会社では、なかなか、期待するようなことはできそうにありません。
　そこで、業務の隙間時間やプライベートな時間を利用して、自然言語処理のシステムを考えたり、試作したりしています。
　会社の中でそれを有効に活用できるなら、それもよし。そうでなければ、別の方法もあるでしょう。

　そんなことを考えながら、生活している会社員の日記です。
　会社での出来事や、調べていること、考えていることなどを、思いつくままに綴っていくことにします。