今度の金曜ロードSHOW（2016年1月15日）でのTweetデータを、前々回（2011年12月9日）と前回（2013年8月2日）のデータと比較してみます。
2016年1月16日土曜日
2016年1月13日水曜日
過去のバルス祭りを調べてみた ～今度の金曜ロードSHOW（2016/01/15）はバルス祭り～
今度の金曜ロードSHOW（2016年1月15日）がバルス祭りということなので、過去のバルス祭りのときのTweet数をいろいろ調べてみました。
実は、前回のバルス祭りのときに、予告していたにもかかわらずブログに書かなかった（書けなかった）ので、今回は、事前に過去放送時のTweet数比較などを書いておきます。
実は、前回のバルス祭りのときに、予告していたにもかかわらずブログに書かなかった（書けなかった）ので、今回は、事前に過去放送時のTweet数比較などを書いておきます。
2015年5月31日日曜日
20150530の小笠原諸島西方沖地震と20110311の東日本大震災をツイートで比較してみる
昨日（2015/05/30）、小笠原諸島で地震が発生し、広い範囲で大きな揺れが観測されました。
- 小笠原諸島と神奈川県で震度５強 津波なし [NHK NewsWeb] (2015/05/31)
- 小笠原諸島西方沖地震 [Wikipedia]
2015年2月7日土曜日
20150206の徳島の地震と20110311の東日本大震災をツイートで比較してみる
昨日（2015/02/26）、徳島で震度5の地震がありました。幸い大きな被害は確認されていないようです。
- 地震 四国で大きな被害確認されず [NHK NewsWeb] (2015/02/26)
- 徳島県南部を震源とする地震による被害状況等について [内閣府防災情報のページ] (2015/02/26)
2015年2月3日火曜日
後藤健二さんの注目ツイートのリツイート推移
後藤健二さんの過去のツイートが注目されています。
- 後藤健二さん:注目集まる過去のツイート [毎日新聞] (2015/02/01)
- 後藤さんの「平和のツイート」が拡散 [AFP] (2015/02/03)
- ツイッターで“後藤さんの信念”広がる [NHK] (2015/02/03)
...
該当ツイートの「リツイート」と「お気に入り」の推移を（TwitterStreaminngAPIで収集した過去データから）推定しました。
2014年11月29日土曜日
Twitter分析：インフルエンザ2014-2015
先日インフルエンザの流行が例年より早く始まったという報道を目にしました
TwitterのTweet数の変化から、これを確認してみます。
■出現頻度
毎年明らかなピークができているのがわかります。
昨年までの傾向をさらに見ると、11月の終わりに小さな山ができて、2月始めに大きな山が来ています。
11月終わりの山はインフルエンザ予防接種関係のつぶやきによるもので、2月の山がインフルエンザのピークだと考えられます。
次の資料と比較して、ほぼピークが一致していることが見て取れます。
さて、例年に比較して今年のTweet数の変化から、今後のインフルエンザの流行の傾向を判断できるでしょうか？
11月27日、28日にバーストが見られますが、これはむしろ前述の報道を受けてのツイートが多く、「インフルエンザにかかった」というようなTweetとは異なり、患者数と直接的に結びつくものではありません。
11月26日以前に小規模な山ができてますが、これは例年の予防接種関連のものと判断できます。
したがって、11月26日までの「インフルエンザ」Tweet数からは、流行が早く始まったことを判断することはできませんでした。
では、今後、大流行になるか、例年並みなのかを判断する方法はあるでしょうか？
流行が早く始まった＝患者総数が多くなる、ということを示唆しています。
一方、この報道が社会にフィードバックされた結果、対策を取る人が増えて患者数が抑制される可能性もあります。
以上から、今後のTweet数に対して、次のような判断が可能ではないかと考えています。
（個人的事情の見通しが立たないので…）
■出現率
上記の出現頻度による分析で、「インフルエンザ」に関する分析は終わっています。
ところが、ここで一つ問題があります。「出現頻度でいいのか」ということです。
TwitterStreamingAPI で取得できたTweet（全体の約1％）のうち日本語文の数は、明らかに大幅に増加しているのです。
2月のピーク位置は一致しますが、毎年のピーク量が実際の流行状況から外れています。
つまり、出現頻度のままの方が、現実との相関が高いのです。
どうやら、「インフルエンザ」に関しては、出現頻度で見た方が良さそうです。
Tweet総数が増えれば、「インフルエンザ」Tweetもそれに比例して増えそうなのですが、なぜそうなってないのでしょうか？
原因としていくつかの仮説が立てられます。
今後、他のデータの分析も含めての宿題とさせてください。
■参考ページ（インフルエンザ関連）
インフルエンザ対策特集
- インフルエンザ、東京と埼玉で流行期に- 茨城では今期初の学級閉鎖も（医療介護ＣＢニュース 11月26日22時26分）
- 東京都内でインフルエンザの流行始まる（NHK NEWS WEB 11月27日17時41分）
TwitterのTweet数の変化から、これを確認してみます。
- 期間：2010年8月1日から2014年11月28日まで（諸原因による欠落あり）
- 対象：TwitterStreamingAPI で取得できたTweet（全体の約1％）のうち日本語文
- 抽出：「インフルエンザ」を含む文（「鳥インフルエンザ」を含む文は除外）
- 1日単位のデータを2つのパターンでグラフ化
- 出現頻度＝「インフルエンザ」を含む文の数
- 出現率 ＝出現率/日本語文の数
■出現頻度
クリックで拡大
毎年明らかなピークができているのがわかります。
昨年までの傾向をさらに見ると、11月の終わりに小さな山ができて、2月始めに大きな山が来ています。
11月終わりの山はインフルエンザ予防接種関係のつぶやきによるもので、2月の山がインフルエンザのピークだと考えられます。
次の資料と比較して、ほぼピークが一致していることが見て取れます。
さて、例年に比較して今年のTweet数の変化から、今後のインフルエンザの流行の傾向を判断できるでしょうか？
11月27日、28日にバーストが見られますが、これはむしろ前述の報道を受けてのツイートが多く、「インフルエンザにかかった」というようなTweetとは異なり、患者数と直接的に結びつくものではありません。
11月26日以前に小規模な山ができてますが、これは例年の予防接種関連のものと判断できます。
したがって、11月26日までの「インフルエンザ」Tweet数からは、流行が早く始まったことを判断することはできませんでした。
では、今後、大流行になるか、例年並みなのかを判断する方法はあるでしょうか？
流行が早く始まった＝患者総数が多くなる、ということを示唆しています。
一方、この報道が社会にフィードバックされた結果、対策を取る人が増えて患者数が抑制される可能性もあります。
以上から、今後のTweet数に対して、次のような判断が可能ではないかと考えています。
- 今回のバーストが一時的なもので1月に向けて減少に転ずる → 例年と同等
- このまま増加する → 大流行 or ピーク前倒し
（個人的事情の見通しが立たないので…）
■出現率
上記の出現頻度による分析で、「インフルエンザ」に関する分析は終わっています。
ところが、ここで一つ問題があります。「出現頻度でいいのか」ということです。
TwitterStreamingAPI で取得できたTweet（全体の約1％）のうち日本語文の数は、明らかに大幅に増加しているのです。
- 2010年10月：約 150,000 ツイート／日
- 2014年11月：約 850,000 ツイート／日
クリックで拡大
2月のピーク位置は一致しますが、毎年のピーク量が実際の流行状況から外れています。
つまり、出現頻度のままの方が、現実との相関が高いのです。
どうやら、「インフルエンザ」に関しては、出現頻度で見た方が良さそうです。
Tweet総数が増えれば、「インフルエンザ」Tweetもそれに比例して増えそうなのですが、なぜそうなってないのでしょうか？
原因としていくつかの仮説が立てられます。
- 各人の興味の多様化
- 個人情報や故人の徳的に関わる可能性のあることをTweetしなくなった
- スパムの増加
- （その他）
今後、他のデータの分析も含めての宿題とさせてください。
■参考ページ（インフルエンザ関連）
- インフルエンザの流行状況（東京都感染情報センター）
- インフルエンザ患者報告数推移（relenza.jp -インフルエンザオンライン-）
- インフルエンザ 総合ページ（厚生労働省）
- 「インフルエンザだけじゃない！？ビッグデータと流行性感染症との関係」（2013年12月20日 Yahoo! JAPANビッグデータレポート）
インフルエンザ対策特集
2014年11月27日木曜日
rubyで日本語文の抽出
Twitterのつぶやきを収集することはできましたが、現実には日本語以外の文は必要ありません。
そこで、rubyを使って日本語の文だけを取り出します。
日本発信の文でも日本人の書いた文でもなく、日本語で書かれた文を抽出するのです。
ここでは、「ひらがな」と「カタカナ」の含まれている文だけを抽出する方法を紹介します。
rubyの「=~」メソッドによるマッチングの戻り値を利用して、ひらがなまたはカタカナを含んでいるかどうかを判定します。
■サンプルコード
■参考ページ
そこで、rubyを使って日本語の文だけを取り出します。
日本発信の文でも日本人の書いた文でもなく、日本語で書かれた文を抽出するのです。
ここでは、「ひらがな」と「カタカナ」の含まれている文だけを抽出する方法を紹介します。
rubyの「=~」メソッドによるマッチングの戻り値を利用して、ひらがなまたはカタカナを含んでいるかどうかを判定します。
- マッチング成功 → マッチングした文字の位置を返す
- マッチング失敗 → nil を返す
■サンプルコード
while line = gets
pos_h = ( line =~ /\p{Hiragana}/) # ひらがなの位置（なければnil）
pos_k = ( line =~ /\p{Katakana}/) # カタカナの位置（なければnil）
if pos_h || pos_k then
puts line
end
end
2014/11/28 typoを修正
2013年7月13日土曜日
次のTwitter分析ターゲット（予定）は…8月2日、バルスの日
本来は、参議院選挙に向けていろいろと考えていたのですが（各党and/or候補者のTweet数と当選の相関関係の抽出など）、大人の事情で本件をレポートすることはできなくなりました。
その代わりに、
基本的には「バルス」Tweetによるバースト観測ですが、その他に何ができるかをいろいろと模索中です。
検討しているのは、
表現揺らぎの問題は（注目セリフだけではなく）常につきまといます。そもそも音声表現されているものを文字表現に変換しているから仕方がないのですが…
パロディ表現の扱いも困りものです。前回放映時は「バルス五段活用」らしきものが観測されました。また、某声優がらみで「海賊にならない／海賊王になる」の突っ込みとか、某公共放送さんアカウントが「ニルス！」とつぶやいていたりとか…
今回は何が起こるのか、楽しみでもあり、分析しきれるのか不安でもあります。
--
ところで、ガミラス語で「点火」らしき表現が「バルス」に聞こえるのは気のせいでしょうか？
--
※リンク先修正しました
『天空の城ラピュタ』
2013.8.2(Fri) 21:00-23:34 O.A. （金曜ロードSHOW!｜日本テレビ）
をTwitter分析ターゲットとします。（これなら大人の事情が絡んでくることは、まずないはず！）
2013.8.2(Fri) 21:00-23:34 O.A. （金曜ロードSHOW!｜日本テレビ）
基本的には「バルス」Tweetによるバースト観測ですが、その他に何ができるかをいろいろと模索中です。
検討しているのは、
- 前回放映時との比較（過去データを捜索中…確かあったはず…）
- 人名Tweet数の比較
- 注目セリフTweetの比較（表現揺らぎ「目が目が」「目が、目がぁ～」などの扱いが難しい）
表現揺らぎの問題は（注目セリフだけではなく）常につきまといます。そもそも音声表現されているものを文字表現に変換しているから仕方がないのですが…
パロディ表現の扱いも困りものです。前回放映時は「バルス五段活用」らしきものが観測されました。また、某声優がらみで「海賊にならない／海賊王になる」の突っ込みとか、某公共放送さんアカウントが「ニルス！」とつぶやいていたりとか…
今回は何が起こるのか、楽しみでもあり、分析しきれるのか不安でもあります。
--
ところで、ガミラス語で「点火」らしき表現が「バルス」に聞こえるのは気のせいでしょうか？
--
※リンク先修正しました
2011年2月2日水曜日
Twitter分析：2011年アジアカップ（決勝戦）での「松木」Tweet状況
2011年1月29日、日本－オーストラリア戦、日本時間24:00キックオフ、1-0で勝利
※収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
厳しい試合でしたが辛勝しました。日本代表の皆さんおめでとうございます。
・日本が延長戦で豪州を下し、４度目のアジア制覇（スポーツナビ）
さて、その裏で次のような記事が出ていました。
・解説・松木安太郎に関するツイートが１試合１万５千件 （サポティスタ）
主要メンバーに「松木」を加えたTweet数のグラフが上記になります。
TwitterStreamingAPIでは、全体の1%程度しか取得できないので、Tweet数は相対的な比較で見てください。
グラフではわかりにくいので、各人ごとのTweet総数を出してみました。
| 川島 | 1788 |
| 李 | 942 |
| 長友 | 914 |
| 松木 | 851 |
| 本田 | 764 |
| 岡崎 | 588 |
| ザック | 557 |
| 内田 | 374 |
| 藤本 | 343 |
| 香川 | 323 |
| 前田 | 310 |
| 遠藤 | 308 |
| 長谷部 | 272 |
| ザッケローニ | 258 |
| 吉田 | 249 |
| 名波 | 210 |
| 今野 | 175 |
| 岩政 | 149 |
取得できるTweetが全体の1%なので、10～20件程度は誤差の範囲ととらえることができます。
状況によっては、100件くらいの誤差があるかもしれません。
それでも「松木」のTweetが多いのが明確です。人気ありすぎです。
※TwitterStreamingAPIではその時間の全Tweet数の約1%をストリーミングします。
ここでは、その中から日本語Tweetのみを抽出して集計しています。
平均的な時間帯なら日本語Tweetは18%程度ですが、このときは全Tweetの30%程度を日本語Tweetが占めていました。
したがって、単純に100倍しても正確なTweet数を得ることはできません。
あくまでも、相対的な比較のための数値としてみてください。
2011年1月28日金曜日
Twitter分析：大晦日→元旦にかけての日本と世界
2010年大晦日→元旦にかけての日本語Tweet＆世界Tweet
※日本時間で2010年12月31日9:00～2011年1月1日9:00の間を測定しました。
※赤が世界、青が日本のTweet数で、薄い線が12月1日～12月30日の平均Tweet数です。
※収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。※赤が世界、青が日本のTweet数で、薄い線が12月1日～12月30日の平均Tweet数です。
大晦日に盛り上がるのは、日本人の特性なのでしょうか？
年越しタイミング、いわゆる「あけおめTweet」が半端無いです。
日本語でのTweet数が、世界でのTweet数に直接的に影響を与えているのが見えてきます。
■関連記事
・「あけおめツイート」は約40万件、大晦日は紅白・ガキ使に注目～BIGLOBE調査
・Appleのキーノートどころじゃなかった日本の「明けましておめでとう」―6939ツイート/毎秒の新記録達成
・BIGLOBE、年末年始のツイート動向発表 - 番組別では紅白、ガキ使、箱根駅伝
・Twitterブログ：新年を新しい世界記録と共に迎えて
・あけおめツイートで、日本のユーザーが新記録
2011年1月26日水曜日
Twitter分析：2011年アジアカップ（韓国戦）での日本語Tweet状況
2011年1月25日、日本－韓国戦、日本時間22:20キックオフ、2-2でPK3-0で勝利
※今回は、人物ごとのTweet数は出していません。
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意※収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
韓国戦と言うこともあって、大変な盛り上がりでした。
基本的なパターンは、『Twitter分析：2010年ワールドカップ（パラグアイ戦）での日本語Tweet状況』のグラフと同じです。
（Tweetの収集数は、TwitterStreamingAPIの仕様変更のため異なります。数的には約1/5になっています。）
ゴールタイミングなどにより、個々のピークの位置は微妙に異なりますが、逆に、Tweet頻度からそれを判断できることが見て取れます。
それにしても、サッカーへの日本人の関心の高さがよくわかります。
■関連記事
・アジア杯日韓戦視聴率３５・１％ 関東、瞬間最高４０％超
・サッカー：アジア杯準決勝 日韓延長、決着つかずＰＫ戦
・アジアカップ“日韓戦”の平均視聴率35.1％、瞬間最高視聴率は40.6％
・未来を感じさせる日韓戦 韓国代表０－０日本代表
2010年12月11日土曜日
Twitter分析：2010年ワールドカップ（パラグアイ戦）での日本語Tweet状況
2010年6月29日、日本－パラグアイ戦、日本時間23:30キックオフ、0-0でPK3-5で敗退
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。（現在は全Tweetの約1%）
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
この試合は、ベスト8進出がかかっていただけに、途中での盛り上がりもこれまで以上。
最大Tweet数は、本サイトでの記録上は、4試合の中で最大。
今回注目すべきは、個人名のグラフでの、突出した川島のTweet数ではなく、駒野（PKが、バーに嫌われゴール上に外れる）のTweet数の推移。瞬間最大ではないが、駒野へのねぎらいのTweetがしばらく続いていた。
しかし、過去のグラフとスケールが違うので、見づらいが、最後に登場する岡田監督、「岡田」の出現パターンの安定っぷりは見事です。
■関連記事
・日本、PK戦の末敗退 初のベスト8ならず
2010年12月10日金曜日
Twitter分析：2010年ワールドカップ（デンマーク戦）での日本語Tweet状況
2010年6月24日、日本－デンマーク戦、日本時間03:30(27:00)キックオフ、3-1で勝利
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。（現在は全Tweetの約1%）
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
この試合については、分析とか必要ない状態。
個人名のグラフが、カメルーン戦が本田のゴール時に800件強、オランダ戦では500件弱だったのが、今回は1200件を超えていて、際だって多くなっていることがわかる。全体グラフの中でも、個人名のTweetが見極められるほどである。
3得点と個人ごとのTweetの盛り上がりが一致している。
- 1点目、前半17分、本田の劇的なフリーキック
- 2点目、前半30分、遠藤のフリーキック
- 3点目、後半42分、岡崎が押し込んだ
最初の本田のぶれ玉フリーキックが印象が強かった。2点目の遠藤はそれなりにTweetされているが、3点目の岡崎のゴールは、その直前までボールを持っていた本田に期待が高まっていた様子が見て取れる。
川島は、ゴールされそうなとき、というか、今回はゴールされてしまったとき（後半36分）Tweet数が最大になった。これは、キーパーのつらいところ。
全体のTweet数は、もう、この時間帯としては異常としかいいようがない。試合終了後のTweet数は、同じ時間帯の平均値の7倍程度となっている。
例によって、最後に登場する岡田監督、「岡田」の出現パターンだけは安定している。
これほど突出した異常値になると（つまり興奮的盛り上がりがあると）、分析によって何かを導きだすという立場からは難しくなることがわかってくる。ゴールした岡崎と本田のTweet数が逆転していることからも、単純に名前の頻度が事実を反映しているわけではない。本田の最初のフリーキックの影響もあるだろう。そこまでは、単純頻度からは導出できない。
※パラグアイ戦は、明日公開予定。
2010年12月8日水曜日
Twitter分析：2010年ワールドカップ（オランダ戦）での日本語Tweet状況
2010年6月19日、日本－オランダ戦、日本時間20:30キックオフ、0-1で敗北
［１）2010年ワールドカップ（日本－オランダ戦）での日本語Tweet数］
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。（現在は全Tweetの約1%）
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
グラフ1からみれる盛り上がりは、前回カメルーン戦と同じであり、時間帯をずらすと、ほぼ同じような形になっている。
今回は、敗戦だったので、最後の盛り上がり方が、さほどでもなかった。
前回も今回もそうなのだが、試合後のつぶやきというか雄叫びというか嘆息というか、それが一番多い傾向にあるのが見えてくる。
今回は、日本のゴールがなかったので、人名での頻度はさほど突出してない。人気選手や（いろんな意味で）注目選手へのTweetが多かったのではないかと思う。
前回と今回で、全く同じなのが、人名「岡田」の出現パターンである。試合終了後の岡田監督に対するインタビュー関連のTweetだろうと思うが、当然ながら試合中につぶやかれることの少ない人物であるのは間違いなさそうである。
※残りの、デンマーク戦、パラグアイ戦も同様の分析を行います。明日以降、更新予定。
2010年12月6日月曜日
Twitter分析：2010年ワールドカップ（カメルーン戦）での日本語Tweet状況
2010年6月14日、日本－カメルーン戦、日本時間23:00キックオフ、1-0で勝利
［１）2010年ワールドカップ（日本－カメルーン戦）での日本語Tweet数］
［２）個人名でのTweet数］（時間幅に注意）
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。（現在は全Tweetの約1%）
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
グラフ1からは、キックオフ前から徐々に盛り上がっていっているのが見て取れる。最大時（試合終了時＝勝利確定時）には、通常（2010年6月平均）の同時刻の3倍を超えるTweetが起こっている。これは、Tweet数の通常時との乖離具合から何らかのイベントの発生を推測できる可能性を示唆していると考えられる。これは、前回報告の「Twitter分析：地震発生時（2010年11月30日）におけるTweet状況」からも読み取ることができる。
一方、人名（日本代表メンバー）を含むTweetの数も出してみたが、地震発生時の関連語彙の出現数に比べると意外なほど少ない。グラフ1では見づらいので、グラフ2として拡大してみた。時間幅も試合時間を中心とした6時間分だけにしてある。
人名の頻度差から、そのときの試合状態を想像することができる。しかし、それが全体のTweet数と必ずしも同期していない、それどころか、全体数への影響も少なく、ほとんど無関係なのに驚いた。たとえば、本田のゴールの際に「本田」を含むのは、その時点の一割未満にすぎない。（「本田」で収集したので「本田△」なども含まれる）
では、ほとんどのTweetは何かというと、ほとんど雑談的な内容。「意外と前半いい感じ。」「この時間にそれは辛い…」など。試合終了後は「勝ったー」「すげぃ〜!!勝利〜!!!!」などのシャウト系のTweetが多くみられた。
統計処理的な立場でTweet数からイベントの発生をとらえて、さらに自然言語処理的解析で何が起こったのかを絞り込むことを考えたい。そのために、今回は固有名詞として、人名を利用してみた。しかし、実際には、Tweet内容は意味的にはほとんどカオス状態である。この混沌から、何かを導き出すためには、もっと工夫が必要である。
※オランダ戦、デンマーク戦、パラグアイ戦にも同様の分析を行います。明日以降、更新予定。
2010年12月2日木曜日
Twitter分析：地震発生時（2010年11月30日）におけるTweet状況
［地震発生時（2010年11月30日）における日本語Tweet数における関連Tweet］
もっと、龍馬関連のTweetでは、さほどでもなかった（通常のTweetに埋没している）のにくらべ、明らかに、追加分のTweetが特徴として全体に反映している。
リアルタイム性の強いイベントに対しての反応の大きいということの様である。
ワールドカップなどの時にも、同じ状況が確認が想像できるが、現在、データが手元にない。入手でき次第、後日公開予定。
なお、今回は次の文字列が入っているつぶやきをカウントしている。
- 地震
- 揺れ
- 震源
- 震度
追記：
収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じです。
Twitter分析：「龍馬伝」最終回（2010年11月28日）でのTweet状況
［龍馬伝最終回（2010年11月28日）での日本語Tweet数における関連Tweet］
もっと、龍馬関連のTweetが多いかと思ったのに、全体から見ると、さほどでもなかった。
それでも、本放送時間帯のTweetが増えていることは見て取れる。
なお、今回は次の文字列が入っているつぶやきをカウントしている。
- 見廻り組
- 今井信郎
- 龍馬
- 竜馬
- お龍
- 新撰組
- 勝海舟
- 近江屋
- 中岡慎太郎
- #ryomaden
追記：
収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じです。
Twitter分析：2010年11月の日本語投稿の傾向
［2010年11月における休日（土曜日、日曜日、祝日）と平日の日本語Tweet数の比較］
先月と傾向の大きな違いは見あたりません。
平日と休日の投稿傾向の違いが明らかです。
12月分までを含めて、平日／休日だけでなく、曜日ごとの傾向分析も考えています。
追記：
収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じです。
2010年11月28日日曜日
追記（Twitterにおける日本語投稿の一傾向分析）
昨日の記事『Twitterにおける日本語投稿の一傾向分析』の補足
追記1
追記2
追記3
追記4
追記1
午前4時にその前後に比べて突出したつぶやきが数が発生している。
これは、次の記事によると午前4時につぶやくサービスがあるらしい。
グラフ化することで、そのサービスによるつぶやき群が特異点になっているのが見えてきた。
ただし、類似のサービスやボットは他にもあるので、特に排除の対象とは考えない。
これは、次の記事によると午前4時につぶやくサービスがあるらしい。
グラフ化することで、そのサービスによるつぶやき群が特異点になっているのが見えてきた。
ただし、類似のサービスやボットは他にもあるので、特に排除の対象とは考えない。
追記2
上記のように、あるデータが特異な状況であると判断できるということは、基準値からの乖離具合から何らかのイベントの発生を判断することも可能だろうと推測できる。
例えば「バルス」とか「本田△」とかのつぶやき頻度をイベント発生ととらえると言うことである。
しかし、残念ながらデータがない…
と思ったのだが、今日の「龍馬伝 最終回」関連のつぶやきがかなり盛り上がったらしい。もしかしたら、なにか抽出できるかもしれない。これについては、後日分析して、なにか有意な結果が見られるようなら報告予定。
例えば「バルス」とか「本田△」とかのつぶやき頻度をイベント発生ととらえると言うことである。
しかし、残念ながらデータがない…
と思ったのだが、今日の「龍馬伝 最終回」関連のつぶやきがかなり盛り上がったらしい。もしかしたら、なにか抽出できるかもしれない。これについては、後日分析して、なにか有意な結果が見られるようなら報告予定。
追記3
この分析は、除外した(日本語でないと判定した)データの影響をうけないことを前提としている。
他のtweetあるいはtwitterシステム的に影響があるのかどうかの確認は取れていない。
他のtweetあるいはtwitterシステム的に影響があるのかどうかの確認は取れていない。
追記4
収集にはTwitterStreamingAPIを使用
現時点では、BASIC認証で使えるので、Twitterのアカウントさえあれば収集は誰でもできる。
使用に際しては、以下のサイトの情報を参考にした。
現時点では、BASIC認証で使えるので、Twitterのアカウントさえあれば収集は誰でもできる。
使用に際しては、以下のサイトの情報を参考にした。
登録:
投稿 (Atom)