2013年コンフェデ杯での出場選手別のTweet数を計測しました。
例によってTwitterStreamingAPIでの1%Tweetを用いています。
検索条件は、検索文字列は名字のみ、期間はキックオフの1.5時間前から5時間分です。
■予選3試合での出場選手ごとTweet合計
予選3試合のTweet数を合計して順位付けしました。
上位3名(本田、香川、岡崎)が飛び抜けています。
以下、3試合前出場した選手が横並びで、1~2試合出場の選手が続きます。
■2013年6月16日(日) 対ブラジル戦(4:00キックオフ) 2:30-7:30
3:00に全体的なピークがあります。おそらくスタメン発表がらみだと思われます。
■2013年6月20日(木) 対イタリア戦(7:00キックオフ) 5:30-10:30
この試合だけ時間帯が違います。
平日にも関わらず昼間の時間だったため、Tweet数の目盛りが6倍程度になっています。
■2013年6月23日(日) 対メキシコ戦(4:00キックオフ) 2:30-7:30
深夜帯の試合に加えて、既に予選敗退が決まっていたこともあり、結果のみを確認した人が多かったようです。
第1試合と第3試合は時間が深夜帯だったため、全体のTweet数が少ないので、全数調査との乖離があるかもしれません。
第2試合は、妥当な結果が出ていると思います。
2013年6月25日火曜日
2013年6月22日土曜日
ビッグデータとサンプリングデータ:『ワールドカップアジア最終予選 日本×オーストラリア』での比較調査
「ビッグデータ」という言葉は世間に定着してきていると言っていいでしょう。バズワードと呼ぶかどうかはここでは言及しませんし、重要ではありません。
その一方、統計との関係性から、「ビッグデータありき」という姿勢に疑問を呈している記事もあります。
そこで、自然言語処理(というか文字列検索)での「全数データ」と「サンプリングデータ」の結果を比較して、どのような違いが出てくるかを調査してみました。
対象データとして次を見つけたので、これを全数データと見なします。
(最新の試合でないのが残念ですがご容赦ください)
集計期間および検索条件は、元記事に記載されているものを原則そのまま使用します。(#fjaという記載がありますが、これは#jfaのタイポと思われるので、これだけは「#jfa」を使用)
細部については元記事を参照して下さい。
結果を以下に掲載します
1.出場した全14選手の名字検索でのランキング
ほとんど同じですが、本調査では5位の長友と8位の内田がより上位になる結果となりました。
(下記表は元記事の順位のままに、投稿件数のみを本調査のものを記載しました)
2.本田選手、香川選手、川島選手の投稿数推移
3.オーストラリア戦での投稿数の推移
同じ傾向が見られます。
4.松木氏、ゴン中山氏、セルジオ越後氏の投稿数グラフ
同じ傾向が見られます。(ゴン中山が多めに取られてる?)
5.松木氏の投稿数推移グラフ
全体の傾向(ピーク位置)が同じことが確認できます。
6.「渋谷」「道頓堀」の投稿数推移
渋谷のピーク位置がずれましたが、全体の傾向はほぼとれています。
元記事で示したかった情報とほとんど同様の結果がサンプリングデータでも示すことができたと思いますがいかがでしょうか。
「定性的な傾向はサンプリングデータ(今回は1%)でもほぼ取得できる。ただし、精度的には劣る場合がある」と言うことを認識した上で使用するのであれば、十分役に立つのではないでしょうか。
(2013/6/26)タイトルを変更しました
その一方、統計との関係性から、「ビッグデータありき」という姿勢に疑問を呈している記事もあります。
- ビッグデータは統計学と矛盾する?(ITpro 記者の目)
- “統計の基礎を無視している”Hadoop使いが考えるビッグデータ(TECH.ASCII.jp)
- 【データ分析】『統計学が最強の学問である』西内 啓(マインドマップ的読書感想文)
そこで、自然言語処理(というか文字列検索)での「全数データ」と「サンプリングデータ」の結果を比較して、どのような違いが出てくるかを調査してみました。
対象データとして次を見つけたので、これを全数データと見なします。
(最新の試合でないのが残念ですがご容赦ください)
- ワールドカップアジア最終予選 日本×オーストラリア"つぶやき数1位だったのは!?(Yahoo!検索スタッフブログ)
- サッカー豪州戦の夜、Twitterを最も盛り上げた男は本田、5位に松木安太郎(InternetWatch)
集計期間および検索条件は、元記事に記載されているものを原則そのまま使用します。(#fjaという記載がありますが、これは#jfaのタイポと思われるので、これだけは「#jfa」を使用)
細部については元記事を参照して下さい。
結果を以下に掲載します
1.出場した全14選手の名字検索でのランキング
ほとんど同じですが、本調査では5位の長友と8位の内田がより上位になる結果となりました。
(下記表は元記事の順位のままに、投稿件数のみを本調査のものを記載しました)
2.本田選手、香川選手、川島選手の投稿数推移
元記事同様、本田選手のみ右側の目盛りを参照してください。
本調査では18時~19時台で多めの数値が出ていますが、それ以降は同じ傾向が確認できます。
同じ傾向が見られます。
4.松木氏、ゴン中山氏、セルジオ越後氏の投稿数グラフ
同じ傾向が見られます。(ゴン中山が多めに取られてる?)
5.松木氏の投稿数推移グラフ
全体の傾向(ピーク位置)が同じことが確認できます。
6.「渋谷」「道頓堀」の投稿数推移
渋谷のピーク位置がずれましたが、全体の傾向はほぼとれています。
元記事で示したかった情報とほとんど同様の結果がサンプリングデータでも示すことができたと思いますがいかがでしょうか。
「定性的な傾向はサンプリングデータ(今回は1%)でもほぼ取得できる。ただし、精度的には劣る場合がある」と言うことを認識した上で使用するのであれば、十分役に立つのではないでしょうか。
(2013/6/26)タイトルを変更しました
2011年2月2日水曜日
Twitter分析:2011年アジアカップ(決勝戦)での「松木」Tweet状況
2011年1月29日、日本-オーストラリア戦、日本時間24:00キックオフ、1-0で勝利
※収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
厳しい試合でしたが辛勝しました。日本代表の皆さんおめでとうございます。
・日本が延長戦で豪州を下し、4度目のアジア制覇(スポーツナビ)
さて、その裏で次のような記事が出ていました。
・解説・松木安太郎に関するツイートが1試合1万5千件 (サポティスタ)
主要メンバーに「松木」を加えたTweet数のグラフが上記になります。
TwitterStreamingAPIでは、全体の1%程度しか取得できないので、Tweet数は相対的な比較で見てください。
グラフではわかりにくいので、各人ごとのTweet総数を出してみました。
| 川島 | 1788 |
| 李 | 942 |
| 長友 | 914 |
| 松木 | 851 |
| 本田 | 764 |
| 岡崎 | 588 |
| ザック | 557 |
| 内田 | 374 |
| 藤本 | 343 |
| 香川 | 323 |
| 前田 | 310 |
| 遠藤 | 308 |
| 長谷部 | 272 |
| ザッケローニ | 258 |
| 吉田 | 249 |
| 名波 | 210 |
| 今野 | 175 |
| 岩政 | 149 |
取得できるTweetが全体の1%なので、10~20件程度は誤差の範囲ととらえることができます。
状況によっては、100件くらいの誤差があるかもしれません。
それでも「松木」のTweetが多いのが明確です。人気ありすぎです。
※TwitterStreamingAPIではその時間の全Tweet数の約1%をストリーミングします。
ここでは、その中から日本語Tweetのみを抽出して集計しています。
平均的な時間帯なら日本語Tweetは18%程度ですが、このときは全Tweetの30%程度を日本語Tweetが占めていました。
したがって、単純に100倍しても正確なTweet数を得ることはできません。
あくまでも、相対的な比較のための数値としてみてください。
2011年1月26日水曜日
Twitter分析:2011年アジアカップ(韓国戦)での日本語Tweet状況
2011年1月25日、日本-韓国戦、日本時間22:20キックオフ、2-2でPK3-0で勝利
※今回は、人物ごとのTweet数は出していません。
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意※収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
韓国戦と言うこともあって、大変な盛り上がりでした。
基本的なパターンは、『Twitter分析:2010年ワールドカップ(パラグアイ戦)での日本語Tweet状況』のグラフと同じです。
(Tweetの収集数は、TwitterStreamingAPIの仕様変更のため異なります。数的には約1/5になっています。)
ゴールタイミングなどにより、個々のピークの位置は微妙に異なりますが、逆に、Tweet頻度からそれを判断できることが見て取れます。
それにしても、サッカーへの日本人の関心の高さがよくわかります。
■関連記事
・アジア杯日韓戦視聴率35・1% 関東、瞬間最高40%超
・サッカー:アジア杯準決勝 日韓延長、決着つかずPK戦
・アジアカップ“日韓戦”の平均視聴率35.1%、瞬間最高視聴率は40.6%
・未来を感じさせる日韓戦 韓国代表0-0日本代表
2010年12月11日土曜日
Twitter分析:2010年ワールドカップ(パラグアイ戦)での日本語Tweet状況
2010年6月29日、日本-パラグアイ戦、日本時間23:30キックオフ、0-0でPK3-5で敗退
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。(現在は全Tweetの約1%)
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
この試合は、ベスト8進出がかかっていただけに、途中での盛り上がりもこれまで以上。
最大Tweet数は、本サイトでの記録上は、4試合の中で最大。
今回注目すべきは、個人名のグラフでの、突出した川島のTweet数ではなく、駒野(PKが、バーに嫌われゴール上に外れる)のTweet数の推移。瞬間最大ではないが、駒野へのねぎらいのTweetがしばらく続いていた。
しかし、過去のグラフとスケールが違うので、見づらいが、最後に登場する岡田監督、「岡田」の出現パターンの安定っぷりは見事です。
■関連記事
・日本、PK戦の末敗退 初のベスト8ならず
2010年12月10日金曜日
Twitter分析:2010年ワールドカップ(デンマーク戦)での日本語Tweet状況
2010年6月24日、日本-デンマーク戦、日本時間03:30(27:00)キックオフ、3-1で勝利
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。(現在は全Tweetの約1%)
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
この試合については、分析とか必要ない状態。
個人名のグラフが、カメルーン戦が本田のゴール時に800件強、オランダ戦では500件弱だったのが、今回は1200件を超えていて、際だって多くなっていることがわかる。全体グラフの中でも、個人名のTweetが見極められるほどである。
3得点と個人ごとのTweetの盛り上がりが一致している。
- 1点目、前半17分、本田の劇的なフリーキック
- 2点目、前半30分、遠藤のフリーキック
- 3点目、後半42分、岡崎が押し込んだ
最初の本田のぶれ玉フリーキックが印象が強かった。2点目の遠藤はそれなりにTweetされているが、3点目の岡崎のゴールは、その直前までボールを持っていた本田に期待が高まっていた様子が見て取れる。
川島は、ゴールされそうなとき、というか、今回はゴールされてしまったとき(後半36分)Tweet数が最大になった。これは、キーパーのつらいところ。
全体のTweet数は、もう、この時間帯としては異常としかいいようがない。試合終了後のTweet数は、同じ時間帯の平均値の7倍程度となっている。
例によって、最後に登場する岡田監督、「岡田」の出現パターンだけは安定している。
これほど突出した異常値になると(つまり興奮的盛り上がりがあると)、分析によって何かを導きだすという立場からは難しくなることがわかってくる。ゴールした岡崎と本田のTweet数が逆転していることからも、単純に名前の頻度が事実を反映しているわけではない。本田の最初のフリーキックの影響もあるだろう。そこまでは、単純頻度からは導出できない。
※パラグアイ戦は、明日公開予定。
2010年12月8日水曜日
Twitter分析:2010年ワールドカップ(オランダ戦)での日本語Tweet状況
2010年6月19日、日本-オランダ戦、日本時間20:30キックオフ、0-1で敗北
[1)2010年ワールドカップ(日本-オランダ戦)での日本語Tweet数]
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。(現在は全Tweetの約1%)
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
グラフ1からみれる盛り上がりは、前回カメルーン戦と同じであり、時間帯をずらすと、ほぼ同じような形になっている。
今回は、敗戦だったので、最後の盛り上がり方が、さほどでもなかった。
前回も今回もそうなのだが、試合後のつぶやきというか雄叫びというか嘆息というか、それが一番多い傾向にあるのが見えてくる。
今回は、日本のゴールがなかったので、人名での頻度はさほど突出してない。人気選手や(いろんな意味で)注目選手へのTweetが多かったのではないかと思う。
前回と今回で、全く同じなのが、人名「岡田」の出現パターンである。試合終了後の岡田監督に対するインタビュー関連のTweetだろうと思うが、当然ながら試合中につぶやかれることの少ない人物であるのは間違いなさそうである。
※残りの、デンマーク戦、パラグアイ戦も同様の分析を行います。明日以降、更新予定。
2010年12月6日月曜日
Twitter分析:2010年ワールドカップ(カメルーン戦)での日本語Tweet状況
2010年6月14日、日本-カメルーン戦、日本時間23:00キックオフ、1-0で勝利
[1)2010年ワールドカップ(日本-カメルーン戦)での日本語Tweet数]
[2)個人名でのTweet数](時間幅に注意)
岡田
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
川口、楢崎、川島、中澤、闘莉王、駒野、岩政、今野、長友、内田、中村、俊輔、稲本、遠藤、憲剛、松井、阿部、長谷部、本田、玉田、大久保、矢野、岡崎、森本
※Tweet総数が、これまでの報告に比べて多いのは、2010年7月中旬までは、Twitter Streaming API で全Tweetの5%を取得できていたため。(現在は全Tweetの約1%)
※試合時間の関係で、グラフ表示は、時間をずらしてあるので注意
※その他の収集条件は、「Twitterにおける日本語投稿の一傾向分析」と同じ。
グラフ1からは、キックオフ前から徐々に盛り上がっていっているのが見て取れる。最大時(試合終了時=勝利確定時)には、通常(2010年6月平均)の同時刻の3倍を超えるTweetが起こっている。これは、Tweet数の通常時との乖離具合から何らかのイベントの発生を推測できる可能性を示唆していると考えられる。これは、前回報告の「Twitter分析:地震発生時(2010年11月30日)におけるTweet状況」からも読み取ることができる。
一方、人名(日本代表メンバー)を含むTweetの数も出してみたが、地震発生時の関連語彙の出現数に比べると意外なほど少ない。グラフ1では見づらいので、グラフ2として拡大してみた。時間幅も試合時間を中心とした6時間分だけにしてある。
人名の頻度差から、そのときの試合状態を想像することができる。しかし、それが全体のTweet数と必ずしも同期していない、それどころか、全体数への影響も少なく、ほとんど無関係なのに驚いた。たとえば、本田のゴールの際に「本田」を含むのは、その時点の一割未満にすぎない。(「本田」で収集したので「本田△」なども含まれる)
では、ほとんどのTweetは何かというと、ほとんど雑談的な内容。「意外と前半いい感じ。」「この時間にそれは辛い…」など。試合終了後は「勝ったー」「すげぃ〜!!勝利〜!!!!」などのシャウト系のTweetが多くみられた。
統計処理的な立場でTweet数からイベントの発生をとらえて、さらに自然言語処理的解析で何が起こったのかを絞り込むことを考えたい。そのために、今回は固有名詞として、人名を利用してみた。しかし、実際には、Tweet内容は意味的にはほとんどカオス状態である。この混沌から、何かを導き出すためには、もっと工夫が必要である。
※オランダ戦、デンマーク戦、パラグアイ戦にも同様の分析を行います。明日以降、更新予定。
登録:
投稿 (Atom)



















