前回、食べログの「新宿駅周辺＞ラーメン屋」
の口コミをスクレイピングしてdoc2vecで類似度分析をしてみましたが、
いまいちうまくいきませんでした。
KH-Coderの結果とdoc2vecの結果が全くちがった結果となっていたので、
doc2vecのやり方になんらかのミスがあったことが
見て取れる結果でした。
少し試しながら調べてみたところ、
下記の点が大きく誤っていた点でした、、
恥ずかしながら、、、
・doc2vecでモデルを作る際、
[[文書1の単語1,文書1の単語2、…][文書2の単語1,文書2の単語2…]、…]
というような形のデータを入れなければいけないところ、
シンプルに
[文書1の単語1,文書1の単語2,…,文書2の単語1,文書2の単語2,…文書3の単語1,…]
というように、
リストの入れ子のような形にせずに、単純なリストの形にしたものを
そのままモデルにぶちこんでしまっていたこと
・分析対象となる口コミのテキスト(1店舗につき１ファイル)を、
分かち書きせずに変数に入れ、そうして作った変数の中身同士の類似度を
算出してしまっていたこと。
よって、1要素のみのリストとして各口コミデータを渡していたことに
なってしまっていた。
…という、大変初歩的かと思われるミスでした。
改めて出してみた結果。
それに対して、KH-Coderの結果が下記です。
いくつかのお店について見てみます。
●満来
「ほりうち」や「風雲児」とは
KH-Coderのグラフで見ても非常に近く、
共通する結果が得られました。
●風雲児
KH-Coderでも
「麺屋武蔵」は「風雲児」と非常に近く、
共通する結果が得られたものの、
同じように近い「凪」がdoc2vecで遠い数値になっていることは
疑問が残ります。
最も近い類似度になっている2店舗は
うまく抽出できているものの、
Doc2vecでの類似度の値が0.7あたりを切ると、
KH-Coderの結果とは乖離がみられるようです。
単語の集計方法に違いがあるので、
許容範囲ではあるのかなと思っています。
最も遠い店舗同士も、
だいたいうまく抽出できているようです。
続いて、
doc2vec上で「最も近い類似度だった店舗同士」が
「どういう特徴のもとで近くなっているのか」
を見てみようと思います。
この調査にあたっては、
【1】全口コミの中から、頻出する単語の上位のものを抽出。
【2】その中でも、お店の味など特徴を表しそうな言葉を20個ほど選抜。
【3】その20個の言葉が、それぞれの店舗でいくつずつ登場するかを集計。
今回選抜した、いわば「お店の特徴語」22個は、
塩 魚 海老 出汁 鶏 細 魚介 辛い 多い
チャーシュー 量 濃い 濃厚 肉 油 豚
煮干 醤油 メンマ 太 味噌 ワンタン
です。
上述で出ていた似ている店舗同士の集計結果を見てみます。
●「満来」と「ほりうち」
→チャーシューや食事の量、醤油ラーメンやメンマの語が多いなど、
かなり似ている傾向にあることがわかります。
●「風雲児」と「麺屋武蔵」
→風雲児は濃厚という言葉が再頻出なのに対し、
麺屋武蔵は魚介が再頻出、
風雲児に多く登場する鶏という単語は
麺屋武蔵にはほとんど登場しない、
など多少の傾向の違いはありますが、
上位の10語のランキングを見ると、共通する部分も多いことがわかります。
「魚介」「チャーシュー」「醤油」「濃厚」「太麺」
が特徴を表すキーワードとなっているようです。
やっとdoc2vecをまともに使えた感じがします…笑
類似度を数値化できることの強みは、ここからの応用範囲にあると思うので、
どんな面白いことができるか、
今後試していきたいです。