回答のばらつき、AIの誤判断が多いため、微妙と感じました。

改善してほしいポイント

・どんな質問に対しても、必ず5つのAI処理結果が出力されるが、全く見当違いのものを自信満々に出してきたりする。
・キーワード的に似ていると思われるものを最大5つまで列挙するのではなく、キーワード的に似ているものが無くなっても、とにかく5つの回答を出すというスタイルのため、下手をすると全回答が珍回答になっている場合がある。スマホからの利用時は、パケットの無駄にもなるので勘弁してほしい。「～ですか？」と聞いたら、予め用意しておいたテキストに「ですか」が含まれているものは全て回答対象になるとか、ちょっと頭が悪すぎるのではないかと思うことが多々ある。
・回答に対して「解決した」「有人対応を希望する」の二択しかなく、「問い合わせをキャンセルしたい」という選択肢が無く、問い合わせを中断したい場合に無駄な操作を強いられる。UI設計面のユーザビリティはかなり悪い方に入るという評価状態である。
・該当する情報が導き出せなかった時の説明文が長い。（無いなら「見つかりませんでした」だけで良い）
・回答の自動生成は実感できなかった。予め用意しておいたテキストを検索するだけでは？（回答時の口調は確かに自動生成だが…）

どのような課題解決に貢献しましたか？どのようなメリットが得られましたか？

・予め用意しておいたテキストや資料をいちいち検索する必要がなくなったため、きちんとした回答が得られた場合は「効率が良くなった」と評価できる。
・特に、情報量が多い社内規定の検索面においては、的確な回答が得られた場合のメリットはとても大きい。（珍回答が多いため、現状では自分で調べたほうが早い状態であるのが、玉に傷）
・新ルール発表後や、社内ツールをリリースした後に発生しがちである、電話やメールによる複数の社員からの同類の問い合わせがある場合の対応工数が、大幅に減った。

検討者へお勧めするポイント

社内外のマニュアルベースの問い合わせが多い企業で、長い目で見ることができるのであれば、それなりの業務効率化は図れる可能性があります。
１日に問い合わせが数百件ある企業であれば、学習効率も良く、AIとしての成長も望めるのではないかと感じています。私共の会社では１日の問い合わせがせいぜい50件程度で、変則的な内容も多いため、不向きであるという評価になりました。