TOEFLのAIスピーチ採点使って面白かったこと

もはや最近TOEFLのスピーキング対策が趣味のレベルになってきてますが、Myspeakingscoreのクレジットをマックス(60クレジットで110ドルぐらい?)買ったので、いろいろ遊んでます。

面白かったのは、必ずしもchatgptに英文を作ってもらってもいい点数が出るわけではないということです。今回、どのくらいレベル感の英文がいい点数出るんだろうと思って、自分でタイプしたのを音読、それをもとにchat gptに添削してもらったのを二つ音読したんですが、結果が別れて面白かったです。

まず、自分でタイプしたのを音読した時のスコアと元原稿はこちら。例のごとくですがrepetitionが多い。関連して、vocabulary depthも低い。逆に、speaking rateやdiscourse coherenceは高い。だから、簡単な単語でペラペラ話してる分だけ(コンピューターでも)わかりやすいけど、繰り返しが多いと。

*****
SpeechRater™ Score:3.18、TOEFL® Speaking Estimate:24
Speaking Rate97、Repetitions37、Rhythm84、Vocabulary Diversity95、Sustained Speech96、Phrase Length96、Vowels99、Grammatical Accuracy99、Pause Frequency96、Distribution of Pauses94、Vocabulary Depth39、Discourse Coherence99


Personally, I think children should receive an allowance when they do household chores. This is because giving money helps children develop their responsibility. For example, when I was a kid, I had to do chores such as washing dishes, cleaning a bathtub, going shoping, things like that. When I finished them, my mother always gave me some money. When I received it, I felt very proud of myself. Because the money indicated the fact that I achieved something by my own hand. As a result, I became more and more responsible for doing chores, because I felt that this is my job. For this reason, I agree with this idea.
*****

次に、上記の英文をそのままコピペして、そこに「ネイティブ的な英語にして」と指示つけた例文を音読した時のスコアと例文はこちら。面白いのは、discourse coherenceやgrammatical accuracyが低いこと。代わりに、vocabulary depthやrepetionのスコアが高くなってます。これは僕が自分で話した時のスコアでもそうなんですが、どうもある程度ボキャブラリーが増えて話が込み入ってくるとAIは理解できないっぽいです。だから、discourse coherenceが下がると。あと、grammatical accuracyが下がったのはたぶん構文や文法が複雑になってAIが理解できなくなったから。

*****
SpeechRater™ Score:3.43, TOEFL® Speaking Estimate:26

Speaking Rate84, Repetitions99, Rhythm99, Vocabulary Diversity99, Sustained Speech88, Phrase Length85, Vowels96, Grammatical Accuracy40, Pause Frequency97, Distribution of Pauses99, Vocabulary Depth99, Discourse Coherence31


In my opinion, kids should get an allowance for doing household chores. This is because providing money helps them learn responsibility. When I was young, I had various chores like washing dishes, cleaning the bathtub, and grocery shopping. Whenever I completed them, my mom would give me some cash. Receiving it made me feel really proud because it showed I'd achieved something on my own. Consequently, I grew more responsible for these tasks, feeling like it was my duty. That's why I support this idea.
*****

そして、一番面白かったのがこれ。最初の自分でタイプした原稿に、「toeflスピーキングテストで満点取れる英語にして」と指示した時にchat gptが出してきた英文を音読したらなんと一番点数が低かった。衝撃的なのが、Grammatical Accuracy6とDiscourse Coherence7。たぶん、Reflecting on my own childhoodのような分詞構文や、The sense of pride upon receiving it のような動名詞とかたぶん構文が複雑になりすぎてAIには理解できないんじゃないかなと。丁寧に話したら、Speaking Rate63とこれも低い。

*****
SpeechRater™ Score:3.21, TOEFL® Speaking Estimate:24

Speaking Rate63, Repetitions62, Rhythm99, Vocabulary Diversity95, Sustained Speech81, Phrase Length64, Vowels93, Grammatical Accuracy6, Pause Frequency85, Distribution of Pauses92, Vocabulary Depth99, Discourse Coherence7

I believe it's beneficial for children to earn an allowance through household chores, as it instills a sense of responsibility. Reflecting on my own childhood, I regularly undertook tasks like dishwashing, cleaning, and grocery shopping. Upon completion, my mother would reward me with a monetary allowance. The sense of pride upon receiving it stemmed from knowing I'd achieved something independently. This encouragement drove me to assume greater responsibility for these chores, seeing it as my personal duty. Therefore, I strongly support the notion of providing children with an allowance for their household contributions.
*****

まだ一回しか試してないんで、ここからどこまで一般化できるかはまだわかりません。ただ、かなり衝撃的な結果が出たし、その結果に関してもよくよく考えると納得です。たぶん、最後のは会話で話せるレベルの文章じゃないんですよね。だから、これを音読すると機械採点はかなり低く出ると。逆に、真ん中のは「これくらいなら話せるでしょ」というレベルなんで、これを音読するといい点が出ると。

言い換えれば、「ちょっとイケてる」ぐらいの文が話せれば十分点数は出る可能性があるということです。もちろん、その「ちょっとイケてる」が難しいわけですが、ただ「これは話せないでしょう」という例文を頑張って言わなくていいというのは心の支えになるかなと思います。

長くなったのでこの辺で。

では!

井上大輔

高度な外国語力を身につけたい人、テストで結果を出したい人に向けて役立つ情報をつぶやき中。TOEIC980点。早稲田英文→早稲田仏文修士→上智外国語学部修士→上智大学博士課程在学中。英語・仏語・西語・伊語の参考書&翻訳書も出版。著書一覧→http://amzn.to/jzUDtr