何故かと聞かれると、むしろ何故入れないのかって聞き返したくなるんですけど、多分一番口に入れるのがその物を理解しやすいからかな？
食べ物じゃないことはわかってます。見た目と口に入れた時の感触にギャップがないか確認していくような感じです。
私は硬い紙（絵本とか）の角を噛むのがマイブームの時があって、噛み心地と害のない感じの味が好きでした。
ある日ちょうどいい硬い紙があったので、一つずつ角を噛んでぐじゅぐじゅになったら次の角、またぐじゅぐじゅになったら次、って噛んでいって、四つ行ったら最初の角に戻りますよね。
で、一回噛み終わって冷たくなってるやつは嫌やったんでもうひと回しして角が全部制覇されてるのを知ってから、角と角の間、辺をトライしてみたんです。
しばらくトライしたんですけどすごい噛みにくくて断念しました。
今ならその紙をハサミで切っていっぱい四角作るんですけど、まぁ、しませんけど。

口に物を入れなくなる理由は、多分、大体の物の味と感触が見て分かるようになったのと、歩き出したりすると興味のある物が増えすぎて口に物を入れるのを忘れるようになるから、かな？多分そんな感じ。

Why do you put things in your mouth?

If you asked me why, I would say "why not?".
coz it's more easy to understand them to check with our mouth maybe.
I knew that it's not a food. I was checking how hard they are, how is the texcture, and if I could see their charactore (is it correct way to descript?) by seeing them.
I liked to put a hard papere with its corner. I liked the feeling and harmless flavore when I bite them.lol.
Once I found a good paper and went for all the corner, and back to the first one(cold and done lol), and one more turne for check, and I knew it's all done, I went for the area. the edge.  
It was hard to put in my mouth, it hurt my mouth's edge, so I gave it up.
now I can cut the paper with a scissors and make many squares. I don't do tho.

Why we stop putting things in our mouth?

when we started to walk, we started to be interested in many things and forget to put them in my mouth. 
also we got know their tast, texture, of almost all. And we wtarted to know that we use them for some perpose.