町外れの山麓に、お爺さんとお婆さんが二人で暮らしていた。二人の生活は非常に質素なもので、小さな畑で野菜を育てながら、柴刈りや内職で生計を立てていた。子供はおらず、ずっと二人暮らしの生活だが、二人の家には小さな居候がいる。時々壁の穴から顔を覗かせる一匹の小ネズミである。心優しいお爺さんとお婆さんは、穴を塞ごうともせず、わざと食べ物を置いてやったりして、陰ながら小ネズミを可愛がった。
ある日、お爺さんが山へ出かけた時のこと。木の枝などを拾いながら歩いていると、どこからか聞きなれない音が聞こえてきた。気になったお爺さんが音のする方へ行ってみると、何匹ものネズミが集まって、相撲をとっている。お爺さんが面白がって眺めていると、その中に見覚えのあるネズミを見つけた。お爺さんとお婆さんの家に出入りしているあの小ネズミである。お爺さんは思わず小ネズミを応援するが、何度やっても勝つことができない。よく見れば、他のネズミたちは皆、小ネズミより体が一回り以上大きかった。一番大きな大ネズミに至っては倍くらいもある。痩せた小ネズミの姿を見たお爺さんは、ろくなものを食べていないからだろうと申し訳なく思った。
それから家に帰ったお爺さんは、お婆さんにこのことを話して聞かせた。お爺さんは悩みながら呟く。
「うちのネズミだけ痩せていて可哀想だ。何か良いものを食べさせてやりたいがのう……」
すると、お婆さんが思い出したように言った。
「それならお爺さん、正月用に用意したお餅があるじゃありませんか。私たちはそんなに食べませんし、あの子に分けてあげましょう」
「おお、それは良い考えじゃ。さっそく準備をしよう」
それから二人は、餅をこねて手頃な大きさの団子を作ると、小ネズミに分かるように穴の近くへ置いた。
しばらくして、相撲から帰ってきた小ネズミはすぐに団子を見つける。たくさん運動して空腹だった小ネズミは、夢中で団子にかぶりつくとあっという間に平らげてしまった。
「なんて美味しい団子なんだ」
小ネズミはお爺さんとお婆さんからの素敵な贈り物に感動する。そして、せめてものお礼にと、お気に入りの木の実を二つ代わりに置いておいた。
翌朝になって、お爺さんとお婆さんは、団子の代わりに置かれた木の実に気付く。それが小ネズミからのお返しだろうと思った二人は、その小さな木の実を大事そうに拾い、とても喜んだ。それからというもの、お婆さんは毎日小ネズミのために団子を作り、お爺さんは毎日小ネズミの相撲を見守る。ネズミたちの中でも特に弱かった小ネズミだが、二人の団子を食べながら稽古に励む内に、どんどん力をつけていった。そして、成長した小ネズミは、ついに大ネズミと良い勝負をするまでになる。これには大ネズミをはじめ、仲間のネズミたちも驚いた。大ネズミは小ネズミに尋ねる。