在一所大房子的门厅里，有一座时钟，在时钟的底下，有一个洞。洞里住着一户借东西的小人，借东西的小人就是住在别人的房子里专门借走别人东西的小人。这户借东西的小人家里有三个人：爸爸波德、妈妈霍米莉、女儿阿丽埃蒂。他们的名字也是借来的。
他们一家生活在时钟底下的洞里，但并不在时钟附近。从洞口到他们家要走过很长的积满灰尘的黑暗过道。过道上有一道道门用来防御老鼠，门上有用发夹和别针做的机关，只有波德一个人能打开门。所以说，他们住在这个洞里是很安全的。
波德一家的所有东西都是借来的：土豆借来做食物，纸盒借来做床，邮票借来做壁画。
这所大房子几年来都没有人住，但是不久以前搬来了四个人：索非姑妈--一个终年卧床的老妇人、烧饭的德赖弗太太、园丁克兰普福尔和一个小男孩。
阿丽埃蒂的爸爸--波德是一个借东西的能手，在借东西的时候从来没有"被看见"过，"被看见"可是一件很恐怖的事情。阿丽埃蒂的叔叔就是因为借东西被看见，最后不得不搬到田野里的獾洞里去住了。
一天，阿丽埃蒂睡觉的时候，听见爸爸妈妈正在小声地说着什么。只听见妈妈很吃惊地说："什么，你被看见了？"爸爸用很低的声音说："当时，我拿着茶杯，吊在窗帘上，回头看见一个男孩正坐在床上看着我。我吓得不知该怎么办，我在窗帘上待了足足十分钟。后来那男孩走了过来，叫我把茶杯给他，我把茶杯拿给了他，等我爬下窗帘，他又把茶杯还给了我。"妈妈低声尖叫："那怎么办呢？"爸爸说："恐怕我们得......"
妈妈说："不，不搬走，我们不能搬走！"听到这里，阿丽埃蒂明白了，是爸爸今天去借东西时被看见了。
自从波德上次借茶杯被看见后，好几天都不敢出去借东西了。
有一天，家里的刷子的毛没有了，霍米莉让波德去借门垫上的毛来做刷子。阿丽埃蒂从来没有去借过东西，于是霍米莉就让阿丽埃蒂跟着爸爸去借东西。阿丽埃蒂等这天的到来已经等了很久了。这天，她穿着轻便的衣服、鞋子和爸爸一起去借东西。他们穿过黑暗的通道，终于到时钟底下了。阿丽埃蒂是第一次走出他们生活的那个小家，她东看看，西瞧瞧，对一切都很好奇。波德让她站在时钟底下，自己去拔门垫上的毛。
阿丽埃蒂四处走了走，走到了花园的小路上。这里有许多樱桃树，树下撒满了粉红色的花瓣，还有绿色的甲虫、小草......一切都让阿丽埃蒂感到新鲜和快乐。
就在这时，阿丽埃蒂突然看见一个巨大的人。她大吃一惊，屏住了呼吸，小心地移动着，想悄悄溜走。
"不要动，不然，我用这根树枝打你。"那人说。
阿丽埃蒂只得站着不动，抬头一看，是一个男孩。
男孩问："你是什么东西？"
阿丽埃蒂说："我是借东西的小人。"
"借东西的小人？"男孩惊奇地说，"什么是借东西的小人？"
阿丽埃蒂说："就是住在别人的房子里专门借别人东西的小人。"
男孩笑了："你是这么称呼这种行为的吗？这种行为是偷。"
阿丽埃蒂很认真地说："这叫借，不叫偷。"
男孩问她："你会读书吗？"
阿丽埃蒂说："会。"
见这个男孩很可爱，而且并无恶意，阿丽埃蒂便告诉他一些关于借东西的事，并和男孩聊了起来。直到爸爸叫她，她才匆匆忙忙地走了。
阿丽埃蒂没有把这件事告诉家人，而是悄悄地在日记本上写下："今天去借东西，遇到一个男孩。"
从那天以后，阿丽埃蒂再也没有机会出来借东西，也没见过那个男孩。
一天夜里，全家人都睡了，突然刮起了一阵风，还有沙吹了进来。波德和霍米莉惊醒了，他们看见整个天花板倾斜了，一根灰色的大钢棒捅到了房间里来，两人吓得呆住了。没过一会儿，整个天花板都不见了，一张巨大的脸出现在天花板的缺口处。这时阿丽埃蒂也醒了，一看，原来是那个男孩。男孩俯下身子说："我给你们弄来了点东西。"男孩小心翼翼地把这些东西放到他们身旁，有玩具食柜、玩具椅子等。
就这样，男孩经常会给他们送来一些东西，他们的家变得富丽堂皇。为了报答男孩，阿丽埃蒂每天下午在草地上念书给男孩听。男孩仰天躺着，阿丽埃蒂站在他的肩上，要翻页的时候就告诉男孩。
这样的日子过得很快活，但德赖弗太太发现了家里的一些小东西一天天消失了。她为了查出是谁偷了家里的东西，每天都在秘密侦察。有一天夜里，德赖弗太太在厨房里看见一块突出来的地板，于是她弯下腰把突出的地板按下去，刚按下去就听见一阵尖叫声、说话声、喘息声，只见三个有手有脚的小人慌慌张张地从地板下跑了出来。
德赖弗太太吓得大喊救命，低下头看，地板底下全是家里丢失的东西，有小画像、小雕像，还有她的怀表、小饰品......
男孩在卧室里听见厨房里的尖叫声。他冲进厨房，只见小人的家变成了一片废墟。
男孩忙轻声呼喊："阿丽埃蒂！霍米莉！波德......"
过了很久，三个小人从时钟底下钻了出来，他们默默地站着，抬起苍白和害怕的脸，看着男孩。波德叹了口气说："我们得离开这里。"男孩知道他们必须离开这里了，因为德赖弗太太已经报了警。
于是男孩找来一个袋子，准备把三个小人带出去。这时突然听见门外有一声响动，三个小人吓得一下子跑得没影了。
第二天，警察来了，捉老鼠的人也来了，狼犬也来了。捉老鼠的人在喷着难闻的液体，想要把小人熏出来。
可是，他们一直没有找到那三个小人。小人们到底到哪里去了呢？或许他们已经逃走了，逃到了田野的獾洞里，过着另一种生活。