《小黄人》围绕小黄人们的“前格鲁时代”展开叙述，并特别追溯了小黄人的起源。小黄人总是忠诚地为主人提供各种服务，兢兢业业，毫无怨言，直到它们失手“害死”每一任主人。在痛苦地失去一个又一个主人后，被困在冰洞之内小黄人们愈发焦躁不安，他们决定挺身而出，去到花花世界，再次寻找可以效劳的主人。

从地球诞生之初，一种奇怪的生物便出现在这颗蓝色的星球上。他们不断进化、蜕变，终于成为我们所熟悉的小黄人的模样。小黄人们毕生寻找邪恶的老大，以成为他的部属为荣，但是千百万年来的努力最终化成一场空。经历了一段长久的沉寂，名叫凯文的小黄人决定再度上路，他带着热爱音乐的斯图尔特、成事不足败事有余的鲍勃，漂洋过海来到了1968年的美国。三个小家伙偶然听说奥兰多即将召开“恶人大会”，于是忙不迭地赶了过去，并且阴差阳错成为女魔头斯嘉丽·杀人狂的随从。很快斯嘉丽交给他们一个任务，那就是窃取英国女王的王冠。 不知轻重的小家

洗心革面之后，格鲁作为特工成绩斐然，却因未能打败坏小子巴萨扎·布莱德而被新局长扫地出门。就在此时，他收到一封远方来信，这才得知自己原来还有一个双胞胎兄弟德鲁。在德鲁盛情邀请下，格鲁带着妻子露西·王尔德以及玛戈、伊迪丝和阿格蕾丝来到了他亲生父亲所居住的地方探亲。德鲁天真烂漫，却一心想和哥哥搭档成为坏蛋二人组。格鲁虽然暂时回归狂野，可正义之心并未泯灭。 尤其当巴萨扎邪恶的计划和三个可爱的孩子牵扯到一起时，他再也无法坐视不理……