《小黄人》围绕小黄人们的“前格鲁时代”展开叙述，并特别追溯了小黄人的起源。小黄人总是忠诚地为主人提供各种服务，兢兢业业，毫无怨言，直到它们失手“害死”每一任主人。在痛苦地失去一个又一个主人后，被困在冰洞之内小黄人们愈发焦躁不安，他们决定挺身而出，去到花花世界，再次寻找可以效劳的主人。

从地球诞生之初，一种奇怪的生物便出现在这颗蓝色的星球上。他们不断进化、蜕变，终于成为我们所熟悉的小黄人的模样。小黄人们毕生寻找邪恶的老大，以成为他的部属为荣，但是千百万年来的努力最终化成一场空。经历了一段长久的沉寂，名叫凯文的小黄人决定再度上路，他带着热爱音乐的斯图尔特、成事不足败事有余的鲍勃，漂洋过海来到了1968年的美国。三个小家伙偶然听说奥兰多即将召开“恶人大会”，于是忙不迭地赶了过去，并且阴差阳错成为女魔头斯嘉丽·杀人狂的随从。很快斯嘉丽交给他们一个任务，那就是窃取英国女王的王冠。 不知轻重的小家

影片讲述小黄人们在遇到最新一代主人格鲁之前的经历。从史前时代开始，小黄人接连辅佐霸王龙、彪悍野人、吸血鬼德古拉等邪恶主人，只不过这些坏蛋的下场都不怎么样，无一不是尸骨无存。可见，小黄人们尽管“一心向恶”，但天生的“萌蠢”却让他们成为不折不扣的罪恶克星。 本片的三个主角，鲍勃、凯文和斯图尔特在“坏蛋大会”上遇到女魔头斯嘉丽·杀人狂，并计划协助这位新主人窃取伊丽莎白女王的王冠。当然，“成事不足败事有余”的小黄人们自然也没让观众失望，“成功”地被女王击败。气急败坏的女魔头想通过枪杀、上吊等手段惩罚小黄人，只可惜