公平与效率往往是两个难以同时兼顾的方面，人们经常会遇到公平优先还是效率优先的两难选择。在公平与效率之间，主考者较注重效率，应试者较关心公平。考试制度的设计者最初一般都是注重考试的效度、效率，考虑的是如何更有效地选拔真才，而应试者关心的则是考试竞争的公平性和录取程序的公正性。在考试实际中，当求取真才与公平产生客观矛盾时，基本上是效率让位于公平，也就是公平优先。
科举制实行之初，唐代实行通榜、公荐之法，主考官可以参考举子平时的水平和声望来录取进士，确实选拔了一批才士，如杜牧就因为《阿房宫赋》被吴武陵赏识、推荐而进士及第的，但由于这种办法导致请托盛行、舞弊不公，宋代以后便实行糊名誊录办法，“一切以程文为去留”，也就是完全依据考试成绩来决定是否录取，舍弃其他可能有人为因素介入的参考依据。到明清时期，更是发展出八股文这种将防止作弊推向极端化的标准化考试文体。这样，虽然在相当程度上防止了考试作弊，但也存在只以卷面成绩取人而遗漏真才的可能。在舞弊不公与僵化刻板之间，考生宁愿公平竞争而接受死板的考试，即所谓两害相权取其轻者，这就容易驱使考试制度走向违反设科求才本意的死胡同。正如顾炎武在《日知录》卷十七《糊名》中说：“国家设科之意本以求才，今之立法则专以防奸为主，如弥封、誊录一切是也。”
有许多事例可以看出考生只关注考试是否公平而不论考试的效率如何。据元代刘祁的《归潜志》卷十载，金朝泰和、大安（1201年至1211年）以后，因为考官谨小慎微，阅卷只看是否符合时文考试程式而不顾其内容，“其逸才宏气喜为奇异语者，往往遭黜落，文风益衰”。有一次赵秉文主持省试，见举子李钦叔所作赋文虽然不太符合格律，但辞藻庄严，清新绝俗，大为欣赏，录取为第一名。于是众举子哗然，投诉状告赵秉文坏了文格，并作诗加以讥讽。据《清史稿》卷一〇八《选举志》载，康熙六十年（1721年）会试副总裁李绂鉴于用糊名誊录考试方法会使一些有名望的才士落榜，于是改用唐代的通榜法，拔取举人中的知名才士，结果引起落第举人闹事，喧哄于其门外，致使李绂被弹劾革职。尽管“是闱一时名宿，网罗殆尽，颇为时论所许”，但李绂还是因此而被迫下台。此次事件足见公正客观的考试虽有局限，但一般考生宁愿接受公平而刻板的考试而不愿接受可能走后门的变通办法，即不管结果是否合理，关键要保证程序公平。不过，长期固执地维护程序公平有可能将考试推向穷途末路。科举时代从众多科目发展到只剩进士一科，考试内容从多样走向统一，八股文命题从明白正大走向偏难险怪，都是部分受维持公平的压力的驱使。
公平是一个复杂的概念。在考试选才中不仅存在着公平与效率的矛盾，而且有时还存在着两种公平之间的矛盾。例如，考试公平与区域公平的矛盾（古代的倾斜的“高考分数线”问题），就是一个自宋代以后就争论不休的千古难题。考试公平是指完全依据考试成绩来公平录取考生，区域公平是指通过区域配额来调控各地区之间考中人数的悬殊差异，在中国这么一个幅员辽阔的大国，这是一个古今大规模考试都遇到的一个棘手的问题。