O Superior Tribunal de Justiça tem entendido que, em regra, não compete ao Poder Judiciário apreciar critérios de formulação e correção de provas, em concursos públicos. Com efeito, em respeito ao princípio da separação de poderes consagrado na Constituição Federal, é da banca examinadora desses certames a responsabilidade pelo seu exame (RMS 33884 / RS, Rel. Min. MAURO CAMPBELL MARQUES, DJe 13/12/2011).

Mas quando o vício que macula a questão é "gritante" (onde fica caracterizado o erro crasso na elaboração da questão), o STJ tem entendido que é possível sua anulação pelo judiciário. Nesse sentido, confira-se o seguinte julgado do STJ:

ADMINISTRATIVO – RECURSO EM MANDADO DE SEGURANÇA – CONCURSO PÚBLICO – CONTROLE JURISDICIONAL – ANULAÇÃO DE QUESTÃO OBJETIVA – POSSIBILIDADE – LIMITE – VÍCIO EVIDENTE – PRECEDENTES – PREVISÃO DA MATÉRIA NO EDITAL DO CERTAME.
1. É possível a anulação judicial de questão objetiva de concurso público, em caráter excepcional, quando o vício que a macula se manifesta de forma evidente e insofismável, ou seja, quando se apresente primo ictu oculi. Precedentes.
[...]
(STJ, RMS 28204 / MG, Rel. Min. ELIANA CALMON, SEGUNDA TURMA, DJe 18/02/2009).

Resumindo o entendimento do STJ:
A jurisprudência do STJ admite a revisão dos critérios adotados pela banca examinadora de concurso público apenas em situações excepcionais, onde fica caracterizado o erro crasso (grosseiro) na elaboração da questão. Mas em regra, o STJ entende que não cabe ao Poder Judiciário, no controle jurisdicional da legalidade do concurso público, tomar o lugar da banca examinadora, nos critérios de correção de provas e de atribuição de notas (STJ, AgRg no RMS 33968 / RS, Rel. Min. HUMBERTO MARTINS, DJe 01/07/2011).

Discussão da matéria no STF
O STF reconheceu a existência de repercussão geral no RE 632853, que discute a possibilidade de o Poder Judiciário realizar o controle jurisdicional sobre o ato administrativo que profere avaliação de questões em concurso público.
A decisão a ser proferida pelo STF no RE 632853 vai servir como um balizador para todos os processos em que se discute idêntica controvérsia.

Vale também conferir o seguinte julgado do STF:

EMENTA: Concurso público: controle jurisdicional admissível, quando não se cuida de aferir da correção dos critérios da banca examinadora, na formulação das questões ou na avaliação das respostas, mas apenas de verificar que as questões formuladas não se continham no programa do certame, dado que o edital - nele incluído o programa - é a lei do concurso.
(STF, RE 434708 / RS, Rel. Min. SEPÚLVEDA PERTENCE, DJ 09-09-2005 PP-00046).


Significado de "primo ictu oculi": ao primeiro golpe de vista.