Standardisierte Tests verfügen bei der Datenerhebung über mehrere Vorteile (vgl. Trautner, 1997):
Angabe des Entwicklungsstandes und Vergleichsmöglichkeiten: Sie erlauben aufgrund ihrer Standardisierung Aussagen über den Entwicklungsstand einer Person im Vergleich zu anderen Personen.
Stärken hinsichtlich der Testgütekriterien: Standardisierte Tests besitzen im Vergleich zu anderen Methoden der Datenerhebung oft Vorteile hinsichtlich der Testgütekriterien
wie Objektivität, Reliabilität und Validität. Diese Gütekriterien werden im Abschnitt Testgütekriterien eingehend besprochen.
Nachteile
Als Nachteile standardisierter Tests kann man ähnliche Aspekte wie bei Befragungen im Allgemeinen aufführen:
Notwendigkeit der Kommunikationsfähigkeit: Grundlage für standardisierte Tests sind kommunikative Kompetenzen der Befragten. In aller Regel handelt es sich dabei um
sprachliche Fähigkeiten.
Möglichkeit ungenauer oder falscher Einschätzungen: Menschen schätzen ihre Persönlichkeitseigenschaften mitunter ungenau oder falsch ein. Dieses Problem tritt jedoch nicht bei
der Testung von Leistungsmerkmalen (z.B. Intelligenzleistung) auf.
Antwortverzerrungen: Auch bei der Erfassung von Persönlichkeitsmerkmalen (im engeren Sinne) können Antwortverzerrungen auftreten - beispielsweise
in Richtung sozial erwünschter Eigenschaften. So wird Gewissenhaftigkeit mutmaßlich mehrheitlich positiv bewertet und dürfte
als sozial erwünscht gelten.
Unwahre Antworten: Aufgrund der Befürchtung negativer Konsequenzen werden von Befragten bewusst falsche Antworten abgegeben (z.B. in einem Bewerbungsgespräch).
Auch dieser Nachteil trifft nur für Tests zur Messung von Persönlichkeitseigenschaften im engeren Sinne zu, nicht aber für
Leistungstests.