Showing papers by "Ulrich Schroeders published in 2014"

Pitfalls and Challenges in Constructing Short Forms of Cognitive Ability Measures

Abstract: Especially in survey research and large-scale assessment there is a growing interest in short scales for the cost-efficient measurement of psychological constructs. However, only relatively few standardized short forms are available for the measurement of cognitive abilities. In this article we point out pitfalls and challenges typically encountered in the construction of cognitive short forms. First we discuss item selection strategies, the analysis of binary response data, the problem of floor and ceiling effects, and issues related to measurement precision and validity. We subsequently illustrate these challenges and how to deal with them based on an empirical example, the development of short forms for the measurement of crystallized intelligence. Scale shortening had only small effects on associations with covariates. Even for an ultra-short six-item scale, a unidimensional measurement model showed excellent fit and yielded acceptable reliability. However, measurement precision on the individual level was very low and the short forms were more likely to produce skewed score distributions in ability-restricted subpopulations. We conclude that short scales may serve as proxies for cognitive abilities in typical research settings, but their use for decisions on the individual level should be discouraged in most cases.

A Comparison of Different Psychometric Approaches to Modeling Testlet Structures: An Example with C-Tests

Abstract: C-tests are a specific variant of cloze tests that are considered time-efficient, valid indicators of general language proficiency. They are commonly analyzed with models of item response theory assuming local item independence. In this article we estimated local interdependencies for 12 C-tests and compared the changes in item difficulties, reliability estimates, and person parameter estimates for different modeling approaches: (a) Rasch, (b) testlet, (c) partial credit, and (d) copula models. The results are complemented with findings of a simulation study in which sample size, number of testlets, and strength of residual correlations between items were systematically manipulated. Results are discussed with regard to the pivotal question whether residual dependencies between items are an artifact or part of the construct.

Interdisziplinäre Beschulung und die Struktur des akademischen Selbstkonzepts in den naturwissenschaftlichen Fächern

Abstract: Zusammenfassung: Das akademische Selbstkonzept wird als multidimensionales, fachspezifisches Konstrukt aufgefasst. Welchen Einfluss die schulische Facherstruktur auf die Struktur des Selbstkonzepts hat, ist jedoch noch unklar. In diesem Beitrag wird untersucht, ob bei Schulern, die interdisziplinaren Naturwissenschaftsunterricht erhalten, ein weniger stark ausdifferenziertes naturwissenschaftliches Selbstkonzept vorliegt als bei Schulern, die Unterricht in Biologie, Chemie und Physik getrennt erhalten. Dazu wurden 326 Schuler, die in der gesamten Sekundarstufe im Facherverbund beschult wurden, mit einer Vergleichsgruppe von 4361 fachergetrennt beschulten Schulern verglichen. Mit konfirmatorischen (Mehrgruppen-) Faktorenanalysen wird gezeigt, dass Schuler beider Gruppen in ihrem Selbstkonzept zwischen den drei Fachern differenzieren, in der interdisziplinar beschulten Gruppe die Zusammenhange zwischen den Selbstkonzeptfaktoren aber deutlich hoher sind. Interdisziplinarer Unterricht scheint also mit einer Vereinheitlichung der Selbstkonzeptstruktur auf Schulerseite einherzugehen. Implikationen fur die Selbstkonzepttheorie werden diskutiert. Schlusselworter: akademisches Selbstkonzept, Naturwissenschaftsunterricht, Dimensionalitat des Selbstkonzepts Interdisciplinary Science Classes and the Dimensional Structure of Academic Self-Concept in the Sciences