In der externen Evaluation von Schulen gehören Unterrichtsbeobachtungen mittlerweile zum methodischen Standardrepertoire. Gleichwohl ist die Messung von Unterrichtsqualität auf Basis weniger ausgewählter Unterrichtssequenzen, in die zudem in der Regel nur kurze Einblicknahmen möglich sind, mit einer Vielzahl methodischer Probleme behaftet. Daher ist es wichtig, durch den Einsatz angemessener empirischer Verfahren eine fundierte Qualitätssicherung zu etablieren, die es gestattet, Probleme bei der Messung von Unterrichtsqualität sichtbar zu machen. Dies ermöglichen die Generalisierbarkeitstheorie und das Multifacetten-Rasch-Modell. Analysen von Daten der Schulinspektion Hamburg zeigen, dass bei einem entsprechenden Erhebungsdesign Beurteilereffekte bei Unterrichtsbeobachtungen mit rund neun Prozent der Gesamtvariation vergleichsweise gering ausfallen. Darüber hinaus belegen die Analysen aber auch, dass es nicht ausreicht, nur die globale Übereinstimmung von Beobachtern mithilfe von Reliabilitätsmaßen zu bestimmen, sondern dass auch die Überprüfung der beobachterindividuellen Bewertungskonsistenz notwendig ist, um valide und somit für die Praxis nutzbare Ergebnisse aus Unterrichtsbeobachtungen zu garantieren.