See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/224927543
Human-Computer Interaction
Chapter · January 2004
CITATIONS
427
4 authors, including:
Alan Dix
University of Birmingham
353 PUBLICATIONS 7,777 CITATIONS
SEE PROFILE
READS
72,848
Gregory Abowd
Georgia Institute of Technology
341 PUBLICATIONS 25,747 CITATIONS
SEE PROFILE
Some of the authors of this publication are also working on these related projects:
Inferring Mood Instability on Social Media by Leveraging Ecological Momentary Assessments View project
BadIdeas Creativity and Innovation View project
All content following this page was uploaded by Alan Dix on 23 May 2014.
The user has requested enhancement of the downloaded file.
Human-Computer Interaction
Alan Dix, Janet Finlay, Gregory D. Abowd, Russell Beale
February 13th, 2005
Contents
Preface
1 The human
1.1
1.2
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Input-output channels . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.2 Hearing . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.3 Touch . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.4 Movement . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Human memory . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Sensory memory . . . . . . . . . . . . . . . . . . . . . . .
1.3.1
1.3.2
Short-term memory . . . . . . . . . . . . . . . . . . . . .
1.3.3 Long-term memory . . . . . . . . . . . . . . . . . . . . . .
1.4 Thinking: reasoning and problem solving . . . . . . . . . . . . .
1.4.1 Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.2 Problem solving . . . . . . . . . . . . . . . . . . . . . . .
1.4.3
Skill acquisition . . . . . . . . . . . . . . . . . . . . . . . .
1.4.4 Errors and mental models . . . . . . . . . . . . . . . . . .
1.5 Emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6
Individual di⁄erences . . . . . . . . . . . . . . . . . . . . . . . . .
1.7 Psychology and the design of interactive systems . . . . . . . . .
1.7.1 Guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.7.2 Models to support design . . . . . . . . . . . . . . . . . .
1.7.3 Techniques for evaluation . . . . . . . . . . . . . . . . . .
2 The computer
2.1
2.2 Text entry devices
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 The alphanumeric keyboard . . . . . . . . . . . . . . . . .
2.2.2 Chord keyboards . . . . . . . . . . . . . . . . . . . . . . .
2.2.3 Phone pad and T9 entry . . . . . . . . . . . . . . . . . . .
2.2.4 Handwriting recognition . . . . . . . . . . . . . . . . . . .
2.2.5
Speech recognition . . . . . . . . . . . . . . . . . . . . . .
2.3 Positioning, pointing and drawing . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.1 The mouse
2.3.2 Touchpad . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.3 Trackball and thumbwheel . . . . . . . . . . . . . . . . . .
2.3.4
Joystick and keyboard nipple . . . . . . . . . . . . . . . .
v
ix
1
1
1
1
2
2
3
3
3
3
4
5
5
5
5
6
6
6
6
6
6
6
7
7
7
7
7
7
8
8
8
8
8
8
9
CONTENTS
2.6 Physical controls, sensors and special devices
2.3.5 Touch-sensitive screens (touchscreens) . . . . . . . . . . .
Stylus and lightpen . . . . . . . . . . . . . . . . . . . . . .
2.3.6
2.3.7 Digitizing tablet
. . . . . . . . . . . . . . . . . . . . . . .
2.3.8 Eyegaze . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.9 Cursor keys and discrete positioning . . . . . . . . . . . .
2.4 Display devices . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . .
2.4.1 Bitmap displays, resolution and color
2.4.2 Technologies
. . . . . . . . . . . . . . . . . . . . . . . . .
2.4.3 Large displays and situated displays . . . . . . . . . . . .
2.4.4 Digital paper . . . . . . . . . . . . . . . . . . . . . . . . .
2.5 Devices for virtual reality and 3D interaction . . . . . . . . . . .
2.5.1 Positioning in 3D . . . . . . . . . . . . . . . . . . . . . . .
2.5.2
3D displays . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . .
Special displays . . . . . . . . . . . . . . . . . . . . . . . .
2.6.1
2.6.2
Sound output . . . . . . . . . . . . . . . . . . . . . . . . .
2.6.3 Touch, feel and smell . . . . . . . . . . . . . . . . . . . . .
2.6.4 Physical controls . . . . . . . . . . . . . . . . . . . . . . .
2.6.5 Environment and bio-sensing . . . . . . . . . . . . . . . .
2.7 Paper: printing and scanning . . . . . . . . . . . . . . . . . . . .
2.7.1 Printing . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7.2 Fonts and page description languages
. . . . . . . . . . .
Screen and page
2.7.3
. . . . . . . . . . . . . . . . . . . . . . .
2.7.4
Scanners and optical character recognition . . . . . . . . .
2.8 Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . .
2.8.1 RAM and short-term memory (STM)
2.8.2 Disks and long-term memory (LTM) . . . . . . . . . . . .
2.8.3 Understanding speed and capacity . . . . . . . . . . . . .
2.8.4 Compression . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.5
Storage format and standards . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .
2.8.6 Methods of access
2.9 Processing and networks . . . . . . . . . . . . . . . . . . . . . . .
2.9.1 E⁄ects of nite processor speed . . . . . . . . . . . . . . .
2.9.2 Limitations on interactive performance . . . . . . . . . . .
2.9.3 Network computing . . . . . . . . . . . . . . . . . . . . .
3 The interaction
3.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Models of interaction . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 The terms of interaction . . . . . . . . . . . . . . . . . . .
3.2.2 The execution-evaluation cycle . . . . . . . . . . . . . . .
3.2.3 The interaction framework . . . . . . . . . . . . . . . . .
3.3 Frameworks and HCI (gure 3.3) . . . . . . . . . . . . . . . . . .
3.4 Ergonomics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4.1 Arrangement of controls and displays
. . . . . . . . . . .
3.4.2 The physical environment of the interaction . . . . . . . .
3.4.3 Health issues . . . . . . . . . . . . . . . . . . . . . . . . .
3.4.4 The use of color (guidelines) . . . . . . . . . . . . . . . . .
3.4.5 Ergonomics and HCI . . . . . . . . . . . . . . . . . . . . .
Interaction styles . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5
vi
9
9
9
9
9
9
9
10
10
10
10
10
11
11
11
11
11
11
11
11
11
12
12
12
12
12
12
12
13
13
13
13
13
13
14
15
15
15
15
15
16
16
16
16
17
17
17
17
17
CONTENTS
3.6 Elements of the WIMP-interface
3.5.1 Command line interface . . . . . . . . . . . . . . . . . . .
3.5.2 Menus . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5.3 Natural language . . . . . . . . . . . . . . . . . . . . . . .
3.5.4 Question/answer and query dialog . . . . . . . . . . . . .
3.5.5 Form-lls and spreadsheets
. . . . . . . . . . . . . . . . .
3.5.6 The WIMP interface . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
3.5.7 Point-and-click interfaces
. . . . . . . . . . . . . . . .
3.5.8 Three-dimensional interfaces
. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.1 Windows
3.6.2
Icons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.3 Pointers . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.4 Menus . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.5 Buttons . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.6 Toolbars . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.7 Palettes . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6.8 Dialog boxes
. . . . . . . . . . . . . . . . . . . . . . . . .
3.7
Interactivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.8 The context of the interaction . . . . . . . . . . . . . . . . . . . .
3.9 Experience engagement and fun . . . . . . . . . . . . . . . . . . .
3.9.1 Understanding experience . . . . . . . . . . . . . . . . . .
3.9.2 Designing experience . . . . . . . . . . . . . . . . . . . . .
3.9.3 Physical design and engagement
. . . . . . . . . . . . . .
3.9.4 Managing value . . . . . . . . . . . . . . . . . . . . . . . .
4 Paradigms
4.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Paradigms for interaction . . . . . . . . . . . . . . . . . . . . . .
4.2.1 Time sharing . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.2 Video display units . . . . . . . . . . . . . . . . . . . . . .
4.2.3 Programming toolkits . . . . . . . . . . . . . . . . . . . .
4.2.4 Personal computing . . . . . . . . . . . . . . . . . . . . .
4.2.5 Window systems and the WIMP interface . . . . . . . . .
4.2.6 The metaphor
. . . . . . . . . . . . . . . . . . . . . . . .
4.2.7 Direct manipulation . . . . . . . . . . . . . . . . . . . . .
4.2.8 Language versus action . . . . . . . . . . . . . . . . . . .
4.2.9 Hypertext . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.10 Multi-modality . . . . . . . . . . . . . . . . . . . . . . . .
4.2.11 Computer-supported cooperative work . . . . . . . . . . .
4.2.12 The world wide web . . . . . . . . . . . . . . . . . . . . .
4.2.13 Agent-based interfaces . . . . . . . . . . . . . . . . . . . .
4.2.14 Ubiquitous computing . . . . . . . . . . . . . . . . . . . .
4.2.15 Sensor-based and context-aware interaction . . . . . . . .
5 Interaction design basics
5.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2 What is design? . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.1 The golden rule of design . . . . . . . . . . . . . . . . . .
5.2.2 To err is human . . . . . . . . . . . . . . . . . . . . . . .
5.2.3 The central message: the user . . . . . . . . . . . . . . . .
vii
17
18
18
18
18
18
18
18
18
19
19
19
19
19
19
19
19
20
20
20
20
20
20
21
22
22
22
22
22
22
23
23
23
23
24
24
24
24
24
24
25
25
26
26
26
26
26
26
CONTENTS
5.3 The process of design (see also g. 5.1) . . . . . . . . . . . . . . .
5.4 User focus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.5 Scenarios
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6 Navigation design . . . . . . . . . . . . . . . . . . . . . . . . . . .
Local structure . . . . . . . . . . . . . . . . . . . . . . . .
5.6.1
5.6.2 Global structure - hierarchical organization . . . . . . . .
5.6.3 Global structure - dialog . . . . . . . . . . . . . . . . . . .
5.6.4 Wider still . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.7 Screen design and layout . . . . . . . . . . . . . . . . . . . . . . .
5.7.1 Tools for layout . . . . . . . . . . . . . . . . . . . . . . . .
5.7.2 User actions and control . . . . . . . . . . . . . . . . . . .
5.7.3 Appropriate appearance . . . . . . . . . . . . . . . . . . .
Iteration and prototyping(hill-climbing approach, local & global
maxima, see also g 5.14) . . . . . . . . . . . . . . . . . . . . . .
5.8
6 HCI in the software process
6.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 The software life cycle . . . . . . . . . . . . . . . . . . . . . . . .
6.2.1 Activities in the life cycle (g 6.1)
. . . . . . . . . . . . .
6.2.2 Validation and verication . . . . . . . . . . . . . . . . . .
6.2.3 Management and contractual issues
. . . . . . . . . . . .
Interactive systems and the software life cycle . . . . . . .
6.2.4
6.3 Usability engineering . . . . . . . . . . . . . . . . . . . . . . . . .
6.3.1 Problems with usability engineering . . . . . . . . . . . .
Iterative design and prototyping . . . . . . . . . . . . . . . . . .
6.4.1 Techniques for prototyping . . . . . . . . . . . . . . . . .
6.4.2 Warning about iterative design . . . . . . . . . . . . . . .
6.5 Design Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.5.1 Process-oriented design rationale . . . . . . . . . . . . . .
6.5.2 Design space analysis
. . . . . . . . . . . . . . . . . . . .
6.5.3 Psychological design rationale . . . . . . . . . . . . . . . .
6.4
7 Summary chapter 9: Evaluation techniques
7.4
7.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2 Goals of evaluation . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3 Evaluation through expert analysis . . . . . . . . . . . . . . . . .
7.3.1 Cognitive walkthrough . . . . . . . . . . . . . . . . . . . .
7.3.2 Heuristic evaluation . . . . . . . . . . . . . . . . . . . . .
7.3.3 Model-based evaluation . . . . . . . . . . . . . . . . . . .
7.3.4 Using previous studies in evaluation . . . . . . . . . . . .
evaluation through user participation . . . . . . . . . . . . . . . .
7.4.1
Styles of evaluation . . . . . . . . . . . . . . . . . . . . . .
7.4.2 Emperical methods: experimental evaluation . . . . . . .
7.4.3 Obsevatinal techniques . . . . . . . . . . . . . . . . . . . .
7.4.4 Query techniques . . . . . . . . . . . . . . . . . . . . . . .
7.4.5 Evaluation through monitoring physiological responses . .
7.5 Choosing an evaluation method . . . . . . . . . . . . . . . . . . .
7.5.1 A classication of evaluation techniques . . . . . . . . . .
viii
26
27
27
27
27
28
28
28
28
28
28
29
29
30
30
30
30
31
31
31
31
32
32
33
33
33
34
34
34
35
35
35
35
35
36
36
36
36
36
37
37
38
38
38
39
CONTENTS
8 Summary chapter 10: Universal design
8.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.2 Universal design principles . . . . . . . . . . . . . . . . . . . . . .
8.3 Multi-modal interaction . . . . . . . . . . . . . . . . . . . . . . .
Sound in the interface . . . . . . . . . . . . . . . . . . . .
8.3.1
8.3.2 Touch in the interface . . . . . . . . . . . . . . . . . . . .
8.3.3 Handwriting recognition . . . . . . . . . . . . . . . . . . .
8.3.4 Gesture recognition . . . . . . . . . . . . . . . . . . . . .
8.4 Designing for diversity . . . . . . . . . . . . . . . . . . . . . . . .
8.4.1 Designing for di⁄erent age groups . . . . . . . . . . . . . .
8.4.2 Designing for cultural di⁄erences . . . . . . . . . . . . . .
9 Summary chapter 11: User support
9.1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.2 Requirements of user support . . . . . . . . . . . . . . . . . . . .
9.3 Approaches to user support . . . . . . . . . . . . . . . . . . . . .
9.4 Adaptive help systems . . . . . . . . . . . . . . . . . . . . . . . .
9.4.1 Knowledge representation: user modelling . . . . . . . . .
9.4.2 Knowledge representation: domain and task modeling . .
9.4.3 Knowledge representation: modeling advisory strategy . .
9.4.4 Techniques for knowledge representation . . . . . . . . . .
9.4.5 Problems with knowledge representation and modeling . .
9.4.6 Other issues . . . . . . . . . . . . . . . . . . . . . . . . . .
9.5 Designing user support systems . . . . . . . . . . . . . . . . . . .
9.5.1 Presentation issues . . . . . . . . . . . . . . . . . . . . . .
9.5.2
Implementation issues . . . . . . . . . . . . . . . . . . . .
10 Summary chapter 19: Groupware
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2 Groupware systems . . . . . . . . . . . . . . . . . . . . . . . . . .
10.3 Computer-mediated communication . . . . . . . . . . . . . . . .
10.3.1 E-mail and bulletin boards
. . . . . . . . . . . . . . . . .
10.3.2 Structured message systems . . . . . . . . . . . . . . . . .
10.3.3 txt is gr8 . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.3.4 Video conferences and communication . . . . . . . . . . .
10.3.5 Virtual collaborative environments . . . . . . . . . . . . .
10.4 Meeting and decision support systems . . . . . . . . . . . . . . .
10.4.1 Argumentation tools . . . . . . . . . . . . . . . . . . . . .
10.4.2 Meeting rooms . . . . . . . . . . . . . . . . . . . . . . . .
10.4.3 Shared work surfaces . . . . . . . . . . . . . . . . . . . . .
10.5 Shared applications and artifacts . . . . . . . . . . . . . . . . . .
10.5.1 Shared PCs and shared window systems . . . . . . . . . .
10.5.2 Shared editors
. . . . . . . . . . . . . . . . . . . . . . . .
10.5.3 Co-authoring systems
. . . . . . . . . . . . . . . . . . . .
10.5.4 Shared diaries . . . . . . . . . . . . . . . . . . . . . . . . .
10.5.5 Communication through the artifact . . . . . . . . . . . .
ix
40
40
40
41
41
42
42
42
42
43
43
44
44
44
44
45
45
46
46
46
46
46
47
47
47
48
48
48
48
48
49
49
49
49
49
49
50
50
50
50
50
50
51
51
CONTENTS
11 Summary chapter 20: Ubiquitous computing and augmented
realities
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2 Ubiquitous computing applications research . . . . . . . . . . . .
11.2.1 Dening the appropriate physical interaction experience. .
11.2.2 Application themes for ubicomp . . . . . . . . . . . . . .
11.2.3 Understanding interaction in ubicomp . . . . . . . . . . .
11.2.4 Evaluation challenges for ubicomp . . . . . . . . . . . . .
11.3 Virtual and augmented reality . . . . . . . . . . . . . . . . . . . .
11.3.1 VR technology . . . . . . . . . . . . . . . . . . . . . . . .
11.3.2 Immersive VR . . . . . . . . . . . . . . . . . . . . . . . .
11.3.3 VR on the desktop and in the home . . . . . . . . . . . .
11.3.4 Command and control . . . . . . . . . . . . . . . . . . . .
11.3.5 Augmented reality . . . . . . . . . . . . . . . . . . . . . .
11.3.6 Current and future applications of VR . . . . . . . . . . .
11.4 Information and data visualization . . . . . . . . . . . . . . . . .
11.4.1 Scientic and technical data . . . . . . . . . . . . . . . . .
11.4.2 Structured information . . . . . . . . . . . . . . . . . . . .
11.4.3 Time and interactivity . . . . . . . . . . . . . . . . . . . .
x
52
52
52
52
53
54
54
55
55
55
55
55
55
55
56
56
56
56