Neural-symbolic cognitive reasoning with 6 tables

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Methodology and Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Structure of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2 Logic and Knowledge Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 Classical Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.1 Propositional Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.2 First-Order Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.3 Nonclassical Logics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.4 Nonmonotonic Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.5 Logic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.5.1 Stable-Model and Answer Set Semantics . . . . . . . . . . . . . . . . 19 2.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3 Artificial Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.1 Architectures of Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2 Learning Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.3 Recurrent Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.4 Evaluation of Learning Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4 Neural-Symbolic Learning Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.1 The CILP System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2 Massively Parallel Deduction in CILP . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3 Inductive Learning in CILP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.4 Adding Classical Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.5 Adding Metalevel Priorities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.6 Applications of CILP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 Connectionist Modal Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 5.1 Modal Logic and Extended Modal Programs . . . . . . . . . . . . . . . . . . . . 56 5.1.1 Semantics for Extended Modal Logic Programs . . . . . . . . . . . 58 5.2 Connectionist Modal Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.2.1 Computing Modalities in Neural Networks . . . . . . . . . . . . . . . 61 5.2.2 Soundness of Modal Computation . . . . . . . . . . . . . . . . . . . . . . 66 5.2.3 Termination of Modal Computation . . . . . . . . . . . . . . . . . . . . . 67 5.3 Case Study: The Muddy Children Puzzle . . . . . . . . . . . . . . . . . . . . . . . 68 5.3.1 Distributed Knowledge Representation in CML . . . . . . . . . . . 69 5.3.2 Learning in CML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6 Connectionist Temporal Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 6.1 Connectionist Temporal Logic of Knowledge . . . . . . . . . . . . . . . . . . . 76 6.1.1 The Language of CTLK. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 6.1.2 The CTLK Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 6.2 The Muddy Children Puzzle (Full Solution) . . . . . . . . . . . . . . . . . . . . 81 6.2.1 Temporal Knowledge Representation . . . . . . . . . . . . . . . . . . . 81 6.2.2 Learning in CTLK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 7 Connectionist Intuitionistic Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 7.1 Intuitionistic Logic and Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 7.2 Connectionist Intuitionistic Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . 90 7.2.1 Creating the Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 7.2.2 Connecting the Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 7.3 Connectionist Intuitionistic Modal Reasoning . . . . . . . . . . . . . . . . . . . 95 7.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 8 Applications of Connectionist Nonclassical Reasoning . . . . . . . . . . . . . . 101 8.1 A Simple Card Game . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 8.2 The Wise Men Puzzle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 8.2.1 A Formalisation of the Wise Men Puzzle . . . . . . . . . . . . . . . . 103 8.2.2 Representing the Wise Men Puzzle Using CML . . . . . . . . . . . 104 8.3 Applications of Connectionist Intuitionism . . . . . . . . . . . . . . . . . . . . . 108 8.3.1 Representing the Wise Men Puzzle Using CIL . . . . . . . . . . . . 109 8.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 9 Fibring Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 9.1 The Idea of Fibring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 9.2 Fibring Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 9.3 Examples of the Fibring of Networks . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.4 Definition of Fibred Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 9.5 Dynamics of Fibred Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 9.6 Expressiveness of Fibred Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 9.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 Relational Learning in Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . 127 10.1 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 10.2 Variable Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 10.3 Relation Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 10.4 Relational Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 10.5 Relational Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 10.6 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 10.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 11 Argumentation Frameworks as Neural Networks . . . . . . . . . . . . . . . . . . 143 11.1 Value-Based Argumentation Frameworks . . . . . . . . . . . . . . . . . . . . . . 144 11.2 Argumentation Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 11.3 Argument Computation and Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 149 11.3.1 Circular Argumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 11.3.2 Argument Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 11.3.3 Cumulative (Accrual) Argumentation . . . . . . . . . . . . . . . . . . . 155 11.4 Fibring Applied to Argumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 11.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 12 Reasoning about Probabilities in Neural Networks . . . . . . . . . . . . . . . . . 161 12.1 Representing Uncertainty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 12.2 An Algorithm for Reasoning about Uncertainty . . . . . . . . . . . . . . . . . 164 12.3 The Monty Hall Puzzle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 12.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 13 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 13.1 Neural-Symbolic Learning Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 13.2 Connectionist Nonclassical Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . 172 13.2.1 Connectionist Modal Reasoning . . . . . . . . . . . . . . . . . . . . . . . . 173 13.2.2 Connectionist Temporal Reasoning . . . . . . . . . . . . . . . . . . . . . 175 13.3 Fibring Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 13.4 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193