granicus.if.org Git - clang/blob - lib/Serialization/ASTReader.cpp

   1 //===-- ASTReader.cpp - AST File Reader -----------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 //  This file defines the ASTReader class, which reads AST files.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "clang/Serialization/ASTReader.h"
  15 #include "ASTCommon.h"
  16 #include "ASTReaderInternals.h"
  17 #include "clang/AST/ASTConsumer.h"
  18 #include "clang/AST/ASTContext.h"
  19 #include "clang/AST/ASTMutationListener.h"
  20 #include "clang/AST/ASTUnresolvedSet.h"
  21 #include "clang/AST/Decl.h"
  22 #include "clang/AST/DeclCXX.h"
  23 #include "clang/AST/DeclGroup.h"
  24 #include "clang/AST/DeclObjC.h"
  25 #include "clang/AST/DeclTemplate.h"
  26 #include "clang/AST/Expr.h"
  27 #include "clang/AST/ExprCXX.h"
  28 #include "clang/AST/NestedNameSpecifier.h"
  29 #include "clang/AST/RawCommentList.h"
  30 #include "clang/AST/Type.h"
  31 #include "clang/AST/TypeLocVisitor.h"
  32 #include "clang/AST/UnresolvedSet.h"
  33 #include "clang/Basic/CommentOptions.h"
  34 #include "clang/Basic/DiagnosticOptions.h"
  35 #include "clang/Basic/ExceptionSpecificationType.h"
  36 #include "clang/Basic/FileManager.h"
  37 #include "clang/Basic/FileSystemOptions.h"
  38 #include "clang/Basic/LangOptions.h"
  39 #include "clang/Basic/ObjCRuntime.h"
  40 #include "clang/Basic/OperatorKinds.h"
  41 #include "clang/Basic/Sanitizers.h"
  42 #include "clang/Basic/SourceManager.h"
  43 #include "clang/Basic/SourceManagerInternals.h"
  44 #include "clang/Basic/Specifiers.h"
  45 #include "clang/Basic/TargetInfo.h"
  46 #include "clang/Basic/TargetOptions.h"
  47 #include "clang/Basic/TokenKinds.h"
  48 #include "clang/Basic/Version.h"
  49 #include "clang/Basic/VersionTuple.h"
  50 #include "clang/Frontend/PCHContainerOperations.h"
  51 #include "clang/Lex/HeaderSearch.h"
  52 #include "clang/Lex/HeaderSearchOptions.h"
  53 #include "clang/Lex/MacroInfo.h"
  54 #include "clang/Lex/ModuleMap.h"
  55 #include "clang/Lex/PreprocessingRecord.h"
  56 #include "clang/Lex/Preprocessor.h"
  57 #include "clang/Lex/PreprocessorOptions.h"
  58 #include "clang/Sema/Scope.h"
  59 #include "clang/Sema/Sema.h"
  60 #include "clang/Sema/Weak.h"
  61 #include "clang/Serialization/ASTDeserializationListener.h"
  62 #include "clang/Serialization/GlobalModuleIndex.h"
  63 #include "clang/Serialization/ModuleManager.h"
  64 #include "clang/Serialization/SerializationDiagnostic.h"
  65 #include "llvm/ADT/APFloat.h"
  66 #include "llvm/ADT/APInt.h"
  67 #include "llvm/ADT/APSInt.h"
  68 #include "llvm/ADT/Hashing.h"
  69 #include "llvm/ADT/SmallString.h"
  70 #include "llvm/ADT/StringExtras.h"
  71 #include "llvm/ADT/Triple.h"
  72 #include "llvm/Bitcode/BitstreamReader.h"
  73 #include "llvm/Support/Compression.h"
  74 #include "llvm/Support/Compiler.h"
  75 #include "llvm/Support/Error.h"
  76 #include "llvm/Support/ErrorHandling.h"
  77 #include "llvm/Support/FileSystem.h"
  78 #include "llvm/Support/MemoryBuffer.h"
  79 #include "llvm/Support/Path.h"
  80 #include "llvm/Support/SaveAndRestore.h"
  81 #include "llvm/Support/raw_ostream.h"
  82 #include <algorithm>
  83 #include <cassert>
  84 #include <cstdint>
  85 #include <cstdio>
  86 #include <cstring>
  87 #include <ctime>
  88 #include <iterator>
  89 #include <limits>
  90 #include <map>
  91 #include <memory>
  92 #include <new>
  93 #include <string>
  94 #include <system_error>
  95 #include <tuple>
  96 #include <utility>
  97 #include <vector>
  98
  99 using namespace clang;
 100 using namespace clang::serialization;
 101 using namespace clang::serialization::reader;
 102 using llvm::BitstreamCursor;
 103
 104 //===----------------------------------------------------------------------===//
 105 // ChainedASTReaderListener implementation
 106 //===----------------------------------------------------------------------===//
 107
 108 bool
 109 ChainedASTReaderListener::ReadFullVersionInformation(StringRef FullVersion) {
 110   return First->ReadFullVersionInformation(FullVersion) ||
 111          Second->ReadFullVersionInformation(FullVersion);
 112 }
 113
 114 void ChainedASTReaderListener::ReadModuleName(StringRef ModuleName) {
 115   First->ReadModuleName(ModuleName);
 116   Second->ReadModuleName(ModuleName);
 117 }
 118
 119 void ChainedASTReaderListener::ReadModuleMapFile(StringRef ModuleMapPath) {
 120   First->ReadModuleMapFile(ModuleMapPath);
 121   Second->ReadModuleMapFile(ModuleMapPath);
 122 }
 123
 124 bool
 125 ChainedASTReaderListener::ReadLanguageOptions(const LangOptions &LangOpts,
 126                                               bool Complain,
 127                                               bool AllowCompatibleDifferences) {
 128   return First->ReadLanguageOptions(LangOpts, Complain,
 129                                     AllowCompatibleDifferences) ||
 130          Second->ReadLanguageOptions(LangOpts, Complain,
 131                                      AllowCompatibleDifferences);
 132 }
 133
 134 bool ChainedASTReaderListener::ReadTargetOptions(
 135     const TargetOptions &TargetOpts, bool Complain,
 136     bool AllowCompatibleDifferences) {
 137   return First->ReadTargetOptions(TargetOpts, Complain,
 138                                   AllowCompatibleDifferences) ||
 139          Second->ReadTargetOptions(TargetOpts, Complain,
 140                                    AllowCompatibleDifferences);
 141 }
 142
 143 bool ChainedASTReaderListener::ReadDiagnosticOptions(
 144     IntrusiveRefCntPtr<DiagnosticOptions> DiagOpts, bool Complain) {
 145   return First->ReadDiagnosticOptions(DiagOpts, Complain) ||
 146          Second->ReadDiagnosticOptions(DiagOpts, Complain);
 147 }
 148
 149 bool
 150 ChainedASTReaderListener::ReadFileSystemOptions(const FileSystemOptions &FSOpts,
 151                                                 bool Complain) {
 152   return First->ReadFileSystemOptions(FSOpts, Complain) ||
 153          Second->ReadFileSystemOptions(FSOpts, Complain);
 154 }
 155
 156 bool ChainedASTReaderListener::ReadHeaderSearchOptions(
 157     const HeaderSearchOptions &HSOpts, StringRef SpecificModuleCachePath,
 158     bool Complain) {
 159   return First->ReadHeaderSearchOptions(HSOpts, SpecificModuleCachePath,
 160                                         Complain) ||
 161          Second->ReadHeaderSearchOptions(HSOpts, SpecificModuleCachePath,
 162                                          Complain);
 163 }
 164
 165 bool ChainedASTReaderListener::ReadPreprocessorOptions(
 166     const PreprocessorOptions &PPOpts, bool Complain,
 167     std::string &SuggestedPredefines) {
 168   return First->ReadPreprocessorOptions(PPOpts, Complain,
 169                                         SuggestedPredefines) ||
 170          Second->ReadPreprocessorOptions(PPOpts, Complain, SuggestedPredefines);
 171 }
 172 void ChainedASTReaderListener::ReadCounter(const serialization::ModuleFile &M,
 173                                            unsigned Value) {
 174   First->ReadCounter(M, Value);
 175   Second->ReadCounter(M, Value);
 176 }
 177 bool ChainedASTReaderListener::needsInputFileVisitation() {
 178   return First->needsInputFileVisitation() ||
 179          Second->needsInputFileVisitation();
 180 }
 181 bool ChainedASTReaderListener::needsSystemInputFileVisitation() {
 182   return First->needsSystemInputFileVisitation() ||
 183   Second->needsSystemInputFileVisitation();
 184 }
 185 void ChainedASTReaderListener::visitModuleFile(StringRef Filename,
 186                                                ModuleKind Kind) {
 187   First->visitModuleFile(Filename, Kind);
 188   Second->visitModuleFile(Filename, Kind);
 189 }
 190
 191 bool ChainedASTReaderListener::visitInputFile(StringRef Filename,
 192                                               bool isSystem,
 193                                               bool isOverridden,
 194                                               bool isExplicitModule) {
 195   bool Continue = false;
 196   if (First->needsInputFileVisitation() &&
 197       (!isSystem || First->needsSystemInputFileVisitation()))
 198     Continue |= First->visitInputFile(Filename, isSystem, isOverridden,
 199                                       isExplicitModule);
 200   if (Second->needsInputFileVisitation() &&
 201       (!isSystem || Second->needsSystemInputFileVisitation()))
 202     Continue |= Second->visitInputFile(Filename, isSystem, isOverridden,
 203                                        isExplicitModule);
 204   return Continue;
 205 }
 206
 207 void ChainedASTReaderListener::readModuleFileExtension(
 208        const ModuleFileExtensionMetadata &Metadata) {
 209   First->readModuleFileExtension(Metadata);
 210   Second->readModuleFileExtension(Metadata);
 211 }
 212
 213 //===----------------------------------------------------------------------===//
 214 // PCH validator implementation
 215 //===----------------------------------------------------------------------===//
 216
 217 ASTReaderListener::~ASTReaderListener() {}
 218
 219 /// \brief Compare the given set of language options against an existing set of
 220 /// language options.
 221 ///
 222 /// \param Diags If non-NULL, diagnostics will be emitted via this engine.
 223 /// \param AllowCompatibleDifferences If true, differences between compatible
 224 ///        language options will be permitted.
 225 ///
 226 /// \returns true if the languagae options mis-match, false otherwise.
 227 static bool checkLanguageOptions(const LangOptions &LangOpts,
 228                                  const LangOptions &ExistingLangOpts,
 229                                  DiagnosticsEngine *Diags,
 230                                  bool AllowCompatibleDifferences = true) {
 231 #define LANGOPT(Name, Bits, Default, Description)                 \
 232   if (ExistingLangOpts.Name != LangOpts.Name) {                   \
 233     if (Diags)                                                    \
 234       Diags->Report(diag::err_pch_langopt_mismatch)               \
 235         << Description << LangOpts.Name << ExistingLangOpts.Name; \
 236     return true;                                                  \
 237   }
 238
 239 #define VALUE_LANGOPT(Name, Bits, Default, Description)   \
 240   if (ExistingLangOpts.Name != LangOpts.Name) {           \
 241     if (Diags)                                            \
 242       Diags->Report(diag::err_pch_langopt_value_mismatch) \
 243         << Description;                                   \
 244     return true;                                          \
 245   }
 246
 247 #define ENUM_LANGOPT(Name, Type, Bits, Default, Description)   \
 248   if (ExistingLangOpts.get##Name() != LangOpts.get##Name()) {  \
 249     if (Diags)                                                 \
 250       Diags->Report(diag::err_pch_langopt_value_mismatch)      \
 251         << Description;                                        \
 252     return true;                                               \
 253   }
 254
 255 #define COMPATIBLE_LANGOPT(Name, Bits, Default, Description)  \
 256   if (!AllowCompatibleDifferences)                            \
 257     LANGOPT(Name, Bits, Default, Description)
 258
 259 #define COMPATIBLE_ENUM_LANGOPT(Name, Bits, Default, Description)  \
 260   if (!AllowCompatibleDifferences)                                 \
 261     ENUM_LANGOPT(Name, Bits, Default, Description)
 262
 263 #define COMPATIBLE_VALUE_LANGOPT(Name, Bits, Default, Description) \
 264   if (!AllowCompatibleDifferences)                                 \
 265     VALUE_LANGOPT(Name, Bits, Default, Description)
 266
 267 #define BENIGN_LANGOPT(Name, Bits, Default, Description)
 268 #define BENIGN_ENUM_LANGOPT(Name, Type, Bits, Default, Description)
 269 #define BENIGN_VALUE_LANGOPT(Name, Type, Bits, Default, Description)
 270 #include "clang/Basic/LangOptions.def"
 271
 272   if (ExistingLangOpts.ModuleFeatures != LangOpts.ModuleFeatures) {
 273     if (Diags)
 274       Diags->Report(diag::err_pch_langopt_value_mismatch) << "module features";
 275     return true;
 276   }
 277
 278   if (ExistingLangOpts.ObjCRuntime != LangOpts.ObjCRuntime) {
 279     if (Diags)
 280       Diags->Report(diag::err_pch_langopt_value_mismatch)
 281       << "target Objective-C runtime";
 282     return true;
 283   }
 284
 285   if (ExistingLangOpts.CommentOpts.BlockCommandNames !=
 286       LangOpts.CommentOpts.BlockCommandNames) {
 287     if (Diags)
 288       Diags->Report(diag::err_pch_langopt_value_mismatch)
 289         << "block command names";
 290     return true;
 291   }
 292
 293   return false;
 294 }
 295
 296 /// \brief Compare the given set of target options against an existing set of
 297 /// target options.
 298 ///
 299 /// \param Diags If non-NULL, diagnostics will be emitted via this engine.
 300 ///
 301 /// \returns true if the target options mis-match, false otherwise.
 302 static bool checkTargetOptions(const TargetOptions &TargetOpts,
 303                                const TargetOptions &ExistingTargetOpts,
 304                                DiagnosticsEngine *Diags,
 305                                bool AllowCompatibleDifferences = true) {
 306 #define CHECK_TARGET_OPT(Field, Name)                             \
 307   if (TargetOpts.Field != ExistingTargetOpts.Field) {             \
 308     if (Diags)                                                    \
 309       Diags->Report(diag::err_pch_targetopt_mismatch)             \
 310         << Name << TargetOpts.Field << ExistingTargetOpts.Field;  \
 311     return true;                                                  \
 312   }
 313
 314   // The triple and ABI must match exactly.
 315   CHECK_TARGET_OPT(Triple, "target");
 316   CHECK_TARGET_OPT(ABI, "target ABI");
 317
 318   // We can tolerate different CPUs in many cases, notably when one CPU
 319   // supports a strict superset of another. When allowing compatible
 320   // differences skip this check.
 321   if (!AllowCompatibleDifferences)
 322     CHECK_TARGET_OPT(CPU, "target CPU");
 323
 324 #undef CHECK_TARGET_OPT
 325
 326   // Compare feature sets.
 327   SmallVector<StringRef, 4> ExistingFeatures(
 328                                              ExistingTargetOpts.FeaturesAsWritten.begin(),
 329                                              ExistingTargetOpts.FeaturesAsWritten.end());
 330   SmallVector<StringRef, 4> ReadFeatures(TargetOpts.FeaturesAsWritten.begin(),
 331                                          TargetOpts.FeaturesAsWritten.end());
 332   std::sort(ExistingFeatures.begin(), ExistingFeatures.end());
 333   std::sort(ReadFeatures.begin(), ReadFeatures.end());
 334
 335   // We compute the set difference in both directions explicitly so that we can
 336   // diagnose the differences differently.
 337   SmallVector<StringRef, 4> UnmatchedExistingFeatures, UnmatchedReadFeatures;
 338   std::set_difference(
 339       ExistingFeatures.begin(), ExistingFeatures.end(), ReadFeatures.begin(),
 340       ReadFeatures.end(), std::back_inserter(UnmatchedExistingFeatures));
 341   std::set_difference(ReadFeatures.begin(), ReadFeatures.end(),
 342                       ExistingFeatures.begin(), ExistingFeatures.end(),
 343                       std::back_inserter(UnmatchedReadFeatures));
 344
 345   // If we are allowing compatible differences and the read feature set is
 346   // a strict subset of the existing feature set, there is nothing to diagnose.
 347   if (AllowCompatibleDifferences && UnmatchedReadFeatures.empty())
 348     return false;
 349
 350   if (Diags) {
 351     for (StringRef Feature : UnmatchedReadFeatures)
 352       Diags->Report(diag::err_pch_targetopt_feature_mismatch)
 353           << /* is-existing-feature */ false << Feature;
 354     for (StringRef Feature : UnmatchedExistingFeatures)
 355       Diags->Report(diag::err_pch_targetopt_feature_mismatch)
 356           << /* is-existing-feature */ true << Feature;
 357   }
 358
 359   return !UnmatchedReadFeatures.empty() || !UnmatchedExistingFeatures.empty();
 360 }
 361
 362 bool
 363 PCHValidator::ReadLanguageOptions(const LangOptions &LangOpts,
 364                                   bool Complain,
 365                                   bool AllowCompatibleDifferences) {
 366   const LangOptions &ExistingLangOpts = PP.getLangOpts();
 367   return checkLanguageOptions(LangOpts, ExistingLangOpts,
 368                               Complain ? &Reader.Diags : nullptr,
 369                               AllowCompatibleDifferences);
 370 }
 371
 372 bool PCHValidator::ReadTargetOptions(const TargetOptions &TargetOpts,
 373                                      bool Complain,
 374                                      bool AllowCompatibleDifferences) {
 375   const TargetOptions &ExistingTargetOpts = PP.getTargetInfo().getTargetOpts();
 376   return checkTargetOptions(TargetOpts, ExistingTargetOpts,
 377                             Complain ? &Reader.Diags : nullptr,
 378                             AllowCompatibleDifferences);
 379 }
 380
 381 namespace {
 382
 383   typedef llvm::StringMap<std::pair<StringRef, bool /*IsUndef*/> >
 384     MacroDefinitionsMap;
 385   typedef llvm::DenseMap<DeclarationName, SmallVector<NamedDecl *, 8> >
 386     DeclsMap;
 387
 388 } // end anonymous namespace
 389
 390 static bool checkDiagnosticGroupMappings(DiagnosticsEngine &StoredDiags,
 391                                          DiagnosticsEngine &Diags,
 392                                          bool Complain) {
 393   typedef DiagnosticsEngine::Level Level;
 394
 395   // Check current mappings for new -Werror mappings, and the stored mappings
 396   // for cases that were explicitly mapped to *not* be errors that are now
 397   // errors because of options like -Werror.
 398   DiagnosticsEngine *MappingSources[] = { &Diags, &StoredDiags };
 399
 400   for (DiagnosticsEngine *MappingSource : MappingSources) {
 401     for (auto DiagIDMappingPair : MappingSource->getDiagnosticMappings()) {
 402       diag::kind DiagID = DiagIDMappingPair.first;
 403       Level CurLevel = Diags.getDiagnosticLevel(DiagID, SourceLocation());
 404       if (CurLevel < DiagnosticsEngine::Error)
 405         continue; // not significant
 406       Level StoredLevel =
 407           StoredDiags.getDiagnosticLevel(DiagID, SourceLocation());
 408       if (StoredLevel < DiagnosticsEngine::Error) {
 409         if (Complain)
 410           Diags.Report(diag::err_pch_diagopt_mismatch) << "-Werror=" +
 411               Diags.getDiagnosticIDs()->getWarningOptionForDiag(DiagID).str();
 412         return true;
 413       }
 414     }
 415   }
 416
 417   return false;
 418 }
 419
 420 static bool isExtHandlingFromDiagsError(DiagnosticsEngine &Diags) {
 421   diag::Severity Ext = Diags.getExtensionHandlingBehavior();
 422   if (Ext == diag::Severity::Warning && Diags.getWarningsAsErrors())
 423     return true;
 424   return Ext >= diag::Severity::Error;
 425 }
 426
 427 static bool checkDiagnosticMappings(DiagnosticsEngine &StoredDiags,
 428                                     DiagnosticsEngine &Diags,
 429                                     bool IsSystem, bool Complain) {
 430   // Top-level options
 431   if (IsSystem) {
 432     if (Diags.getSuppressSystemWarnings())
 433       return false;
 434     // If -Wsystem-headers was not enabled before, be conservative
 435     if (StoredDiags.getSuppressSystemWarnings()) {
 436       if (Complain)
 437         Diags.Report(diag::err_pch_diagopt_mismatch) << "-Wsystem-headers";
 438       return true;
 439     }
 440   }
 441
 442   if (Diags.getWarningsAsErrors() && !StoredDiags.getWarningsAsErrors()) {
 443     if (Complain)
 444       Diags.Report(diag::err_pch_diagopt_mismatch) << "-Werror";
 445     return true;
 446   }
 447
 448   if (Diags.getWarningsAsErrors() && Diags.getEnableAllWarnings() &&
 449       !StoredDiags.getEnableAllWarnings()) {
 450     if (Complain)
 451       Diags.Report(diag::err_pch_diagopt_mismatch) << "-Weverything -Werror";
 452     return true;
 453   }
 454
 455   if (isExtHandlingFromDiagsError(Diags) &&
 456       !isExtHandlingFromDiagsError(StoredDiags)) {
 457     if (Complain)
 458       Diags.Report(diag::err_pch_diagopt_mismatch) << "-pedantic-errors";
 459     return true;
 460   }
 461
 462   return checkDiagnosticGroupMappings(StoredDiags, Diags, Complain);
 463 }
 464
 465 bool PCHValidator::ReadDiagnosticOptions(
 466     IntrusiveRefCntPtr<DiagnosticOptions> DiagOpts, bool Complain) {
 467   DiagnosticsEngine &ExistingDiags = PP.getDiagnostics();
 468   IntrusiveRefCntPtr<DiagnosticIDs> DiagIDs(ExistingDiags.getDiagnosticIDs());
 469   IntrusiveRefCntPtr<DiagnosticsEngine> Diags(
 470       new DiagnosticsEngine(DiagIDs, DiagOpts.get()));
 471   // This should never fail, because we would have processed these options
 472   // before writing them to an ASTFile.
 473   ProcessWarningOptions(*Diags, *DiagOpts, /*Report*/false);
 474
 475   ModuleManager &ModuleMgr = Reader.getModuleManager();
 476   assert(ModuleMgr.size() >= 1 && "what ASTFile is this then");
 477
 478   // If the original import came from a file explicitly generated by the user,
 479   // don't check the diagnostic mappings.
 480   // FIXME: currently this is approximated by checking whether this is not a
 481   // module import of an implicitly-loaded module file.
 482   // Note: ModuleMgr.rbegin() may not be the current module, but it must be in
 483   // the transitive closure of its imports, since unrelated modules cannot be
 484   // imported until after this module finishes validation.
 485   ModuleFile *TopImport = *ModuleMgr.rbegin();
 486   while (!TopImport->ImportedBy.empty())
 487     TopImport = TopImport->ImportedBy[0];
 488   if (TopImport->Kind != MK_ImplicitModule)
 489     return false;
 490
 491   StringRef ModuleName = TopImport->ModuleName;
 492   assert(!ModuleName.empty() && "diagnostic options read before module name");
 493
 494   Module *M = PP.getHeaderSearchInfo().lookupModule(ModuleName);
 495   assert(M && "missing module");
 496
 497   // FIXME: if the diagnostics are incompatible, save a DiagnosticOptions that
 498   // contains the union of their flags.
 499   return checkDiagnosticMappings(*Diags, ExistingDiags, M->IsSystem, Complain);
 500 }
 501
 502 /// \brief Collect the macro definitions provided by the given preprocessor
 503 /// options.
 504 static void
 505 collectMacroDefinitions(const PreprocessorOptions &PPOpts,
 506                         MacroDefinitionsMap &Macros,
 507                         SmallVectorImpl<StringRef> *MacroNames = nullptr) {
 508   for (unsigned I = 0, N = PPOpts.Macros.size(); I != N; ++I) {
 509     StringRef Macro = PPOpts.Macros[I].first;
 510     bool IsUndef = PPOpts.Macros[I].second;
 511
 512     std::pair<StringRef, StringRef> MacroPair = Macro.split('=');
 513     StringRef MacroName = MacroPair.first;
 514     StringRef MacroBody = MacroPair.second;
 515
 516     // For an #undef'd macro, we only care about the name.
 517     if (IsUndef) {
 518       if (MacroNames && !Macros.count(MacroName))
 519         MacroNames->push_back(MacroName);
 520
 521       Macros[MacroName] = std::make_pair("", true);
 522       continue;
 523     }
 524
 525     // For a #define'd macro, figure out the actual definition.
 526     if (MacroName.size() == Macro.size())
 527       MacroBody = "1";
 528     else {
 529       // Note: GCC drops anything following an end-of-line character.
 530       StringRef::size_type End = MacroBody.find_first_of("\n\r");
 531       MacroBody = MacroBody.substr(0, End);
 532     }
 533
 534     if (MacroNames && !Macros.count(MacroName))
 535       MacroNames->push_back(MacroName);
 536     Macros[MacroName] = std::make_pair(MacroBody, false);
 537   }
 538 }
 539
 540 /// \brief Check the preprocessor options deserialized from the control block
 541 /// against the preprocessor options in an existing preprocessor.
 542 ///
 543 /// \param Diags If non-null, produce diagnostics for any mismatches incurred.
 544 /// \param Validate If true, validate preprocessor options. If false, allow
 545 ///        macros defined by \p ExistingPPOpts to override those defined by
 546 ///        \p PPOpts in SuggestedPredefines.
 547 static bool checkPreprocessorOptions(const PreprocessorOptions &PPOpts,
 548                                      const PreprocessorOptions &ExistingPPOpts,
 549                                      DiagnosticsEngine *Diags,
 550                                      FileManager &FileMgr,
 551                                      std::string &SuggestedPredefines,
 552                                      const LangOptions &LangOpts,
 553                                      bool Validate = true) {
 554   // Check macro definitions.
 555   MacroDefinitionsMap ASTFileMacros;
 556   collectMacroDefinitions(PPOpts, ASTFileMacros);
 557   MacroDefinitionsMap ExistingMacros;
 558   SmallVector<StringRef, 4> ExistingMacroNames;
 559   collectMacroDefinitions(ExistingPPOpts, ExistingMacros, &ExistingMacroNames);
 560
 561   for (unsigned I = 0, N = ExistingMacroNames.size(); I != N; ++I) {
 562     // Dig out the macro definition in the existing preprocessor options.
 563     StringRef MacroName = ExistingMacroNames[I];
 564     std::pair<StringRef, bool> Existing = ExistingMacros[MacroName];
 565
 566     // Check whether we know anything about this macro name or not.
 567     llvm::StringMap<std::pair<StringRef, bool /*IsUndef*/> >::iterator Known
 568       = ASTFileMacros.find(MacroName);
 569     if (!Validate || Known == ASTFileMacros.end()) {
 570       // FIXME: Check whether this identifier was referenced anywhere in the
 571       // AST file. If so, we should reject the AST file. Unfortunately, this
 572       // information isn't in the control block. What shall we do about it?
 573
 574       if (Existing.second) {
 575         SuggestedPredefines += "#undef ";
 576         SuggestedPredefines += MacroName.str();
 577         SuggestedPredefines += '\n';
 578       } else {
 579         SuggestedPredefines += "#define ";
 580         SuggestedPredefines += MacroName.str();
 581         SuggestedPredefines += ' ';
 582         SuggestedPredefines += Existing.first.str();
 583         SuggestedPredefines += '\n';
 584       }
 585       continue;
 586     }
 587
 588     // If the macro was defined in one but undef'd in the other, we have a
 589     // conflict.
 590     if (Existing.second != Known->second.second) {
 591       if (Diags) {
 592         Diags->Report(diag::err_pch_macro_def_undef)
 593           << MacroName << Known->second.second;
 594       }
 595       return true;
 596     }
 597
 598     // If the macro was #undef'd in both, or if the macro bodies are identical,
 599     // it's fine.
 600     if (Existing.second || Existing.first == Known->second.first)
 601       continue;
 602
 603     // The macro bodies differ; complain.
 604     if (Diags) {
 605       Diags->Report(diag::err_pch_macro_def_conflict)
 606         << MacroName << Known->second.first << Existing.first;
 607     }
 608     return true;
 609   }
 610
 611   // Check whether we're using predefines.
 612   if (PPOpts.UsePredefines != ExistingPPOpts.UsePredefines && Validate) {
 613     if (Diags) {
 614       Diags->Report(diag::err_pch_undef) << ExistingPPOpts.UsePredefines;
 615     }
 616     return true;
 617   }
 618
 619   // Detailed record is important since it is used for the module cache hash.
 620   if (LangOpts.Modules &&
 621       PPOpts.DetailedRecord != ExistingPPOpts.DetailedRecord && Validate) {
 622     if (Diags) {
 623       Diags->Report(diag::err_pch_pp_detailed_record) << PPOpts.DetailedRecord;
 624     }
 625     return true;
 626   }
 627
 628   // Compute the #include and #include_macros lines we need.
 629   for (unsigned I = 0, N = ExistingPPOpts.Includes.size(); I != N; ++I) {
 630     StringRef File = ExistingPPOpts.Includes[I];
 631     if (File == ExistingPPOpts.ImplicitPCHInclude)
 632       continue;
 633
 634     if (std::find(PPOpts.Includes.begin(), PPOpts.Includes.end(), File)
 635           != PPOpts.Includes.end())
 636       continue;
 637
 638     SuggestedPredefines += "#include \"";
 639     SuggestedPredefines += File;
 640     SuggestedPredefines += "\"\n";
 641   }
 642
 643   for (unsigned I = 0, N = ExistingPPOpts.MacroIncludes.size(); I != N; ++I) {
 644     StringRef File = ExistingPPOpts.MacroIncludes[I];
 645     if (std::find(PPOpts.MacroIncludes.begin(), PPOpts.MacroIncludes.end(),
 646                   File)
 647         != PPOpts.MacroIncludes.end())
 648       continue;
 649
 650     SuggestedPredefines += "#__include_macros \"";
 651     SuggestedPredefines += File;
 652     SuggestedPredefines += "\"\n##\n";
 653   }
 654
 655   return false;
 656 }
 657
 658 bool PCHValidator::ReadPreprocessorOptions(const PreprocessorOptions &PPOpts,
 659                                            bool Complain,
 660                                            std::string &SuggestedPredefines) {
 661   const PreprocessorOptions &ExistingPPOpts = PP.getPreprocessorOpts();
 662
 663   return checkPreprocessorOptions(PPOpts, ExistingPPOpts,
 664                                   Complain? &Reader.Diags : nullptr,
 665                                   PP.getFileManager(),
 666                                   SuggestedPredefines,
 667                                   PP.getLangOpts());
 668 }
 669
 670 bool SimpleASTReaderListener::ReadPreprocessorOptions(
 671                                   const PreprocessorOptions &PPOpts,
 672                                   bool Complain,
 673                                   std::string &SuggestedPredefines) {
 674   return checkPreprocessorOptions(PPOpts,
 675                                   PP.getPreprocessorOpts(),
 676                                   nullptr,
 677                                   PP.getFileManager(),
 678                                   SuggestedPredefines,
 679                                   PP.getLangOpts(),
 680                                   false);
 681 }
 682
 683 /// Check the header search options deserialized from the control block
 684 /// against the header search options in an existing preprocessor.
 685 ///
 686 /// \param Diags If non-null, produce diagnostics for any mismatches incurred.
 687 static bool checkHeaderSearchOptions(const HeaderSearchOptions &HSOpts,
 688                                      StringRef SpecificModuleCachePath,
 689                                      StringRef ExistingModuleCachePath,
 690                                      DiagnosticsEngine *Diags,
 691                                      const LangOptions &LangOpts) {
 692   if (LangOpts.Modules) {
 693     if (SpecificModuleCachePath != ExistingModuleCachePath) {
 694       if (Diags)
 695         Diags->Report(diag::err_pch_modulecache_mismatch)
 696           << SpecificModuleCachePath << ExistingModuleCachePath;
 697       return true;
 698     }
 699   }
 700
 701   return false;
 702 }
 703
 704 bool PCHValidator::ReadHeaderSearchOptions(const HeaderSearchOptions &HSOpts,
 705                                            StringRef SpecificModuleCachePath,
 706                                            bool Complain) {
 707   return checkHeaderSearchOptions(HSOpts, SpecificModuleCachePath,
 708                                   PP.getHeaderSearchInfo().getModuleCachePath(),
 709                                   Complain ? &Reader.Diags : nullptr,
 710                                   PP.getLangOpts());
 711 }
 712
 713 void PCHValidator::ReadCounter(const ModuleFile &M, unsigned Value) {
 714   PP.setCounterValue(Value);
 715 }
 716
 717 //===----------------------------------------------------------------------===//
 718 // AST reader implementation
 719 //===----------------------------------------------------------------------===//
 720
 721 void ASTReader::setDeserializationListener(ASTDeserializationListener *Listener,
 722                                            bool TakeOwnership) {
 723   DeserializationListener = Listener;
 724   OwnsDeserializationListener = TakeOwnership;
 725 }
 726
 727 unsigned ASTSelectorLookupTrait::ComputeHash(Selector Sel) {
 728   return serialization::ComputeHash(Sel);
 729 }
 730
 731 std::pair<unsigned, unsigned>
 732 ASTSelectorLookupTrait::ReadKeyDataLength(const unsigned char*& d) {
 733   using namespace llvm::support;
 734   unsigned KeyLen = endian::readNext<uint16_t, little, unaligned>(d);
 735   unsigned DataLen = endian::readNext<uint16_t, little, unaligned>(d);
 736   return std::make_pair(KeyLen, DataLen);
 737 }
 738
 739 ASTSelectorLookupTrait::internal_key_type
 740 ASTSelectorLookupTrait::ReadKey(const unsigned char* d, unsigned) {
 741   using namespace llvm::support;
 742   SelectorTable &SelTable = Reader.getContext().Selectors;
 743   unsigned N = endian::readNext<uint16_t, little, unaligned>(d);
 744   IdentifierInfo *FirstII = Reader.getLocalIdentifier(
 745       F, endian::readNext<uint32_t, little, unaligned>(d));
 746   if (N == 0)
 747     return SelTable.getNullarySelector(FirstII);
 748   else if (N == 1)
 749     return SelTable.getUnarySelector(FirstII);
 750
 751   SmallVector<IdentifierInfo *, 16> Args;
 752   Args.push_back(FirstII);
 753   for (unsigned I = 1; I != N; ++I)
 754     Args.push_back(Reader.getLocalIdentifier(
 755         F, endian::readNext<uint32_t, little, unaligned>(d)));
 756
 757   return SelTable.getSelector(N, Args.data());
 758 }
 759
 760 ASTSelectorLookupTrait::data_type
 761 ASTSelectorLookupTrait::ReadData(Selector, const unsigned char* d,
 762                                  unsigned DataLen) {
 763   using namespace llvm::support;
 764
 765   data_type Result;
 766
 767   Result.ID = Reader.getGlobalSelectorID(
 768       F, endian::readNext<uint32_t, little, unaligned>(d));
 769   unsigned FullInstanceBits = endian::readNext<uint16_t, little, unaligned>(d);
 770   unsigned FullFactoryBits = endian::readNext<uint16_t, little, unaligned>(d);
 771   Result.InstanceBits = FullInstanceBits & 0x3;
 772   Result.InstanceHasMoreThanOneDecl = (FullInstanceBits >> 2) & 0x1;
 773   Result.FactoryBits = FullFactoryBits & 0x3;
 774   Result.FactoryHasMoreThanOneDecl = (FullFactoryBits >> 2) & 0x1;
 775   unsigned NumInstanceMethods = FullInstanceBits >> 3;
 776   unsigned NumFactoryMethods = FullFactoryBits >> 3;
 777
 778   // Load instance methods
 779   for (unsigned I = 0; I != NumInstanceMethods; ++I) {
 780     if (ObjCMethodDecl *Method = Reader.GetLocalDeclAs<ObjCMethodDecl>(
 781             F, endian::readNext<uint32_t, little, unaligned>(d)))
 782       Result.Instance.push_back(Method);
 783   }
 784
 785   // Load factory methods
 786   for (unsigned I = 0; I != NumFactoryMethods; ++I) {
 787     if (ObjCMethodDecl *Method = Reader.GetLocalDeclAs<ObjCMethodDecl>(
 788             F, endian::readNext<uint32_t, little, unaligned>(d)))
 789       Result.Factory.push_back(Method);
 790   }
 791
 792   return Result;
 793 }
 794
 795 unsigned ASTIdentifierLookupTraitBase::ComputeHash(const internal_key_type& a) {
 796   return llvm::HashString(a);
 797 }
 798
 799 std::pair<unsigned, unsigned>
 800 ASTIdentifierLookupTraitBase::ReadKeyDataLength(const unsigned char*& d) {
 801   using namespace llvm::support;
 802   unsigned DataLen = endian::readNext<uint16_t, little, unaligned>(d);
 803   unsigned KeyLen = endian::readNext<uint16_t, little, unaligned>(d);
 804   return std::make_pair(KeyLen, DataLen);
 805 }
 806
 807 ASTIdentifierLookupTraitBase::internal_key_type
 808 ASTIdentifierLookupTraitBase::ReadKey(const unsigned char* d, unsigned n) {
 809   assert(n >= 2 && d[n-1] == '\0');
 810   return StringRef((const char*) d, n-1);
 811 }
 812
 813 /// \brief Whether the given identifier is "interesting".
 814 static bool isInterestingIdentifier(ASTReader &Reader, IdentifierInfo &II,
 815                                     bool IsModule) {
 816   return II.hadMacroDefinition() ||
 817          II.isPoisoned() ||
 818          (IsModule ? II.hasRevertedBuiltin() : II.getObjCOrBuiltinID()) ||
 819          II.hasRevertedTokenIDToIdentifier() ||
 820          (!(IsModule && Reader.getContext().getLangOpts().CPlusPlus) &&
 821           II.getFETokenInfo<void>());
 822 }
 823
 824 static bool readBit(unsigned &Bits) {
 825   bool Value = Bits & 0x1;
 826   Bits >>= 1;
 827   return Value;
 828 }
 829
 830 IdentID ASTIdentifierLookupTrait::ReadIdentifierID(const unsigned char *d) {
 831   using namespace llvm::support;
 832   unsigned RawID = endian::readNext<uint32_t, little, unaligned>(d);
 833   return Reader.getGlobalIdentifierID(F, RawID >> 1);
 834 }
 835
 836 static void markIdentifierFromAST(ASTReader &Reader, IdentifierInfo &II) {
 837   if (!II.isFromAST()) {
 838     II.setIsFromAST();
 839     bool IsModule = Reader.getPreprocessor().getCurrentModule() != nullptr;
 840     if (isInterestingIdentifier(Reader, II, IsModule))
 841       II.setChangedSinceDeserialization();
 842   }
 843 }
 844
 845 IdentifierInfo *ASTIdentifierLookupTrait::ReadData(const internal_key_type& k,
 846                                                    const unsigned char* d,
 847                                                    unsigned DataLen) {
 848   using namespace llvm::support;
 849   unsigned RawID = endian::readNext<uint32_t, little, unaligned>(d);
 850   bool IsInteresting = RawID & 0x01;
 851
 852   // Wipe out the "is interesting" bit.
 853   RawID = RawID >> 1;
 854
 855   // Build the IdentifierInfo and link the identifier ID with it.
 856   IdentifierInfo *II = KnownII;
 857   if (!II) {
 858     II = &Reader.getIdentifierTable().getOwn(k);
 859     KnownII = II;
 860   }
 861   markIdentifierFromAST(Reader, *II);
 862   Reader.markIdentifierUpToDate(II);
 863
 864   IdentID ID = Reader.getGlobalIdentifierID(F, RawID);
 865   if (!IsInteresting) {
 866     // For uninteresting identifiers, there's nothing else to do. Just notify
 867     // the reader that we've finished loading this identifier.
 868     Reader.SetIdentifierInfo(ID, II);
 869     return II;
 870   }
 871
 872   unsigned ObjCOrBuiltinID = endian::readNext<uint16_t, little, unaligned>(d);
 873   unsigned Bits = endian::readNext<uint16_t, little, unaligned>(d);
 874   bool CPlusPlusOperatorKeyword = readBit(Bits);
 875   bool HasRevertedTokenIDToIdentifier = readBit(Bits);
 876   bool HasRevertedBuiltin = readBit(Bits);
 877   bool Poisoned = readBit(Bits);
 878   bool ExtensionToken = readBit(Bits);
 879   bool HadMacroDefinition = readBit(Bits);
 880
 881   assert(Bits == 0 && "Extra bits in the identifier?");
 882   DataLen -= 8;
 883
 884   // Set or check the various bits in the IdentifierInfo structure.
 885   // Token IDs are read-only.
 886   if (HasRevertedTokenIDToIdentifier && II->getTokenID() != tok::identifier)
 887     II->revertTokenIDToIdentifier();
 888   if (!F.isModule())
 889     II->setObjCOrBuiltinID(ObjCOrBuiltinID);
 890   else if (HasRevertedBuiltin && II->getBuiltinID()) {
 891     II->revertBuiltin();
 892     assert((II->hasRevertedBuiltin() ||
 893             II->getObjCOrBuiltinID() == ObjCOrBuiltinID) &&
 894            "Incorrect ObjC keyword or builtin ID");
 895   }
 896   assert(II->isExtensionToken() == ExtensionToken &&
 897          "Incorrect extension token flag");
 898   (void)ExtensionToken;
 899   if (Poisoned)
 900     II->setIsPoisoned(true);
 901   assert(II->isCPlusPlusOperatorKeyword() == CPlusPlusOperatorKeyword &&
 902          "Incorrect C++ operator keyword flag");
 903   (void)CPlusPlusOperatorKeyword;
 904
 905   // If this identifier is a macro, deserialize the macro
 906   // definition.
 907   if (HadMacroDefinition) {
 908     uint32_t MacroDirectivesOffset =
 909         endian::readNext<uint32_t, little, unaligned>(d);
 910     DataLen -= 4;
 911
 912     Reader.addPendingMacro(II, &F, MacroDirectivesOffset);
 913   }
 914
 915   Reader.SetIdentifierInfo(ID, II);
 916
 917   // Read all of the declarations visible at global scope with this
 918   // name.
 919   if (DataLen > 0) {
 920     SmallVector<uint32_t, 4> DeclIDs;
 921     for (; DataLen > 0; DataLen -= 4)
 922       DeclIDs.push_back(Reader.getGlobalDeclID(
 923           F, endian::readNext<uint32_t, little, unaligned>(d)));
 924     Reader.SetGloballyVisibleDecls(II, DeclIDs);
 925   }
 926
 927   return II;
 928 }
 929
 930 DeclarationNameKey::DeclarationNameKey(DeclarationName Name)
 931     : Kind(Name.getNameKind()) {
 932   switch (Kind) {
 933   case DeclarationName::Identifier:
 934     Data = (uint64_t)Name.getAsIdentifierInfo();
 935     break;
 936   case DeclarationName::ObjCZeroArgSelector:
 937   case DeclarationName::ObjCOneArgSelector:
 938   case DeclarationName::ObjCMultiArgSelector:
 939     Data = (uint64_t)Name.getObjCSelector().getAsOpaquePtr();
 940     break;
 941   case DeclarationName::CXXOperatorName:
 942     Data = Name.getCXXOverloadedOperator();
 943     break;
 944   case DeclarationName::CXXLiteralOperatorName:
 945     Data = (uint64_t)Name.getCXXLiteralIdentifier();
 946     break;
 947   case DeclarationName::CXXConstructorName:
 948   case DeclarationName::CXXDestructorName:
 949   case DeclarationName::CXXConversionFunctionName:
 950   case DeclarationName::CXXUsingDirective:
 951     Data = 0;
 952     break;
 953   }
 954 }
 955
 956 unsigned DeclarationNameKey::getHash() const {
 957   llvm::FoldingSetNodeID ID;
 958   ID.AddInteger(Kind);
 959
 960   switch (Kind) {
 961   case DeclarationName::Identifier:
 962   case DeclarationName::CXXLiteralOperatorName:
 963     ID.AddString(((IdentifierInfo*)Data)->getName());
 964     break;
 965   case DeclarationName::ObjCZeroArgSelector:
 966   case DeclarationName::ObjCOneArgSelector:
 967   case DeclarationName::ObjCMultiArgSelector:
 968     ID.AddInteger(serialization::ComputeHash(Selector(Data)));
 969     break;
 970   case DeclarationName::CXXOperatorName:
 971     ID.AddInteger((OverloadedOperatorKind)Data);
 972     break;
 973   case DeclarationName::CXXConstructorName:
 974   case DeclarationName::CXXDestructorName:
 975   case DeclarationName::CXXConversionFunctionName:
 976   case DeclarationName::CXXUsingDirective:
 977     break;
 978   }
 979
 980   return ID.ComputeHash();
 981 }
 982
 983 ModuleFile *
 984 ASTDeclContextNameLookupTrait::ReadFileRef(const unsigned char *&d) {
 985   using namespace llvm::support;
 986   uint32_t ModuleFileID = endian::readNext<uint32_t, little, unaligned>(d);
 987   return Reader.getLocalModuleFile(F, ModuleFileID);
 988 }
 989
 990 std::pair<unsigned, unsigned>
 991 ASTDeclContextNameLookupTrait::ReadKeyDataLength(const unsigned char *&d) {
 992   using namespace llvm::support;
 993   unsigned KeyLen = endian::readNext<uint16_t, little, unaligned>(d);
 994   unsigned DataLen = endian::readNext<uint16_t, little, unaligned>(d);
 995   return std::make_pair(KeyLen, DataLen);
 996 }
 997
 998 ASTDeclContextNameLookupTrait::internal_key_type
 999 ASTDeclContextNameLookupTrait::ReadKey(const unsigned char *d, unsigned) {
1000   using namespace llvm::support;
1001
1002   auto Kind = (DeclarationName::NameKind)*d++;
1003   uint64_t Data;
1004   switch (Kind) {
1005   case DeclarationName::Identifier:
1006     Data = (uint64_t)Reader.getLocalIdentifier(
1007         F, endian::readNext<uint32_t, little, unaligned>(d));
1008     break;
1009   case DeclarationName::ObjCZeroArgSelector:
1010   case DeclarationName::ObjCOneArgSelector:
1011   case DeclarationName::ObjCMultiArgSelector:
1012     Data =
1013         (uint64_t)Reader.getLocalSelector(
1014                              F, endian::readNext<uint32_t, little, unaligned>(
1015                                     d)).getAsOpaquePtr();
1016     break;
1017   case DeclarationName::CXXOperatorName:
1018     Data = *d++; // OverloadedOperatorKind
1019     break;
1020   case DeclarationName::CXXLiteralOperatorName:
1021     Data = (uint64_t)Reader.getLocalIdentifier(
1022         F, endian::readNext<uint32_t, little, unaligned>(d));
1023     break;
1024   case DeclarationName::CXXConstructorName:
1025   case DeclarationName::CXXDestructorName:
1026   case DeclarationName::CXXConversionFunctionName:
1027   case DeclarationName::CXXUsingDirective:
1028     Data = 0;
1029     break;
1030   }
1031
1032   return DeclarationNameKey(Kind, Data);
1033 }
1034
1035 void ASTDeclContextNameLookupTrait::ReadDataInto(internal_key_type,
1036                                                  const unsigned char *d,
1037                                                  unsigned DataLen,
1038                                                  data_type_builder &Val) {
1039   using namespace llvm::support;
1040   for (unsigned NumDecls = DataLen / 4; NumDecls; --NumDecls) {
1041     uint32_t LocalID = endian::readNext<uint32_t, little, unaligned>(d);
1042     Val.insert(Reader.getGlobalDeclID(F, LocalID));
1043   }
1044 }
1045
1046 bool ASTReader::ReadLexicalDeclContextStorage(ModuleFile &M,
1047                                               BitstreamCursor &Cursor,
1048                                               uint64_t Offset,
1049                                               DeclContext *DC) {
1050   assert(Offset != 0);
1051
1052   SavedStreamPosition SavedPosition(Cursor);
1053   Cursor.JumpToBit(Offset);
1054
1055   RecordData Record;
1056   StringRef Blob;
1057   unsigned Code = Cursor.ReadCode();
1058   unsigned RecCode = Cursor.readRecord(Code, Record, &Blob);
1059   if (RecCode != DECL_CONTEXT_LEXICAL) {
1060     Error("Expected lexical block");
1061     return true;
1062   }
1063
1064   assert(!isa<TranslationUnitDecl>(DC) &&
1065          "expected a TU_UPDATE_LEXICAL record for TU");
1066   // If we are handling a C++ class template instantiation, we can see multiple
1067   // lexical updates for the same record. It's important that we select only one
1068   // of them, so that field numbering works properly. Just pick the first one we
1069   // see.
1070   auto &Lex = LexicalDecls[DC];
1071   if (!Lex.first) {
1072     Lex = std::make_pair(
1073         &M, llvm::makeArrayRef(
1074                 reinterpret_cast<const llvm::support::unaligned_uint32_t *>(
1075                     Blob.data()),
1076                 Blob.size() / 4));
1077   }
1078   DC->setHasExternalLexicalStorage(true);
1079   return false;
1080 }
1081
1082 bool ASTReader::ReadVisibleDeclContextStorage(ModuleFile &M,
1083                                               BitstreamCursor &Cursor,
1084                                               uint64_t Offset,
1085                                               DeclID ID) {
1086   assert(Offset != 0);
1087
1088   SavedStreamPosition SavedPosition(Cursor);
1089   Cursor.JumpToBit(Offset);
1090
1091   RecordData Record;
1092   StringRef Blob;
1093   unsigned Code = Cursor.ReadCode();
1094   unsigned RecCode = Cursor.readRecord(Code, Record, &Blob);
1095   if (RecCode != DECL_CONTEXT_VISIBLE) {
1096     Error("Expected visible lookup table block");
1097     return true;
1098   }
1099
1100   // We can't safely determine the primary context yet, so delay attaching the
1101   // lookup table until we're done with recursive deserialization.
1102   auto *Data = (const unsigned char*)Blob.data();
1103   PendingVisibleUpdates[ID].push_back(PendingVisibleUpdate{&M, Data});
1104   return false;
1105 }
1106
1107 void ASTReader::Error(StringRef Msg) {
1108   Error(diag::err_fe_pch_malformed, Msg);
1109   if (Context.getLangOpts().Modules && !Diags.isDiagnosticInFlight() &&
1110       !PP.getHeaderSearchInfo().getModuleCachePath().empty()) {
1111     Diag(diag::note_module_cache_path)
1112       << PP.getHeaderSearchInfo().getModuleCachePath();
1113   }
1114 }
1115
1116 void ASTReader::Error(unsigned DiagID,
1117                       StringRef Arg1, StringRef Arg2) {
1118   if (Diags.isDiagnosticInFlight())
1119     Diags.SetDelayedDiagnostic(DiagID, Arg1, Arg2);
1120   else
1121     Diag(DiagID) << Arg1 << Arg2;
1122 }
1123
1124 //===----------------------------------------------------------------------===//
1125 // Source Manager Deserialization
1126 //===----------------------------------------------------------------------===//
1127
1128 /// \brief Read the line table in the source manager block.
1129 /// \returns true if there was an error.
1130 bool ASTReader::ParseLineTable(ModuleFile &F,
1131                                const RecordData &Record) {
1132   unsigned Idx = 0;
1133   LineTableInfo &LineTable = SourceMgr.getLineTable();
1134
1135   // Parse the file names
1136   std::map<int, int> FileIDs;
1137   for (unsigned I = 0; Record[Idx]; ++I) {
1138     // Extract the file name
1139     auto Filename = ReadPath(F, Record, Idx);
1140     FileIDs[I] = LineTable.getLineTableFilenameID(Filename);
1141   }
1142   ++Idx;
1143
1144   // Parse the line entries
1145   std::vector<LineEntry> Entries;
1146   while (Idx < Record.size()) {
1147     int FID = Record[Idx++];
1148     assert(FID >= 0 && "Serialized line entries for non-local file.");
1149     // Remap FileID from 1-based old view.
1150     FID += F.SLocEntryBaseID - 1;
1151
1152     // Extract the line entries
1153     unsigned NumEntries = Record[Idx++];
1154     assert(NumEntries && "no line entries for file ID");
1155     Entries.clear();
1156     Entries.reserve(NumEntries);
1157     for (unsigned I = 0; I != NumEntries; ++I) {
1158       unsigned FileOffset = Record[Idx++];
1159       unsigned LineNo = Record[Idx++];
1160       int FilenameID = FileIDs[Record[Idx++]];
1161       SrcMgr::CharacteristicKind FileKind
1162         = (SrcMgr::CharacteristicKind)Record[Idx++];
1163       unsigned IncludeOffset = Record[Idx++];
1164       Entries.push_back(LineEntry::get(FileOffset, LineNo, FilenameID,
1165                                        FileKind, IncludeOffset));
1166     }
1167     LineTable.AddEntry(FileID::get(FID), Entries);
1168   }
1169
1170   return false;
1171 }
1172
1173 /// \brief Read a source manager block
1174 bool ASTReader::ReadSourceManagerBlock(ModuleFile &F) {
1175   using namespace SrcMgr;
1176
1177   BitstreamCursor &SLocEntryCursor = F.SLocEntryCursor;
1178
1179   // Set the source-location entry cursor to the current position in
1180   // the stream. This cursor will be used to read the contents of the
1181   // source manager block initially, and then lazily read
1182   // source-location entries as needed.
1183   SLocEntryCursor = F.Stream;
1184
1185   // The stream itself is going to skip over the source manager block.
1186   if (F.Stream.SkipBlock()) {
1187     Error("malformed block record in AST file");
1188     return true;
1189   }
1190
1191   // Enter the source manager block.
1192   if (SLocEntryCursor.EnterSubBlock(SOURCE_MANAGER_BLOCK_ID)) {
1193     Error("malformed source manager block record in AST file");
1194     return true;
1195   }
1196
1197   RecordData Record;
1198   while (true) {
1199     llvm::BitstreamEntry E = SLocEntryCursor.advanceSkippingSubblocks();
1200
1201     switch (E.Kind) {
1202     case llvm::BitstreamEntry::SubBlock: // Handled for us already.
1203     case llvm::BitstreamEntry::Error:
1204       Error("malformed block record in AST file");
1205       return true;
1206     case llvm::BitstreamEntry::EndBlock:
1207       return false;
1208     case llvm::BitstreamEntry::Record:
1209       // The interesting case.
1210       break;
1211     }
1212
1213     // Read a record.
1214     Record.clear();
1215     StringRef Blob;
1216     switch (SLocEntryCursor.readRecord(E.ID, Record, &Blob)) {
1217     default:  // Default behavior: ignore.
1218       break;
1219
1220     case SM_SLOC_FILE_ENTRY:
1221     case SM_SLOC_BUFFER_ENTRY:
1222     case SM_SLOC_EXPANSION_ENTRY:
1223       // Once we hit one of the source location entries, we're done.
1224       return false;
1225     }
1226   }
1227 }
1228
1229 /// \brief If a header file is not found at the path that we expect it to be
1230 /// and the PCH file was moved from its original location, try to resolve the
1231 /// file by assuming that header+PCH were moved together and the header is in
1232 /// the same place relative to the PCH.
1233 static std::string
1234 resolveFileRelativeToOriginalDir(const std::string &Filename,
1235                                  const std::string &OriginalDir,
1236                                  const std::string &CurrDir) {
1237   assert(OriginalDir != CurrDir &&
1238          "No point trying to resolve the file if the PCH dir didn't change");
1239   using namespace llvm::sys;
1240   SmallString<128> filePath(Filename);
1241   fs::make_absolute(filePath);
1242   assert(path::is_absolute(OriginalDir));
1243   SmallString<128> currPCHPath(CurrDir);
1244
1245   path::const_iterator fileDirI = path::begin(path::parent_path(filePath)),
1246                        fileDirE = path::end(path::parent_path(filePath));
1247   path::const_iterator origDirI = path::begin(OriginalDir),
1248                        origDirE = path::end(OriginalDir);
1249   // Skip the common path components from filePath and OriginalDir.
1250   while (fileDirI != fileDirE && origDirI != origDirE &&
1251          *fileDirI == *origDirI) {
1252     ++fileDirI;
1253     ++origDirI;
1254   }
1255   for (; origDirI != origDirE; ++origDirI)
1256     path::append(currPCHPath, "..");
1257   path::append(currPCHPath, fileDirI, fileDirE);
1258   path::append(currPCHPath, path::filename(Filename));
1259   return currPCHPath.str();
1260 }
1261
1262 bool ASTReader::ReadSLocEntry(int ID) {
1263   if (ID == 0)
1264     return false;
1265
1266   if (unsigned(-ID) - 2 >= getTotalNumSLocs() || ID > 0) {
1267     Error("source location entry ID out-of-range for AST file");
1268     return true;
1269   }
1270
1271   // Local helper to read the (possibly-compressed) buffer data following the
1272   // entry record.
1273   auto ReadBuffer = [this](
1274       BitstreamCursor &SLocEntryCursor,
1275       StringRef Name) -> std::unique_ptr<llvm::MemoryBuffer> {
1276     RecordData Record;
1277     StringRef Blob;
1278     unsigned Code = SLocEntryCursor.ReadCode();
1279     unsigned RecCode = SLocEntryCursor.readRecord(Code, Record, &Blob);
1280
1281     if (RecCode == SM_SLOC_BUFFER_BLOB_COMPRESSED) {
1282       if (!llvm::zlib::isAvailable()) {
1283         Error("zlib is not available");
1284         return nullptr;
1285       }
1286       SmallString<0> Uncompressed;
1287       if (llvm::Error E =
1288               llvm::zlib::uncompress(Blob, Uncompressed, Record[0])) {
1289         Error("could not decompress embedded file contents: " +
1290               llvm::toString(std::move(E)));
1291         return nullptr;
1292       }
1293       return llvm::MemoryBuffer::getMemBufferCopy(Uncompressed, Name);
1294     } else if (RecCode == SM_SLOC_BUFFER_BLOB) {
1295       return llvm::MemoryBuffer::getMemBuffer(Blob.drop_back(1), Name, true);
1296     } else {
1297       Error("AST record has invalid code");
1298       return nullptr;
1299     }
1300   };
1301
1302   ModuleFile *F = GlobalSLocEntryMap.find(-ID)->second;
1303   F->SLocEntryCursor.JumpToBit(F->SLocEntryOffsets[ID - F->SLocEntryBaseID]);
1304   BitstreamCursor &SLocEntryCursor = F->SLocEntryCursor;
1305   unsigned BaseOffset = F->SLocEntryBaseOffset;
1306
1307   ++NumSLocEntriesRead;
1308   llvm::BitstreamEntry Entry = SLocEntryCursor.advance();
1309   if (Entry.Kind != llvm::BitstreamEntry::Record) {
1310     Error("incorrectly-formatted source location entry in AST file");
1311     return true;
1312   }
1313
1314   RecordData Record;
1315   StringRef Blob;
1316   switch (SLocEntryCursor.readRecord(Entry.ID, Record, &Blob)) {
1317   default:
1318     Error("incorrectly-formatted source location entry in AST file");
1319     return true;
1320
1321   case SM_SLOC_FILE_ENTRY: {
1322     // We will detect whether a file changed and return 'Failure' for it, but
1323     // we will also try to fail gracefully by setting up the SLocEntry.
1324     unsigned InputID = Record[4];
1325     InputFile IF = getInputFile(*F, InputID);
1326     const FileEntry *File = IF.getFile();
1327     bool OverriddenBuffer = IF.isOverridden();
1328
1329     // Note that we only check if a File was returned. If it was out-of-date
1330     // we have complained but we will continue creating a FileID to recover
1331     // gracefully.
1332     if (!File)
1333       return true;
1334
1335     SourceLocation IncludeLoc = ReadSourceLocation(*F, Record[1]);
1336     if (IncludeLoc.isInvalid() && F->Kind != MK_MainFile) {
1337       // This is the module's main file.
1338       IncludeLoc = getImportLocation(F);
1339     }
1340     SrcMgr::CharacteristicKind
1341       FileCharacter = (SrcMgr::CharacteristicKind)Record[2];
1342     FileID FID = SourceMgr.createFileID(File, IncludeLoc, FileCharacter,
1343                                         ID, BaseOffset + Record[0]);
1344     SrcMgr::FileInfo &FileInfo =
1345           const_cast<SrcMgr::FileInfo&>(SourceMgr.getSLocEntry(FID).getFile());
1346     FileInfo.NumCreatedFIDs = Record[5];
1347     if (Record[3])
1348       FileInfo.setHasLineDirectives();
1349
1350     const DeclID *FirstDecl = F->FileSortedDecls + Record[6];
1351     unsigned NumFileDecls = Record[7];
1352     if (NumFileDecls) {
1353       assert(F->FileSortedDecls && "FILE_SORTED_DECLS not encountered yet ?");
1354       FileDeclIDs[FID] = FileDeclsInfo(F, llvm::makeArrayRef(FirstDecl,
1355                                                              NumFileDecls));
1356     }
1357
1358     const SrcMgr::ContentCache *ContentCache
1359       = SourceMgr.getOrCreateContentCache(File,
1360                               /*isSystemFile=*/FileCharacter != SrcMgr::C_User);
1361     if (OverriddenBuffer && !ContentCache->BufferOverridden &&
1362         ContentCache->ContentsEntry == ContentCache->OrigEntry &&
1363         !ContentCache->getRawBuffer()) {
1364       auto Buffer = ReadBuffer(SLocEntryCursor, File->getName());
1365       if (!Buffer)
1366         return true;
1367       SourceMgr.overrideFileContents(File, std::move(Buffer));
1368     }
1369
1370     break;
1371   }
1372
1373   case SM_SLOC_BUFFER_ENTRY: {
1374     const char *Name = Blob.data();
1375     unsigned Offset = Record[0];
1376     SrcMgr::CharacteristicKind
1377       FileCharacter = (SrcMgr::CharacteristicKind)Record[2];
1378     SourceLocation IncludeLoc = ReadSourceLocation(*F, Record[1]);
1379     if (IncludeLoc.isInvalid() && F->isModule()) {
1380       IncludeLoc = getImportLocation(F);
1381     }
1382
1383     auto Buffer = ReadBuffer(SLocEntryCursor, Name);
1384     if (!Buffer)
1385       return true;
1386     SourceMgr.createFileID(std::move(Buffer), FileCharacter, ID,
1387                            BaseOffset + Offset, IncludeLoc);
1388     break;
1389   }
1390
1391   case SM_SLOC_EXPANSION_ENTRY: {
1392     SourceLocation SpellingLoc = ReadSourceLocation(*F, Record[1]);
1393     SourceMgr.createExpansionLoc(SpellingLoc,
1394                                      ReadSourceLocation(*F, Record[2]),
1395                                      ReadSourceLocation(*F, Record[3]),
1396                                      Record[4],
1397                                      ID,
1398                                      BaseOffset + Record[0]);
1399     break;
1400   }
1401   }
1402
1403   return false;
1404 }
1405
1406 std::pair<SourceLocation, StringRef> ASTReader::getModuleImportLoc(int ID) {
1407   if (ID == 0)
1408     return std::make_pair(SourceLocation(), "");
1409
1410   if (unsigned(-ID) - 2 >= getTotalNumSLocs() || ID > 0) {
1411     Error("source location entry ID out-of-range for AST file");
1412     return std::make_pair(SourceLocation(), "");
1413   }
1414
1415   // Find which module file this entry lands in.
1416   ModuleFile *M = GlobalSLocEntryMap.find(-ID)->second;
1417   if (!M->isModule())
1418     return std::make_pair(SourceLocation(), "");
1419
1420   // FIXME: Can we map this down to a particular submodule? That would be
1421   // ideal.
1422   return std::make_pair(M->ImportLoc, StringRef(M->ModuleName));
1423 }
1424
1425 /// \brief Find the location where the module F is imported.
1426 SourceLocation ASTReader::getImportLocation(ModuleFile *F) {
1427   if (F->ImportLoc.isValid())
1428     return F->ImportLoc;
1429
1430   // Otherwise we have a PCH. It's considered to be "imported" at the first
1431   // location of its includer.
1432   if (F->ImportedBy.empty() || !F->ImportedBy[0]) {
1433     // Main file is the importer.
1434     assert(SourceMgr.getMainFileID().isValid() && "missing main file");
1435     return SourceMgr.getLocForStartOfFile(SourceMgr.getMainFileID());
1436   }
1437   return F->ImportedBy[0]->FirstLoc;
1438 }
1439
1440 /// ReadBlockAbbrevs - Enter a subblock of the specified BlockID with the
1441 /// specified cursor.  Read the abbreviations that are at the top of the block
1442 /// and then leave the cursor pointing into the block.
1443 bool ASTReader::ReadBlockAbbrevs(BitstreamCursor &Cursor, unsigned BlockID) {
1444   if (Cursor.EnterSubBlock(BlockID))
1445     return true;
1446
1447   while (true) {
1448     uint64_t Offset = Cursor.GetCurrentBitNo();
1449     unsigned Code = Cursor.ReadCode();
1450
1451     // We expect all abbrevs to be at the start of the block.
1452     if (Code != llvm::bitc::DEFINE_ABBREV) {
1453       Cursor.JumpToBit(Offset);
1454       return false;
1455     }
1456     Cursor.ReadAbbrevRecord();
1457   }
1458 }
1459
1460 Token ASTReader::ReadToken(ModuleFile &F, const RecordDataImpl &Record,
1461                            unsigned &Idx) {
1462   Token Tok;
1463   Tok.startToken();
1464   Tok.setLocation(ReadSourceLocation(F, Record, Idx));
1465   Tok.setLength(Record[Idx++]);
1466   if (IdentifierInfo *II = getLocalIdentifier(F, Record[Idx++]))
1467     Tok.setIdentifierInfo(II);
1468   Tok.setKind((tok::TokenKind)Record[Idx++]);
1469   Tok.setFlag((Token::TokenFlags)Record[Idx++]);
1470   return Tok;
1471 }
1472
1473 MacroInfo *ASTReader::ReadMacroRecord(ModuleFile &F, uint64_t Offset) {
1474   BitstreamCursor &Stream = F.MacroCursor;
1475
1476   // Keep track of where we are in the stream, then jump back there
1477   // after reading this macro.
1478   SavedStreamPosition SavedPosition(Stream);
1479
1480   Stream.JumpToBit(Offset);
1481   RecordData Record;
1482   SmallVector<IdentifierInfo*, 16> MacroArgs;
1483   MacroInfo *Macro = nullptr;
1484
1485   while (true) {
1486     // Advance to the next record, but if we get to the end of the block, don't
1487     // pop it (removing all the abbreviations from the cursor) since we want to
1488     // be able to reseek within the block and read entries.
1489     unsigned Flags = BitstreamCursor::AF_DontPopBlockAtEnd;
1490     llvm::BitstreamEntry Entry = Stream.advanceSkippingSubblocks(Flags);
1491
1492     switch (Entry.Kind) {
1493     case llvm::BitstreamEntry::SubBlock: // Handled for us already.
1494     case llvm::BitstreamEntry::Error:
1495       Error("malformed block record in AST file");
1496       return Macro;
1497     case llvm::BitstreamEntry::EndBlock:
1498       return Macro;
1499     case llvm::BitstreamEntry::Record:
1500       // The interesting case.
1501       break;
1502     }
1503
1504     // Read a record.
1505     Record.clear();
1506     PreprocessorRecordTypes RecType =
1507       (PreprocessorRecordTypes)Stream.readRecord(Entry.ID, Record);
1508     switch (RecType) {
1509     case PP_MODULE_MACRO:
1510     case PP_MACRO_DIRECTIVE_HISTORY:
1511       return Macro;
1512
1513     case PP_MACRO_OBJECT_LIKE:
1514     case PP_MACRO_FUNCTION_LIKE: {
1515       // If we already have a macro, that means that we've hit the end
1516       // of the definition of the macro we were looking for. We're
1517       // done.
1518       if (Macro)
1519         return Macro;
1520
1521       unsigned NextIndex = 1; // Skip identifier ID.
1522       SubmoduleID SubModID = getGlobalSubmoduleID(F, Record[NextIndex++]);
1523       SourceLocation Loc = ReadSourceLocation(F, Record, NextIndex);
1524       MacroInfo *MI = PP.AllocateDeserializedMacroInfo(Loc, SubModID);
1525       MI->setDefinitionEndLoc(ReadSourceLocation(F, Record, NextIndex));
1526       MI->setIsUsed(Record[NextIndex++]);
1527       MI->setUsedForHeaderGuard(Record[NextIndex++]);
1528
1529       if (RecType == PP_MACRO_FUNCTION_LIKE) {
1530         // Decode function-like macro info.
1531         bool isC99VarArgs = Record[NextIndex++];
1532         bool isGNUVarArgs = Record[NextIndex++];
1533         bool hasCommaPasting = Record[NextIndex++];
1534         MacroArgs.clear();
1535         unsigned NumArgs = Record[NextIndex++];
1536         for (unsigned i = 0; i != NumArgs; ++i)
1537           MacroArgs.push_back(getLocalIdentifier(F, Record[NextIndex++]));
1538
1539         // Install function-like macro info.
1540         MI->setIsFunctionLike();
1541         if (isC99VarArgs) MI->setIsC99Varargs();
1542         if (isGNUVarArgs) MI->setIsGNUVarargs();
1543         if (hasCommaPasting) MI->setHasCommaPasting();
1544         MI->setArgumentList(MacroArgs, PP.getPreprocessorAllocator());
1545       }
1546
1547       // Remember that we saw this macro last so that we add the tokens that
1548       // form its body to it.
1549       Macro = MI;
1550
1551       if (NextIndex + 1 == Record.size() && PP.getPreprocessingRecord() &&
1552           Record[NextIndex]) {
1553         // We have a macro definition. Register the association
1554         PreprocessedEntityID
1555             GlobalID = getGlobalPreprocessedEntityID(F, Record[NextIndex]);
1556         PreprocessingRecord &PPRec = *PP.getPreprocessingRecord();
1557         PreprocessingRecord::PPEntityID PPID =
1558             PPRec.getPPEntityID(GlobalID - 1, /*isLoaded=*/true);
1559         MacroDefinitionRecord *PPDef = cast_or_null<MacroDefinitionRecord>(
1560             PPRec.getPreprocessedEntity(PPID));
1561         if (PPDef)
1562           PPRec.RegisterMacroDefinition(Macro, PPDef);
1563       }
1564
1565       ++NumMacrosRead;
1566       break;
1567     }
1568
1569     case PP_TOKEN: {
1570       // If we see a TOKEN before a PP_MACRO_*, then the file is
1571       // erroneous, just pretend we didn't see this.
1572       if (!Macro) break;
1573
1574       unsigned Idx = 0;
1575       Token Tok = ReadToken(F, Record, Idx);
1576       Macro->AddTokenToBody(Tok);
1577       break;
1578     }
1579     }
1580   }
1581 }
1582
1583 PreprocessedEntityID
1584 ASTReader::getGlobalPreprocessedEntityID(ModuleFile &M, unsigned LocalID) const {
1585   ContinuousRangeMap<uint32_t, int, 2>::const_iterator
1586     I = M.PreprocessedEntityRemap.find(LocalID - NUM_PREDEF_PP_ENTITY_IDS);
1587   assert(I != M.PreprocessedEntityRemap.end()
1588          && "Invalid index into preprocessed entity index remap");
1589
1590   return LocalID + I->second;
1591 }
1592
1593 unsigned HeaderFileInfoTrait::ComputeHash(internal_key_ref ikey) {
1594   return llvm::hash_combine(ikey.Size, ikey.ModTime);
1595 }
1596
1597 HeaderFileInfoTrait::internal_key_type
1598 HeaderFileInfoTrait::GetInternalKey(const FileEntry *FE) {
1599   internal_key_type ikey = {FE->getSize(),
1600                             M.HasTimestamps ? FE->getModificationTime() : 0,
1601                             FE->getName(), /*Imported*/ false};
1602   return ikey;
1603 }
1604
1605 bool HeaderFileInfoTrait::EqualKey(internal_key_ref a, internal_key_ref b) {
1606   if (a.Size != b.Size || (a.ModTime && b.ModTime && a.ModTime != b.ModTime))
1607     return false;
1608
1609   if (llvm::sys::path::is_absolute(a.Filename) && a.Filename == b.Filename)
1610     return true;
1611
1612   // Determine whether the actual files are equivalent.
1613   FileManager &FileMgr = Reader.getFileManager();
1614   auto GetFile = [&](const internal_key_type &Key) -> const FileEntry* {
1615     if (!Key.Imported)
1616       return FileMgr.getFile(Key.Filename);
1617
1618     std::string Resolved = Key.Filename;
1619     Reader.ResolveImportedPath(M, Resolved);
1620     return FileMgr.getFile(Resolved);
1621   };
1622
1623   const FileEntry *FEA = GetFile(a);
1624   const FileEntry *FEB = GetFile(b);
1625   return FEA && FEA == FEB;
1626 }
1627
1628 std::pair<unsigned, unsigned>
1629 HeaderFileInfoTrait::ReadKeyDataLength(const unsigned char*& d) {
1630   using namespace llvm::support;
1631   unsigned KeyLen = (unsigned) endian::readNext<uint16_t, little, unaligned>(d);
1632   unsigned DataLen = (unsigned) *d++;
1633   return std::make_pair(KeyLen, DataLen);
1634 }
1635
1636 HeaderFileInfoTrait::internal_key_type
1637 HeaderFileInfoTrait::ReadKey(const unsigned char *d, unsigned) {
1638   using namespace llvm::support;
1639   internal_key_type ikey;
1640   ikey.Size = off_t(endian::readNext<uint64_t, little, unaligned>(d));
1641   ikey.ModTime = time_t(endian::readNext<uint64_t, little, unaligned>(d));
1642   ikey.Filename = (const char *)d;
1643   ikey.Imported = true;
1644   return ikey;
1645 }
1646
1647 HeaderFileInfoTrait::data_type
1648 HeaderFileInfoTrait::ReadData(internal_key_ref key, const unsigned char *d,
1649                               unsigned DataLen) {
1650   const unsigned char *End = d + DataLen;
1651   using namespace llvm::support;
1652   HeaderFileInfo HFI;
1653   unsigned Flags = *d++;
1654   // FIXME: Refactor with mergeHeaderFileInfo in HeaderSearch.cpp.
1655   HFI.isImport |= (Flags >> 4) & 0x01;
1656   HFI.isPragmaOnce |= (Flags >> 3) & 0x01;
1657   HFI.DirInfo = (Flags >> 1) & 0x03;
1658   HFI.IndexHeaderMapHeader = Flags & 0x01;
1659   // FIXME: Find a better way to handle this. Maybe just store a
1660   // "has been included" flag?
1661   HFI.NumIncludes = std::max(endian::readNext<uint16_t, little, unaligned>(d),
1662                              HFI.NumIncludes);
1663   HFI.ControllingMacroID = Reader.getGlobalIdentifierID(
1664       M, endian::readNext<uint32_t, little, unaligned>(d));
1665   if (unsigned FrameworkOffset =
1666           endian::readNext<uint32_t, little, unaligned>(d)) {
1667     // The framework offset is 1 greater than the actual offset,
1668     // since 0 is used as an indicator for "no framework name".
1669     StringRef FrameworkName(FrameworkStrings + FrameworkOffset - 1);
1670     HFI.Framework = HS->getUniqueFrameworkName(FrameworkName);
1671   }
1672
1673   assert((End - d) % 4 == 0 &&
1674          "Wrong data length in HeaderFileInfo deserialization");
1675   while (d != End) {
1676     uint32_t LocalSMID = endian::readNext<uint32_t, little, unaligned>(d);
1677     auto HeaderRole = static_cast<ModuleMap::ModuleHeaderRole>(LocalSMID & 3);
1678     LocalSMID >>= 2;
1679
1680     // This header is part of a module. Associate it with the module to enable
1681     // implicit module import.
1682     SubmoduleID GlobalSMID = Reader.getGlobalSubmoduleID(M, LocalSMID);
1683     Module *Mod = Reader.getSubmodule(GlobalSMID);
1684     FileManager &FileMgr = Reader.getFileManager();
1685     ModuleMap &ModMap =
1686         Reader.getPreprocessor().getHeaderSearchInfo().getModuleMap();
1687
1688     std::string Filename = key.Filename;
1689     if (key.Imported)
1690       Reader.ResolveImportedPath(M, Filename);
1691     // FIXME: This is not always the right filename-as-written, but we're not
1692     // going to use this information to rebuild the module, so it doesn't make
1693     // a lot of difference.
1694     Module::Header H = { key.Filename, FileMgr.getFile(Filename) };
1695     ModMap.addHeader(Mod, H, HeaderRole, /*Imported*/true);
1696     HFI.isModuleHeader |= !(HeaderRole & ModuleMap::TextualHeader);
1697   }
1698
1699   // This HeaderFileInfo was externally loaded.
1700   HFI.External = true;
1701   HFI.IsValid = true;
1702   return HFI;
1703 }
1704
1705 void ASTReader::addPendingMacro(IdentifierInfo *II,
1706                                 ModuleFile *M,
1707                                 uint64_t MacroDirectivesOffset) {
1708   assert(NumCurrentElementsDeserializing > 0 &&"Missing deserialization guard");
1709   PendingMacroIDs[II].push_back(PendingMacroInfo(M, MacroDirectivesOffset));
1710 }
1711
1712 void ASTReader::ReadDefinedMacros() {
1713   // Note that we are loading defined macros.
1714   Deserializing Macros(this);
1715
1716   for (auto &I : llvm::reverse(ModuleMgr)) {
1717     BitstreamCursor &MacroCursor = I->MacroCursor;
1718
1719     // If there was no preprocessor block, skip this file.
1720     if (MacroCursor.getBitcodeBytes().empty())
1721       continue;
1722
1723     BitstreamCursor Cursor = MacroCursor;
1724     Cursor.JumpToBit(I->MacroStartOffset);
1725
1726     RecordData Record;
1727     while (true) {
1728       llvm::BitstreamEntry E = Cursor.advanceSkippingSubblocks();
1729
1730       switch (E.Kind) {
1731       case llvm::BitstreamEntry::SubBlock: // Handled for us already.
1732       case llvm::BitstreamEntry::Error:
1733         Error("malformed block record in AST file");
1734         return;
1735       case llvm::BitstreamEntry::EndBlock:
1736         goto NextCursor;
1737
1738       case llvm::BitstreamEntry::Record:
1739         Record.clear();
1740         switch (Cursor.readRecord(E.ID, Record)) {
1741         default:  // Default behavior: ignore.
1742           break;
1743
1744         case PP_MACRO_OBJECT_LIKE:
1745         case PP_MACRO_FUNCTION_LIKE: {
1746           IdentifierInfo *II = getLocalIdentifier(*I, Record[0]);
1747           if (II->isOutOfDate())
1748             updateOutOfDateIdentifier(*II);
1749           break;
1750         }
1751
1752         case PP_TOKEN:
1753           // Ignore tokens.
1754           break;
1755         }
1756         break;
1757       }
1758     }
1759     NextCursor:  ;
1760   }
1761 }
1762
1763 namespace {
1764
1765   /// \brief Visitor class used to look up identifirs in an AST file.
1766   class IdentifierLookupVisitor {
1767     StringRef Name;
1768     unsigned NameHash;
1769     unsigned PriorGeneration;
1770     unsigned &NumIdentifierLookups;
1771     unsigned &NumIdentifierLookupHits;
1772     IdentifierInfo *Found;
1773
1774   public:
1775     IdentifierLookupVisitor(StringRef Name, unsigned PriorGeneration,
1776                             unsigned &NumIdentifierLookups,
1777                             unsigned &NumIdentifierLookupHits)
1778       : Name(Name), NameHash(ASTIdentifierLookupTrait::ComputeHash(Name)),
1779         PriorGeneration(PriorGeneration),
1780         NumIdentifierLookups(NumIdentifierLookups),
1781         NumIdentifierLookupHits(NumIdentifierLookupHits),
1782         Found()
1783     {
1784     }
1785
1786     bool operator()(ModuleFile &M) {
1787       // If we've already searched this module file, skip it now.
1788       if (M.Generation <= PriorGeneration)
1789         return true;
1790
1791       ASTIdentifierLookupTable *IdTable
1792         = (ASTIdentifierLookupTable *)M.IdentifierLookupTable;
1793       if (!IdTable)
1794         return false;
1795
1796       ASTIdentifierLookupTrait Trait(IdTable->getInfoObj().getReader(), M,
1797                                      Found);
1798       ++NumIdentifierLookups;
1799       ASTIdentifierLookupTable::iterator Pos =
1800           IdTable->find_hashed(Name, NameHash, &Trait);
1801       if (Pos == IdTable->end())
1802         return false;
1803
1804       // Dereferencing the iterator has the effect of building the
1805       // IdentifierInfo node and populating it with the various
1806       // declarations it needs.
1807       ++NumIdentifierLookupHits;
1808       Found = *Pos;
1809       return true;
1810     }
1811
1812     // \brief Retrieve the identifier info found within the module
1813     // files.
1814     IdentifierInfo *getIdentifierInfo() const { return Found; }
1815   };
1816
1817 } // end anonymous namespace
1818
1819 void ASTReader::updateOutOfDateIdentifier(IdentifierInfo &II) {
1820   // Note that we are loading an identifier.
1821   Deserializing AnIdentifier(this);
1822
1823   unsigned PriorGeneration = 0;
1824   if (getContext().getLangOpts().Modules)
1825     PriorGeneration = IdentifierGeneration[&II];
1826
1827   // If there is a global index, look there first to determine which modules
1828   // provably do not have any results for this identifier.
1829   GlobalModuleIndex::HitSet Hits;
1830   GlobalModuleIndex::HitSet *HitsPtr = nullptr;
1831   if (!loadGlobalIndex()) {
1832     if (GlobalIndex->lookupIdentifier(II.getName(), Hits)) {
1833       HitsPtr = &Hits;
1834     }
1835   }
1836
1837   IdentifierLookupVisitor Visitor(II.getName(), PriorGeneration,
1838                                   NumIdentifierLookups,
1839                                   NumIdentifierLookupHits);
1840   ModuleMgr.visit(Visitor, HitsPtr);
1841   markIdentifierUpToDate(&II);
1842 }
1843
1844 void ASTReader::markIdentifierUpToDate(IdentifierInfo *II) {
1845   if (!II)
1846     return;
1847
1848   II->setOutOfDate(false);
1849
1850   // Update the generation for this identifier.
1851   if (getContext().getLangOpts().Modules)
1852     IdentifierGeneration[II] = getGeneration();
1853 }
1854
1855 void ASTReader::resolvePendingMacro(IdentifierInfo *II,
1856                                     const PendingMacroInfo &PMInfo) {
1857   ModuleFile &M = *PMInfo.M;
1858
1859   BitstreamCursor &Cursor = M.MacroCursor;
1860   SavedStreamPosition SavedPosition(Cursor);
1861   Cursor.JumpToBit(PMInfo.MacroDirectivesOffset);
1862
1863   struct ModuleMacroRecord {
1864     SubmoduleID SubModID;
1865     MacroInfo *MI;
1866     SmallVector<SubmoduleID, 8> Overrides;
1867   };
1868   llvm::SmallVector<ModuleMacroRecord, 8> ModuleMacros;
1869
1870   // We expect to see a sequence of PP_MODULE_MACRO records listing exported
1871   // macros, followed by a PP_MACRO_DIRECTIVE_HISTORY record with the complete
1872   // macro histroy.
1873   RecordData Record;
1874   while (true) {
1875     llvm::BitstreamEntry Entry =
1876         Cursor.advance(BitstreamCursor::AF_DontPopBlockAtEnd);
1877     if (Entry.Kind != llvm::BitstreamEntry::Record) {
1878       Error("malformed block record in AST file");
1879       return;
1880     }
1881
1882     Record.clear();
1883     switch ((PreprocessorRecordTypes)Cursor.readRecord(Entry.ID, Record)) {
1884     case PP_MACRO_DIRECTIVE_HISTORY:
1885       break;
1886
1887     case PP_MODULE_MACRO: {
1888       ModuleMacros.push_back(ModuleMacroRecord());
1889       auto &Info = ModuleMacros.back();
1890       Info.SubModID = getGlobalSubmoduleID(M, Record[0]);
1891       Info.MI = getMacro(getGlobalMacroID(M, Record[1]));
1892       for (int I = 2, N = Record.size(); I != N; ++I)
1893         Info.Overrides.push_back(getGlobalSubmoduleID(M, Record[I]));
1894       continue;
1895     }
1896
1897     default:
1898       Error("malformed block record in AST file");
1899       return;
1900     }
1901
1902     // We found the macro directive history; that's the last record
1903     // for this macro.
1904     break;
1905   }
1906
1907   // Module macros are listed in reverse dependency order.
1908   {
1909     std::reverse(ModuleMacros.begin(), ModuleMacros.end());
1910     llvm::SmallVector<ModuleMacro*, 8> Overrides;
1911     for (auto &MMR : ModuleMacros) {
1912       Overrides.clear();
1913       for (unsigned ModID : MMR.Overrides) {
1914         Module *Mod = getSubmodule(ModID);
1915         auto *Macro = PP.getModuleMacro(Mod, II);
1916         assert(Macro && "missing definition for overridden macro");
1917         Overrides.push_back(Macro);
1918       }
1919
1920       bool Inserted = false;
1921       Module *Owner = getSubmodule(MMR.SubModID);
1922       PP.addModuleMacro(Owner, II, MMR.MI, Overrides, Inserted);
1923     }
1924   }
1925
1926   // Don't read the directive history for a module; we don't have anywhere
1927   // to put it.
1928   if (M.isModule())
1929     return;
1930
1931   // Deserialize the macro directives history in reverse source-order.
1932   MacroDirective *Latest = nullptr, *Earliest = nullptr;
1933   unsigned Idx = 0, N = Record.size();
1934   while (Idx < N) {
1935     MacroDirective *MD = nullptr;
1936     SourceLocation Loc = ReadSourceLocation(M, Record, Idx);
1937     MacroDirective::Kind K = (MacroDirective::Kind)Record[Idx++];
1938     switch (K) {
1939     case MacroDirective::MD_Define: {
1940       MacroInfo *MI = getMacro(getGlobalMacroID(M, Record[Idx++]));
1941       MD = PP.AllocateDefMacroDirective(MI, Loc);
1942       break;
1943     }
1944     case MacroDirective::MD_Undefine: {
1945       MD = PP.AllocateUndefMacroDirective(Loc);
1946       break;
1947     }
1948     case MacroDirective::MD_Visibility:
1949       bool isPublic = Record[Idx++];
1950       MD = PP.AllocateVisibilityMacroDirective(Loc, isPublic);
1951       break;
1952     }
1953
1954     if (!Latest)
1955       Latest = MD;
1956     if (Earliest)
1957       Earliest->setPrevious(MD);
1958     Earliest = MD;
1959   }
1960
1961   if (Latest)
1962     PP.setLoadedMacroDirective(II, Earliest, Latest);
1963 }
1964
1965 ASTReader::InputFileInfo
1966 ASTReader::readInputFileInfo(ModuleFile &F, unsigned ID) {
1967   // Go find this input file.
1968   BitstreamCursor &Cursor = F.InputFilesCursor;
1969   SavedStreamPosition SavedPosition(Cursor);
1970   Cursor.JumpToBit(F.InputFileOffsets[ID-1]);
1971
1972   unsigned Code = Cursor.ReadCode();
1973   RecordData Record;
1974   StringRef Blob;
1975
1976   unsigned Result = Cursor.readRecord(Code, Record, &Blob);
1977   assert(static_cast<InputFileRecordTypes>(Result) == INPUT_FILE &&
1978          "invalid record type for input file");
1979   (void)Result;
1980
1981   assert(Record[0] == ID && "Bogus stored ID or offset");
1982   InputFileInfo R;
1983   R.StoredSize = static_cast<off_t>(Record[1]);
1984   R.StoredTime = static_cast<time_t>(Record[2]);
1985   R.Overridden = static_cast<bool>(Record[3]);
1986   R.Transient = static_cast<bool>(Record[4]);
1987   R.Filename = Blob;
1988   ResolveImportedPath(F, R.Filename);
1989   return R;
1990 }
1991
1992 static unsigned moduleKindForDiagnostic(ModuleKind Kind);
1993 InputFile ASTReader::getInputFile(ModuleFile &F, unsigned ID, bool Complain) {
1994   // If this ID is bogus, just return an empty input file.
1995   if (ID == 0 || ID > F.InputFilesLoaded.size())
1996     return InputFile();
1997
1998   // If we've already loaded this input file, return it.
1999   if (F.InputFilesLoaded[ID-1].getFile())
2000     return F.InputFilesLoaded[ID-1];
2001
2002   if (F.InputFilesLoaded[ID-1].isNotFound())
2003     return InputFile();
2004
2005   // Go find this input file.
2006   BitstreamCursor &Cursor = F.InputFilesCursor;
2007   SavedStreamPosition SavedPosition(Cursor);
2008   Cursor.JumpToBit(F.InputFileOffsets[ID-1]);
2009
2010   InputFileInfo FI = readInputFileInfo(F, ID);
2011   off_t StoredSize = FI.StoredSize;
2012   time_t StoredTime = FI.StoredTime;
2013   bool Overridden = FI.Overridden;
2014   bool Transient = FI.Transient;
2015   StringRef Filename = FI.Filename;
2016
2017   const FileEntry *File = FileMgr.getFile(Filename, /*OpenFile=*/false);
2018
2019   // If we didn't find the file, resolve it relative to the
2020   // original directory from which this AST file was created.
2021   if (File == nullptr && !F.OriginalDir.empty() && !CurrentDir.empty() &&
2022       F.OriginalDir != CurrentDir) {
2023     std::string Resolved = resolveFileRelativeToOriginalDir(Filename,
2024                                                             F.OriginalDir,
2025                                                             CurrentDir);
2026     if (!Resolved.empty())
2027       File = FileMgr.getFile(Resolved);
2028   }
2029
2030   // For an overridden file, create a virtual file with the stored
2031   // size/timestamp.
2032   if ((Overridden || Transient) && File == nullptr)
2033     File = FileMgr.getVirtualFile(Filename, StoredSize, StoredTime);
2034
2035   if (File == nullptr) {
2036     if (Complain) {
2037       std::string ErrorStr = "could not find file '";
2038       ErrorStr += Filename;
2039       ErrorStr += "' referenced by AST file '";
2040       ErrorStr += F.FileName;
2041       ErrorStr += "'";
2042       Error(ErrorStr);
2043     }
2044     // Record that we didn't find the file.
2045     F.InputFilesLoaded[ID-1] = InputFile::getNotFound();
2046     return InputFile();
2047   }
2048
2049   // Check if there was a request to override the contents of the file
2050   // that was part of the precompiled header. Overridding such a file
2051   // can lead to problems when lexing using the source locations from the
2052   // PCH.
2053   SourceManager &SM = getSourceManager();
2054   // FIXME: Reject if the overrides are different.
2055   if ((!Overridden && !Transient) && SM.isFileOverridden(File)) {
2056     if (Complain)
2057       Error(diag::err_fe_pch_file_overridden, Filename);
2058     // After emitting the diagnostic, recover by disabling the override so
2059     // that the original file will be used.
2060     //
2061     // FIXME: This recovery is just as broken as the original state; there may
2062     // be another precompiled module that's using the overridden contents, or
2063     // we might be half way through parsing it. Instead, we should treat the
2064     // overridden contents as belonging to a separate FileEntry.
2065     SM.disableFileContentsOverride(File);
2066     // The FileEntry is a virtual file entry with the size of the contents
2067     // that would override the original contents. Set it to the original's
2068     // size/time.
2069     FileMgr.modifyFileEntry(const_cast<FileEntry*>(File),
2070                             StoredSize, StoredTime);
2071   }
2072
2073   bool IsOutOfDate = false;
2074
2075   // For an overridden file, there is nothing to validate.
2076   if (!Overridden && //
2077       (StoredSize != File->getSize() ||
2078        (StoredTime && StoredTime != File->getModificationTime() &&
2079         !DisableValidation)
2080        )) {
2081     if (Complain) {
2082       // Build a list of the PCH imports that got us here (in reverse).
2083       SmallVector<ModuleFile *, 4> ImportStack(1, &F);
2084       while (ImportStack.back()->ImportedBy.size() > 0)
2085         ImportStack.push_back(ImportStack.back()->ImportedBy[0]);
2086
2087       // The top-level PCH is stale.
2088       StringRef TopLevelPCHName(ImportStack.back()->FileName);
2089       unsigned DiagnosticKind = moduleKindForDiagnostic(ImportStack.back()->Kind);
2090       if (DiagnosticKind == 0)
2091         Error(diag::err_fe_pch_file_modified, Filename, TopLevelPCHName);
2092       else if (DiagnosticKind == 1)
2093         Error(diag::err_fe_module_file_modified, Filename, TopLevelPCHName);
2094       else
2095         Error(diag::err_fe_ast_file_modified, Filename, TopLevelPCHName);
2096
2097       // Print the import stack.
2098       if (ImportStack.size() > 1 && !Diags.isDiagnosticInFlight()) {
2099         Diag(diag::note_pch_required_by)
2100           << Filename << ImportStack[0]->FileName;
2101         for (unsigned I = 1; I < ImportStack.size(); ++I)
2102           Diag(diag::note_pch_required_by)
2103             << ImportStack[I-1]->FileName << ImportStack[I]->FileName;
2104       }
2105
2106       if (!Diags.isDiagnosticInFlight())
2107         Diag(diag::note_pch_rebuild_required) << TopLevelPCHName;
2108     }
2109
2110     IsOutOfDate = true;
2111   }
2112   // FIXME: If the file is overridden and we've already opened it,
2113   // issue an error (or split it into a separate FileEntry).
2114
2115   InputFile IF = InputFile(File, Overridden || Transient, IsOutOfDate);
2116
2117   // Note that we've loaded this input file.
2118   F.InputFilesLoaded[ID-1] = IF;
2119   return IF;
2120 }
2121
2122 /// \brief If we are loading a relocatable PCH or module file, and the filename
2123 /// is not an absolute path, add the system or module root to the beginning of
2124 /// the file name.
2125 void ASTReader::ResolveImportedPath(ModuleFile &M, std::string &Filename) {
2126   // Resolve relative to the base directory, if we have one.
2127   if (!M.BaseDirectory.empty())
2128     return ResolveImportedPath(Filename, M.BaseDirectory);
2129 }
2130
2131 void ASTReader::ResolveImportedPath(std::string &Filename, StringRef Prefix) {
2132   if (Filename.empty() || llvm::sys::path::is_absolute(Filename))
2133     return;
2134
2135   SmallString<128> Buffer;
2136   llvm::sys::path::append(Buffer, Prefix, Filename);
2137   Filename.assign(Buffer.begin(), Buffer.end());
2138 }
2139
2140 static bool isDiagnosedResult(ASTReader::ASTReadResult ARR, unsigned Caps) {
2141   switch (ARR) {
2142   case ASTReader::Failure: return true;
2143   case ASTReader::Missing: return !(Caps & ASTReader::ARR_Missing);
2144   case ASTReader::OutOfDate: return !(Caps & ASTReader::ARR_OutOfDate);
2145   case ASTReader::VersionMismatch: return !(Caps & ASTReader::ARR_VersionMismatch);
2146   case ASTReader::ConfigurationMismatch:
2147     return !(Caps & ASTReader::ARR_ConfigurationMismatch);
2148   case ASTReader::HadErrors: return true;
2149   case ASTReader::Success: return false;
2150   }
2151
2152   llvm_unreachable("unknown ASTReadResult");
2153 }
2154
2155 ASTReader::ASTReadResult ASTReader::ReadOptionsBlock(
2156     BitstreamCursor &Stream, unsigned ClientLoadCapabilities,
2157     bool AllowCompatibleConfigurationMismatch, ASTReaderListener &Listener,
2158     std::string &SuggestedPredefines, bool ValidateDiagnosticOptions) {
2159   if (Stream.EnterSubBlock(OPTIONS_BLOCK_ID))
2160     return Failure;
2161
2162   // Read all of the records in the options block.
2163   RecordData Record;
2164   ASTReadResult Result = Success;
2165   while (true) {
2166     llvm::BitstreamEntry Entry = Stream.advance();
2167
2168     switch (Entry.Kind) {
2169     case llvm::BitstreamEntry::Error:
2170     case llvm::BitstreamEntry::SubBlock:
2171       return Failure;
2172
2173     case llvm::BitstreamEntry::EndBlock:
2174       return Result;
2175
2176     case llvm::BitstreamEntry::Record:
2177       // The interesting case.
2178       break;
2179     }
2180
2181     // Read and process a record.
2182     Record.clear();
2183     switch ((OptionsRecordTypes)Stream.readRecord(Entry.ID, Record)) {
2184     case LANGUAGE_OPTIONS: {
2185       bool Complain = (ClientLoadCapabilities & ARR_ConfigurationMismatch) == 0;
2186       if (ParseLanguageOptions(Record, Complain, Listener,
2187                                AllowCompatibleConfigurationMismatch))
2188         Result = ConfigurationMismatch;
2189       break;
2190     }
2191
2192     case TARGET_OPTIONS: {
2193       bool Complain = (ClientLoadCapabilities & ARR_ConfigurationMismatch) == 0;
2194       if (ParseTargetOptions(Record, Complain, Listener,
2195                              AllowCompatibleConfigurationMismatch))
2196         Result = ConfigurationMismatch;
2197       break;
2198     }
2199
2200     case DIAGNOSTIC_OPTIONS: {
2201       bool Complain = (ClientLoadCapabilities & ARR_OutOfDate) == 0;
2202       if (ValidateDiagnosticOptions &&
2203           !AllowCompatibleConfigurationMismatch &&
2204           ParseDiagnosticOptions(Record, Complain, Listener))
2205         return OutOfDate;
2206       break;
2207     }
2208
2209     case FILE_SYSTEM_OPTIONS: {
2210       bool Complain = (ClientLoadCapabilities & ARR_ConfigurationMismatch) == 0;
2211       if (!AllowCompatibleConfigurationMismatch &&
2212           ParseFileSystemOptions(Record, Complain, Listener))
2213         Result = ConfigurationMismatch;
2214       break;
2215     }
2216
2217     case HEADER_SEARCH_OPTIONS: {
2218       bool Complain = (ClientLoadCapabilities & ARR_ConfigurationMismatch) == 0;
2219       if (!AllowCompatibleConfigurationMismatch &&
2220           ParseHeaderSearchOptions(Record, Complain, Listener))
2221         Result = ConfigurationMismatch;
2222       break;
2223     }
2224
2225     case PREPROCESSOR_OPTIONS:
2226       bool Complain = (ClientLoadCapabilities & ARR_ConfigurationMismatch) == 0;
2227       if (!AllowCompatibleConfigurationMismatch &&
2228           ParsePreprocessorOptions(Record, Complain, Listener,
2229                                    SuggestedPredefines))
2230         Result = ConfigurationMismatch;
2231       break;
2232     }
2233   }
2234 }
2235
2236 ASTReader::ASTReadResult
2237 ASTReader::ReadControlBlock(ModuleFile &F,
2238                             SmallVectorImpl<ImportedModule> &Loaded,
2239                             const ModuleFile *ImportedBy,
2240                             unsigned ClientLoadCapabilities) {
2241   BitstreamCursor &Stream = F.Stream;
2242   ASTReadResult Result = Success;
2243
2244   if (Stream.EnterSubBlock(CONTROL_BLOCK_ID)) {
2245     Error("malformed block record in AST file");
2246     return Failure;
2247   }
2248
2249   // Read all of the records and blocks in the control block.
2250   RecordData Record;
2251   unsigned NumInputs = 0;
2252   unsigned NumUserInputs = 0;
2253   while (true) {
2254     llvm::BitstreamEntry Entry = Stream.advance();
2255
2256     switch (Entry.Kind) {
2257     case llvm::BitstreamEntry::Error:
2258       Error("malformed block record in AST file");
2259       return Failure;
2260     case llvm::BitstreamEntry::EndBlock: {
2261       // Validate input files.
2262       const HeaderSearchOptions &HSOpts =
2263           PP.getHeaderSearchInfo().getHeaderSearchOpts();
2264
2265       // All user input files reside at the index range [0, NumUserInputs), and
2266       // system input files reside at [NumUserInputs, NumInputs). For explicitly
2267       // loaded module files, ignore missing inputs.
2268       if (!DisableValidation && F.Kind != MK_ExplicitModule &&
2269           F.Kind != MK_PrebuiltModule) {
2270         bool Complain = (ClientLoadCapabilities & ARR_OutOfDate) == 0;
2271
2272         // If we are reading a module, we will create a verification timestamp,
2273         // so we verify all input files.  Otherwise, verify only user input
2274         // files.
2275
2276         unsigned N = NumUserInputs;
2277         if (ValidateSystemInputs ||
2278             (HSOpts.ModulesValidateOncePerBuildSession &&
2279              F.InputFilesValidationTimestamp <= HSOpts.BuildSessionTimestamp &&
2280              F.Kind == MK_ImplicitModule))
2281           N = NumInputs;
2282
2283         for (unsigned I = 0; I < N; ++I) {
2284           InputFile IF = getInputFile(F, I+1, Complain);
2285           if (!IF.getFile() || IF.isOutOfDate())
2286             return OutOfDate;
2287         }
2288       }
2289
2290       if (Listener)
2291         Listener->visitModuleFile(F.FileName, F.Kind);
2292
2293       if (Listener && Listener->needsInputFileVisitation()) {
2294         unsigned N = Listener->needsSystemInputFileVisitation() ? NumInputs
2295                                                                 : NumUserInputs;
2296         for (unsigned I = 0; I < N; ++I) {
2297           bool IsSystem = I >= NumUserInputs;
2298           InputFileInfo FI = readInputFileInfo(F, I+1);
2299           Listener->visitInputFile(FI.Filename, IsSystem, FI.Overridden,
2300                                    F.Kind == MK_ExplicitModule ||
2301                                    F.Kind == MK_PrebuiltModule);
2302         }
2303       }
2304
2305       return Result;
2306     }
2307
2308     case llvm::BitstreamEntry::SubBlock:
2309       switch (Entry.ID) {
2310       case INPUT_FILES_BLOCK_ID:
2311         F.InputFilesCursor = Stream;
2312         if (Stream.SkipBlock() || // Skip with the main cursor
2313             // Read the abbreviations
2314             ReadBlockAbbrevs(F.InputFilesCursor, INPUT_FILES_BLOCK_ID)) {
2315           Error("malformed block record in AST file");
2316           return Failure;
2317         }
2318         continue;
2319
2320       case OPTIONS_BLOCK_ID:
2321         // If we're reading the first module for this group, check its options
2322         // are compatible with ours. For modules it imports, no further checking
2323         // is required, because we checked them when we built it.
2324         if (Listener && !ImportedBy) {
2325           // Should we allow the configuration of the module file to differ from
2326           // the configuration of the current translation unit in a compatible
2327           // way?
2328           //
2329           // FIXME: Allow this for files explicitly specified with -include-pch.
2330           bool AllowCompatibleConfigurationMismatch =
2331               F.Kind == MK_ExplicitModule || F.Kind == MK_PrebuiltModule;
2332           const HeaderSearchOptions &HSOpts =
2333               PP.getHeaderSearchInfo().getHeaderSearchOpts();
2334
2335           Result = ReadOptionsBlock(Stream, ClientLoadCapabilities,
2336                                     AllowCompatibleConfigurationMismatch,
2337                                     *Listener, SuggestedPredefines,
2338                                     HSOpts.ModulesValidateDiagnosticOptions);
2339           if (Result == Failure) {
2340             Error("malformed block record in AST file");
2341             return Result;
2342           }
2343
2344           if (DisableValidation ||
2345               (AllowConfigurationMismatch && Result == ConfigurationMismatch))
2346             Result = Success;
2347
2348           // If we can't load the module, exit early since we likely
2349           // will rebuild the module anyway. The stream may be in the
2350           // middle of a block.
2351           if (Result != Success)
2352             return Result;
2353         } else if (Stream.SkipBlock()) {
2354           Error("malformed block record in AST file");
2355           return Failure;
2356         }
2357         continue;
2358
2359       default:
2360         if (Stream.SkipBlock()) {
2361           Error("malformed block record in AST file");
2362           return Failure;
2363         }
2364         continue;
2365       }
2366
2367     case llvm::BitstreamEntry::Record:
2368       // The interesting case.
2369       break;
2370     }
2371
2372     // Read and process a record.
2373     Record.clear();
2374     StringRef Blob;
2375     switch ((ControlRecordTypes)Stream.readRecord(Entry.ID, Record, &Blob)) {
2376     case METADATA: {
2377       if (Record[0] != VERSION_MAJOR && !DisableValidation) {
2378         if ((ClientLoadCapabilities & ARR_VersionMismatch) == 0)
2379           Diag(Record[0] < VERSION_MAJOR? diag::err_pch_version_too_old
2380                                         : diag::err_pch_version_too_new);
2381         return VersionMismatch;
2382       }
2383
2384       bool hasErrors = Record[6];
2385       if (hasErrors && !DisableValidation && !AllowASTWithCompilerErrors) {
2386         Diag(diag::err_pch_with_compiler_errors);
2387         return HadErrors;
2388       }
2389       if (hasErrors) {
2390         Diags.ErrorOccurred = true;
2391         Diags.UncompilableErrorOccurred = true;
2392         Diags.UnrecoverableErrorOccurred = true;
2393       }
2394
2395       F.RelocatablePCH = Record[4];
2396       // Relative paths in a relocatable PCH are relative to our sysroot.
2397       if (F.RelocatablePCH)
2398         F.BaseDirectory = isysroot.empty() ? "/" : isysroot;
2399
2400       F.HasTimestamps = Record[5];
2401
2402       const std::string &CurBranch = getClangFullRepositoryVersion();
2403       StringRef ASTBranch = Blob;
2404       if (StringRef(CurBranch) != ASTBranch && !DisableValidation) {
2405         if ((ClientLoadCapabilities & ARR_VersionMismatch) == 0)
2406           Diag(diag::err_pch_different_branch) << ASTBranch << CurBranch;
2407         return VersionMismatch;
2408       }
2409       break;
2410     }
2411
2412     case SIGNATURE:
2413       assert((!F.Signature || F.Signature == Record[0]) && "signature changed");
2414       F.Signature = Record[0];
2415       break;
2416
2417     case IMPORTS: {
2418       // Load each of the imported PCH files.
2419       unsigned Idx = 0, N = Record.size();
2420       while (Idx < N) {
2421         // Read information about the AST file.
2422         ModuleKind ImportedKind = (ModuleKind)Record[Idx++];
2423         // The import location will be the local one for now; we will adjust
2424         // all import locations of module imports after the global source
2425         // location info are setup, in ReadAST.
2426         SourceLocation ImportLoc =
2427             ReadUntranslatedSourceLocation(Record[Idx++]);
2428         off_t StoredSize = (off_t)Record[Idx++];
2429         time_t StoredModTime = (time_t)Record[Idx++];
2430         ASTFileSignature StoredSignature = Record[Idx++];
2431         auto ImportedFile = ReadPath(F, Record, Idx);
2432
2433         // If our client can't cope with us being out of date, we can't cope with
2434         // our dependency being missing.
2435         unsigned Capabilities = ClientLoadCapabilities;
2436         if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
2437           Capabilities &= ~ARR_Missing;
2438
2439         // Load the AST file.
2440         auto Result = ReadASTCore(ImportedFile, ImportedKind, ImportLoc, &F,
2441                                   Loaded, StoredSize, StoredModTime,
2442                                   StoredSignature, Capabilities);
2443
2444         // If we diagnosed a problem, produce a backtrace.
2445         if (isDiagnosedResult(Result, Capabilities))
2446           Diag(diag::note_module_file_imported_by)
2447               << F.FileName << !F.ModuleName.empty() << F.ModuleName;
2448
2449         switch (Result) {
2450         case Failure: return Failure;
2451           // If we have to ignore the dependency, we'll have to ignore this too.
2452         case Missing:
2453         case OutOfDate: return OutOfDate;
2454         case VersionMismatch: return VersionMismatch;
2455         case ConfigurationMismatch: return ConfigurationMismatch;
2456         case HadErrors: return HadErrors;
2457         case Success: break;
2458         }
2459       }
2460       break;
2461     }
2462
2463     case ORIGINAL_FILE:
2464       F.OriginalSourceFileID = FileID::get(Record[0]);
2465       F.ActualOriginalSourceFileName = Blob;
2466       F.OriginalSourceFileName = F.ActualOriginalSourceFileName;
2467       ResolveImportedPath(F, F.OriginalSourceFileName);
2468       break;
2469
2470     case ORIGINAL_FILE_ID:
2471       F.OriginalSourceFileID = FileID::get(Record[0]);
2472       break;
2473
2474     case ORIGINAL_PCH_DIR:
2475       F.OriginalDir = Blob;
2476       break;
2477
2478     case MODULE_NAME:
2479       F.ModuleName = Blob;
2480       if (Listener)
2481         Listener->ReadModuleName(F.ModuleName);
2482       break;
2483
2484     case MODULE_DIRECTORY: {
2485       assert(!F.ModuleName.empty() &&
2486              "MODULE_DIRECTORY found before MODULE_NAME");
2487       // If we've already loaded a module map file covering this module, we may
2488       // have a better path for it (relative to the current build).
2489       Module *M = PP.getHeaderSearchInfo().lookupModule(F.ModuleName);
2490       if (M && M->Directory) {
2491         // If we're implicitly loading a module, the base directory can't
2492         // change between the build and use.
2493         if (F.Kind != MK_ExplicitModule && F.Kind != MK_PrebuiltModule) {
2494           const DirectoryEntry *BuildDir =
2495               PP.getFileManager().getDirectory(Blob);
2496           if (!BuildDir || BuildDir != M->Directory) {
2497             if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
2498               Diag(diag::err_imported_module_relocated)
2499                   << F.ModuleName << Blob << M->Directory->getName();
2500             return OutOfDate;
2501           }
2502         }
2503         F.BaseDirectory = M->Directory->getName();
2504       } else {
2505         F.BaseDirectory = Blob;
2506       }
2507       break;
2508     }
2509
2510     case MODULE_MAP_FILE:
2511       if (ASTReadResult Result =
2512               ReadModuleMapFileBlock(Record, F, ImportedBy, ClientLoadCapabilities))
2513         return Result;
2514       break;
2515
2516     case INPUT_FILE_OFFSETS:
2517       NumInputs = Record[0];
2518       NumUserInputs = Record[1];
2519       F.InputFileOffsets =
2520           (const llvm::support::unaligned_uint64_t *)Blob.data();
2521       F.InputFilesLoaded.resize(NumInputs);
2522       break;
2523     }
2524   }
2525 }
2526
2527 ASTReader::ASTReadResult
2528 ASTReader::ReadASTBlock(ModuleFile &F, unsigned ClientLoadCapabilities) {
2529   BitstreamCursor &Stream = F.Stream;
2530
2531   if (Stream.EnterSubBlock(AST_BLOCK_ID)) {
2532     Error("malformed block record in AST file");
2533     return Failure;
2534   }
2535
2536   // Read all of the records and blocks for the AST file.
2537   RecordData Record;
2538   while (true) {
2539     llvm::BitstreamEntry Entry = Stream.advance();
2540
2541     switch (Entry.Kind) {
2542     case llvm::BitstreamEntry::Error:
2543       Error("error at end of module block in AST file");
2544       return Failure;
2545     case llvm::BitstreamEntry::EndBlock: {
2546       // Outside of C++, we do not store a lookup map for the translation unit.
2547       // Instead, mark it as needing a lookup map to be built if this module
2548       // contains any declarations lexically within it (which it always does!).
2549       // This usually has no cost, since we very rarely need the lookup map for
2550       // the translation unit outside C++.
2551       DeclContext *DC = Context.getTranslationUnitDecl();
2552       if (DC->hasExternalLexicalStorage() &&
2553           !getContext().getLangOpts().CPlusPlus)
2554         DC->setMustBuildLookupTable();
2555
2556       return Success;
2557     }
2558     case llvm::BitstreamEntry::SubBlock:
2559       switch (Entry.ID) {
2560       case DECLTYPES_BLOCK_ID:
2561         // We lazily load the decls block, but we want to set up the
2562         // DeclsCursor cursor to point into it.  Clone our current bitcode
2563         // cursor to it, enter the block and read the abbrevs in that block.
2564         // With the main cursor, we just skip over it.
2565         F.DeclsCursor = Stream;
2566         if (Stream.SkipBlock() ||  // Skip with the main cursor.
2567             // Read the abbrevs.
2568             ReadBlockAbbrevs(F.DeclsCursor, DECLTYPES_BLOCK_ID)) {
2569           Error("malformed block record in AST file");
2570           return Failure;
2571         }
2572         break;
2573
2574       case PREPROCESSOR_BLOCK_ID:
2575         F.MacroCursor = Stream;
2576         if (!PP.getExternalSource())
2577           PP.setExternalSource(this);
2578
2579         if (Stream.SkipBlock() ||
2580             ReadBlockAbbrevs(F.MacroCursor, PREPROCESSOR_BLOCK_ID)) {
2581           Error("malformed block record in AST file");
2582           return Failure;
2583         }
2584         F.MacroStartOffset = F.MacroCursor.GetCurrentBitNo();
2585         break;
2586
2587       case PREPROCESSOR_DETAIL_BLOCK_ID:
2588         F.PreprocessorDetailCursor = Stream;
2589         if (Stream.SkipBlock() ||
2590             ReadBlockAbbrevs(F.PreprocessorDetailCursor,
2591                              PREPROCESSOR_DETAIL_BLOCK_ID)) {
2592               Error("malformed preprocessor detail record in AST file");
2593               return Failure;
2594             }
2595         F.PreprocessorDetailStartOffset
2596         = F.PreprocessorDetailCursor.GetCurrentBitNo();
2597
2598         if (!PP.getPreprocessingRecord())
2599           PP.createPreprocessingRecord();
2600         if (!PP.getPreprocessingRecord()->getExternalSource())
2601           PP.getPreprocessingRecord()->SetExternalSource(*this);
2602         break;
2603
2604       case SOURCE_MANAGER_BLOCK_ID:
2605         if (ReadSourceManagerBlock(F))
2606           return Failure;
2607         break;
2608
2609       case SUBMODULE_BLOCK_ID:
2610         if (ASTReadResult Result = ReadSubmoduleBlock(F, ClientLoadCapabilities))
2611           return Result;
2612         break;
2613
2614       case COMMENTS_BLOCK_ID: {
2615         BitstreamCursor C = Stream;
2616         if (Stream.SkipBlock() ||
2617             ReadBlockAbbrevs(C, COMMENTS_BLOCK_ID)) {
2618           Error("malformed comments block in AST file");
2619           return Failure;
2620         }
2621         CommentsCursors.push_back(std::make_pair(C, &F));
2622         break;
2623       }
2624
2625       default:
2626         if (Stream.SkipBlock()) {
2627           Error("malformed block record in AST file");
2628           return Failure;
2629         }
2630         break;
2631       }
2632       continue;
2633
2634     case llvm::BitstreamEntry::Record:
2635       // The interesting case.
2636       break;
2637     }
2638
2639     // Read and process a record.
2640     Record.clear();
2641     StringRef Blob;
2642     switch ((ASTRecordTypes)Stream.readRecord(Entry.ID, Record, &Blob)) {
2643     default:  // Default behavior: ignore.
2644       break;
2645
2646     case TYPE_OFFSET: {
2647       if (F.LocalNumTypes != 0) {
2648         Error("duplicate TYPE_OFFSET record in AST file");
2649         return Failure;
2650       }
2651       F.TypeOffsets = (const uint32_t *)Blob.data();
2652       F.LocalNumTypes = Record[0];
2653       unsigned LocalBaseTypeIndex = Record[1];
2654       F.BaseTypeIndex = getTotalNumTypes();
2655
2656       if (F.LocalNumTypes > 0) {
2657         // Introduce the global -> local mapping for types within this module.
2658         GlobalTypeMap.insert(std::make_pair(getTotalNumTypes(), &F));
2659
2660         // Introduce the local -> global mapping for types within this module.
2661         F.TypeRemap.insertOrReplace(
2662           std::make_pair(LocalBaseTypeIndex,
2663                          F.BaseTypeIndex - LocalBaseTypeIndex));
2664
2665         TypesLoaded.resize(TypesLoaded.size() + F.LocalNumTypes);
2666       }
2667       break;
2668     }
2669
2670     case DECL_OFFSET: {
2671       if (F.LocalNumDecls != 0) {
2672         Error("duplicate DECL_OFFSET record in AST file");
2673         return Failure;
2674       }
2675       F.DeclOffsets = (const DeclOffset *)Blob.data();
2676       F.LocalNumDecls = Record[0];
2677       unsigned LocalBaseDeclID = Record[1];
2678       F.BaseDeclID = getTotalNumDecls();
2679
2680       if (F.LocalNumDecls > 0) {
2681         // Introduce the global -> local mapping for declarations within this
2682         // module.
2683         GlobalDeclMap.insert(
2684           std::make_pair(getTotalNumDecls() + NUM_PREDEF_DECL_IDS, &F));
2685
2686         // Introduce the local -> global mapping for declarations within this
2687         // module.
2688         F.DeclRemap.insertOrReplace(
2689           std::make_pair(LocalBaseDeclID, F.BaseDeclID - LocalBaseDeclID));
2690
2691         // Introduce the global -> local mapping for declarations within this
2692         // module.
2693         F.GlobalToLocalDeclIDs[&F] = LocalBaseDeclID;
2694
2695         DeclsLoaded.resize(DeclsLoaded.size() + F.LocalNumDecls);
2696       }
2697       break;
2698     }
2699
2700     case TU_UPDATE_LEXICAL: {
2701       DeclContext *TU = Context.getTranslationUnitDecl();
2702       LexicalContents Contents(
2703           reinterpret_cast<const llvm::support::unaligned_uint32_t *>(
2704               Blob.data()),
2705           static_cast<unsigned int>(Blob.size() / 4));
2706       TULexicalDecls.push_back(std::make_pair(&F, Contents));
2707       TU->setHasExternalLexicalStorage(true);
2708       break;
2709     }
2710
2711     case UPDATE_VISIBLE: {
2712       unsigned Idx = 0;
2713       serialization::DeclID ID = ReadDeclID(F, Record, Idx);
2714       auto *Data = (const unsigned char*)Blob.data();
2715       PendingVisibleUpdates[ID].push_back(PendingVisibleUpdate{&F, Data});
2716       // If we've already loaded the decl, perform the updates when we finish
2717       // loading this block.
2718       if (Decl *D = GetExistingDecl(ID))
2719         PendingUpdateRecords.push_back(std::make_pair(ID, D));
2720       break;
2721     }
2722
2723     case IDENTIFIER_TABLE:
2724       F.IdentifierTableData = Blob.data();
2725       if (Record[0]) {
2726         F.IdentifierLookupTable = ASTIdentifierLookupTable::Create(
2727             (const unsigned char *)F.IdentifierTableData + Record[0],
2728             (const unsigned char *)F.IdentifierTableData + sizeof(uint32_t),
2729             (const unsigned char *)F.IdentifierTableData,
2730             ASTIdentifierLookupTrait(*this, F));
2731
2732         PP.getIdentifierTable().setExternalIdentifierLookup(this);
2733       }
2734       break;
2735
2736     case IDENTIFIER_OFFSET: {
2737       if (F.LocalNumIdentifiers != 0) {
2738         Error("duplicate IDENTIFIER_OFFSET record in AST file");
2739         return Failure;
2740       }
2741       F.IdentifierOffsets = (const uint32_t *)Blob.data();
2742       F.LocalNumIdentifiers = Record[0];
2743       unsigned LocalBaseIdentifierID = Record[1];
2744       F.BaseIdentifierID = getTotalNumIdentifiers();
2745
2746       if (F.LocalNumIdentifiers > 0) {
2747         // Introduce the global -> local mapping for identifiers within this
2748         // module.
2749         GlobalIdentifierMap.insert(std::make_pair(getTotalNumIdentifiers() + 1,
2750                                                   &F));
2751
2752         // Introduce the local -> global mapping for identifiers within this
2753         // module.
2754         F.IdentifierRemap.insertOrReplace(
2755           std::make_pair(LocalBaseIdentifierID,
2756                          F.BaseIdentifierID - LocalBaseIdentifierID));
2757
2758         IdentifiersLoaded.resize(IdentifiersLoaded.size()
2759                                  + F.LocalNumIdentifiers);
2760       }
2761       break;
2762     }
2763
2764     case INTERESTING_IDENTIFIERS:
2765       F.PreloadIdentifierOffsets.assign(Record.begin(), Record.end());
2766       break;
2767
2768     case EAGERLY_DESERIALIZED_DECLS:
2769       // FIXME: Skip reading this record if our ASTConsumer doesn't care
2770       // about "interesting" decls (for instance, if we're building a module).
2771       for (unsigned I = 0, N = Record.size(); I != N; ++I)
2772         EagerlyDeserializedDecls.push_back(getGlobalDeclID(F, Record[I]));
2773       break;
2774
2775     case SPECIAL_TYPES:
2776       if (SpecialTypes.empty()) {
2777         for (unsigned I = 0, N = Record.size(); I != N; ++I)
2778           SpecialTypes.push_back(getGlobalTypeID(F, Record[I]));
2779         break;
2780       }
2781
2782       if (SpecialTypes.size() != Record.size()) {
2783         Error("invalid special-types record");
2784         return Failure;
2785       }
2786
2787       for (unsigned I = 0, N = Record.size(); I != N; ++I) {
2788         serialization::TypeID ID = getGlobalTypeID(F, Record[I]);
2789         if (!SpecialTypes[I])
2790           SpecialTypes[I] = ID;
2791         // FIXME: If ID && SpecialTypes[I] != ID, do we need a separate
2792         // merge step?
2793       }
2794       break;
2795
2796     case STATISTICS:
2797       TotalNumStatements += Record[0];
2798       TotalNumMacros += Record[1];
2799       TotalLexicalDeclContexts += Record[2];
2800       TotalVisibleDeclContexts += Record[3];
2801       break;
2802
2803     case UNUSED_FILESCOPED_DECLS:
2804       for (unsigned I = 0, N = Record.size(); I != N; ++I)
2805         UnusedFileScopedDecls.push_back(getGlobalDeclID(F, Record[I]));
2806       break;
2807
2808     case DELEGATING_CTORS:
2809       for (unsigned I = 0, N = Record.size(); I != N; ++I)
2810         DelegatingCtorDecls.push_back(getGlobalDeclID(F, Record[I]));
2811       break;
2812
2813     case WEAK_UNDECLARED_IDENTIFIERS:
2814       if (Record.size() % 4 != 0) {
2815         Error("invalid weak identifiers record");
2816         return Failure;
2817       }
2818
2819       // FIXME: Ignore weak undeclared identifiers from non-original PCH
2820       // files. This isn't the way to do it :)
2821       WeakUndeclaredIdentifiers.clear();
2822
2823       // Translate the weak, undeclared identifiers into global IDs.
2824       for (unsigned I = 0, N = Record.size(); I < N; /* in loop */) {
2825         WeakUndeclaredIdentifiers.push_back(
2826           getGlobalIdentifierID(F, Record[I++]));
2827         WeakUndeclaredIdentifiers.push_back(
2828           getGlobalIdentifierID(F, Record[I++]));
2829         WeakUndeclaredIdentifiers.push_back(
2830           ReadSourceLocation(F, Record, I).getRawEncoding());
2831         WeakUndeclaredIdentifiers.push_back(Record[I++]);
2832       }
2833       break;
2834
2835     case SELECTOR_OFFSETS: {
2836       F.SelectorOffsets = (const uint32_t *)Blob.data();
2837       F.LocalNumSelectors = Record[0];
2838       unsigned LocalBaseSelectorID = Record[1];
2839       F.BaseSelectorID = getTotalNumSelectors();
2840
2841       if (F.LocalNumSelectors > 0) {
2842         // Introduce the global -> local mapping for selectors within this
2843         // module.
2844         GlobalSelectorMap.insert(std::make_pair(getTotalNumSelectors()+1, &F));
2845
2846         // Introduce the local -> global mapping for selectors within this
2847         // module.
2848         F.SelectorRemap.insertOrReplace(
2849           std::make_pair(LocalBaseSelectorID,
2850                          F.BaseSelectorID - LocalBaseSelectorID));
2851
2852         SelectorsLoaded.resize(SelectorsLoaded.size() + F.LocalNumSelectors);
2853       }
2854       break;
2855     }
2856
2857     case METHOD_POOL:
2858       F.SelectorLookupTableData = (const unsigned char *)Blob.data();
2859       if (Record[0])
2860         F.SelectorLookupTable
2861           = ASTSelectorLookupTable::Create(
2862                         F.SelectorLookupTableData + Record[0],
2863                         F.SelectorLookupTableData,
2864                         ASTSelectorLookupTrait(*this, F));
2865       TotalNumMethodPoolEntries += Record[1];
2866       break;
2867
2868     case REFERENCED_SELECTOR_POOL:
2869       if (!Record.empty()) {
2870         for (unsigned Idx = 0, N = Record.size() - 1; Idx < N; /* in loop */) {
2871           ReferencedSelectorsData.push_back(getGlobalSelectorID(F,
2872                                                                 Record[Idx++]));
2873           ReferencedSelectorsData.push_back(ReadSourceLocation(F, Record, Idx).
2874                                               getRawEncoding());
2875         }
2876       }
2877       break;
2878
2879     case PP_COUNTER_VALUE:
2880       if (!Record.empty() && Listener)
2881         Listener->ReadCounter(F, Record[0]);
2882       break;
2883
2884     case FILE_SORTED_DECLS:
2885       F.FileSortedDecls = (const DeclID *)Blob.data();
2886       F.NumFileSortedDecls = Record[0];
2887       break;
2888
2889     case SOURCE_LOCATION_OFFSETS: {
2890       F.SLocEntryOffsets = (const uint32_t *)Blob.data();
2891       F.LocalNumSLocEntries = Record[0];
2892       unsigned SLocSpaceSize = Record[1];
2893       std::tie(F.SLocEntryBaseID, F.SLocEntryBaseOffset) =
2894           SourceMgr.AllocateLoadedSLocEntries(F.LocalNumSLocEntries,
2895                                               SLocSpaceSize);
2896       if (!F.SLocEntryBaseID) {
2897         Error("ran out of source locations");
2898         break;
2899       }
2900       // Make our entry in the range map. BaseID is negative and growing, so
2901       // we invert it. Because we invert it, though, we need the other end of
2902       // the range.
2903       unsigned RangeStart =
2904           unsigned(-F.SLocEntryBaseID) - F.LocalNumSLocEntries + 1;
2905       GlobalSLocEntryMap.insert(std::make_pair(RangeStart, &F));
2906       F.FirstLoc = SourceLocation::getFromRawEncoding(F.SLocEntryBaseOffset);
2907
2908       // SLocEntryBaseOffset is lower than MaxLoadedOffset and decreasing.
2909       assert((F.SLocEntryBaseOffset & (1U << 31U)) == 0);
2910       GlobalSLocOffsetMap.insert(
2911           std::make_pair(SourceManager::MaxLoadedOffset - F.SLocEntryBaseOffset
2912                            - SLocSpaceSize,&F));
2913
2914       // Initialize the remapping table.
2915       // Invalid stays invalid.
2916       F.SLocRemap.insertOrReplace(std::make_pair(0U, 0));
2917       // This module. Base was 2 when being compiled.
2918       F.SLocRemap.insertOrReplace(std::make_pair(2U,
2919                                   static_cast<int>(F.SLocEntryBaseOffset - 2)));
2920
2921       TotalNumSLocEntries += F.LocalNumSLocEntries;
2922       break;
2923     }
2924
2925     case MODULE_OFFSET_MAP: {
2926       // Additional remapping information.
2927       const unsigned char *Data = (const unsigned char*)Blob.data();
2928       const unsigned char *DataEnd = Data + Blob.size();
2929
2930       // If we see this entry before SOURCE_LOCATION_OFFSETS, add placeholders.
2931       if (F.SLocRemap.find(0) == F.SLocRemap.end()) {
2932         F.SLocRemap.insert(std::make_pair(0U, 0));
2933         F.SLocRemap.insert(std::make_pair(2U, 1));
2934       }
2935
2936       // Continuous range maps we may be updating in our module.
2937       typedef ContinuousRangeMap<uint32_t, int, 2>::Builder
2938           RemapBuilder;
2939       RemapBuilder SLocRemap(F.SLocRemap);
2940       RemapBuilder IdentifierRemap(F.IdentifierRemap);
2941       RemapBuilder MacroRemap(F.MacroRemap);
2942       RemapBuilder PreprocessedEntityRemap(F.PreprocessedEntityRemap);
2943       RemapBuilder SubmoduleRemap(F.SubmoduleRemap);
2944       RemapBuilder SelectorRemap(F.SelectorRemap);
2945       RemapBuilder DeclRemap(F.DeclRemap);
2946       RemapBuilder TypeRemap(F.TypeRemap);
2947
2948       while (Data < DataEnd) {
2949         using namespace llvm::support;
2950         uint16_t Len = endian::readNext<uint16_t, little, unaligned>(Data);
2951         StringRef Name = StringRef((const char*)Data, Len);
2952         Data += Len;
2953         ModuleFile *OM = ModuleMgr.lookup(Name);
2954         if (!OM) {
2955           Error("SourceLocation remap refers to unknown module");
2956           return Failure;
2957         }
2958
2959         uint32_t SLocOffset =
2960             endian::readNext<uint32_t, little, unaligned>(Data);
2961         uint32_t IdentifierIDOffset =
2962             endian::readNext<uint32_t, little, unaligned>(Data);
2963         uint32_t MacroIDOffset =
2964             endian::readNext<uint32_t, little, unaligned>(Data);
2965         uint32_t PreprocessedEntityIDOffset =
2966             endian::readNext<uint32_t, little, unaligned>(Data);
2967         uint32_t SubmoduleIDOffset =
2968             endian::readNext<uint32_t, little, unaligned>(Data);
2969         uint32_t SelectorIDOffset =
2970             endian::readNext<uint32_t, little, unaligned>(Data);
2971         uint32_t DeclIDOffset =
2972             endian::readNext<uint32_t, little, unaligned>(Data);
2973         uint32_t TypeIndexOffset =
2974             endian::readNext<uint32_t, little, unaligned>(Data);
2975
2976         uint32_t None = std::numeric_limits<uint32_t>::max();
2977
2978         auto mapOffset = [&](uint32_t Offset, uint32_t BaseOffset,
2979                              RemapBuilder &Remap) {
2980           if (Offset != None)
2981             Remap.insert(std::make_pair(Offset,
2982                                         static_cast<int>(BaseOffset - Offset)));
2983         };
2984         mapOffset(SLocOffset, OM->SLocEntryBaseOffset, SLocRemap);
2985         mapOffset(IdentifierIDOffset, OM->BaseIdentifierID, IdentifierRemap);
2986         mapOffset(MacroIDOffset, OM->BaseMacroID, MacroRemap);
2987         mapOffset(PreprocessedEntityIDOffset, OM->BasePreprocessedEntityID,
2988                   PreprocessedEntityRemap);
2989         mapOffset(SubmoduleIDOffset, OM->BaseSubmoduleID, SubmoduleRemap);
2990         mapOffset(SelectorIDOffset, OM->BaseSelectorID, SelectorRemap);
2991         mapOffset(DeclIDOffset, OM->BaseDeclID, DeclRemap);
2992         mapOffset(TypeIndexOffset, OM->BaseTypeIndex, TypeRemap);
2993
2994         // Global -> local mappings.
2995         F.GlobalToLocalDeclIDs[OM] = DeclIDOffset;
2996       }
2997       break;
2998     }
2999
3000     case SOURCE_MANAGER_LINE_TABLE:
3001       if (ParseLineTable(F, Record))
3002         return Failure;
3003       break;
3004
3005     case SOURCE_LOCATION_PRELOADS: {
3006       // Need to transform from the local view (1-based IDs) to the global view,
3007       // which is based off F.SLocEntryBaseID.
3008       if (!F.PreloadSLocEntries.empty()) {
3009         Error("Multiple SOURCE_LOCATION_PRELOADS records in AST file");
3010         return Failure;
3011       }
3012
3013       F.PreloadSLocEntries.swap(Record);
3014       break;
3015     }
3016
3017     case EXT_VECTOR_DECLS:
3018       for (unsigned I = 0, N = Record.size(); I != N; ++I)
3019         ExtVectorDecls.push_back(getGlobalDeclID(F, Record[I]));
3020       break;
3021
3022     case VTABLE_USES:
3023       if (Record.size() % 3 != 0) {
3024         Error("Invalid VTABLE_USES record");
3025         return Failure;
3026       }
3027
3028       // Later tables overwrite earlier ones.
3029       // FIXME: Modules will have some trouble with this. This is clearly not
3030       // the right way to do this.
3031       VTableUses.clear();
3032
3033       for (unsigned Idx = 0, N = Record.size(); Idx != N; /* In loop */) {
3034         VTableUses.push_back(getGlobalDeclID(F, Record[Idx++]));
3035         VTableUses.push_back(
3036           ReadSourceLocation(F, Record, Idx).getRawEncoding());
3037         VTableUses.push_back(Record[Idx++]);
3038       }
3039       break;
3040
3041     case PENDING_IMPLICIT_INSTANTIATIONS:
3042       if (PendingInstantiations.size() % 2 != 0) {
3043         Error("Invalid existing PendingInstantiations");
3044         return Failure;
3045       }
3046
3047       if (Record.size() % 2 != 0) {
3048         Error("Invalid PENDING_IMPLICIT_INSTANTIATIONS block");
3049         return Failure;
3050       }
3051
3052       for (unsigned I = 0, N = Record.size(); I != N; /* in loop */) {
3053         PendingInstantiations.push_back(getGlobalDeclID(F, Record[I++]));
3054         PendingInstantiations.push_back(
3055           ReadSourceLocation(F, Record, I).getRawEncoding());
3056       }
3057       break;
3058
3059     case SEMA_DECL_REFS:
3060       if (Record.size() != 3) {
3061         Error("Invalid SEMA_DECL_REFS block");
3062         return Failure;
3063       }
3064       for (unsigned I = 0, N = Record.size(); I != N; ++I)
3065         SemaDeclRefs.push_back(getGlobalDeclID(F, Record[I]));
3066       break;
3067
3068     case PPD_ENTITIES_OFFSETS: {
3069       F.PreprocessedEntityOffsets = (const PPEntityOffset *)Blob.data();
3070       assert(Blob.size() % sizeof(PPEntityOffset) == 0);
3071       F.NumPreprocessedEntities = Blob.size() / sizeof(PPEntityOffset);
3072
3073       unsigned LocalBasePreprocessedEntityID = Record[0];
3074
3075       unsigned StartingID;
3076       if (!PP.getPreprocessingRecord())
3077         PP.createPreprocessingRecord();
3078       if (!PP.getPreprocessingRecord()->getExternalSource())
3079         PP.getPreprocessingRecord()->SetExternalSource(*this);
3080       StartingID
3081         = PP.getPreprocessingRecord()
3082             ->allocateLoadedEntities(F.NumPreprocessedEntities);
3083       F.BasePreprocessedEntityID = StartingID;
3084
3085       if (F.NumPreprocessedEntities > 0) {
3086         // Introduce the global -> local mapping for preprocessed entities in
3087         // this module.
3088         GlobalPreprocessedEntityMap.insert(std::make_pair(StartingID, &F));
3089
3090         // Introduce the local -> global mapping for preprocessed entities in
3091         // this module.
3092         F.PreprocessedEntityRemap.insertOrReplace(
3093           std::make_pair(LocalBasePreprocessedEntityID,
3094             F.BasePreprocessedEntityID - LocalBasePreprocessedEntityID));
3095       }
3096
3097       break;
3098     }
3099
3100     case DECL_UPDATE_OFFSETS: {
3101       if (Record.size() % 2 != 0) {
3102         Error("invalid DECL_UPDATE_OFFSETS block in AST file");
3103         return Failure;
3104       }
3105       for (unsigned I = 0, N = Record.size(); I != N; I += 2) {
3106         GlobalDeclID ID = getGlobalDeclID(F, Record[I]);
3107         DeclUpdateOffsets[ID].push_back(std::make_pair(&F, Record[I + 1]));
3108
3109         // If we've already loaded the decl, perform the updates when we finish
3110         // loading this block.
3111         if (Decl *D = GetExistingDecl(ID))
3112           PendingUpdateRecords.push_back(std::make_pair(ID, D));
3113       }
3114       break;
3115     }
3116
3117     case OBJC_CATEGORIES_MAP: {
3118       if (F.LocalNumObjCCategoriesInMap != 0) {
3119         Error("duplicate OBJC_CATEGORIES_MAP record in AST file");
3120         return Failure;
3121       }
3122
3123       F.LocalNumObjCCategoriesInMap = Record[0];
3124       F.ObjCCategoriesMap = (const ObjCCategoriesInfo *)Blob.data();
3125       break;
3126     }
3127
3128     case OBJC_CATEGORIES:
3129       F.ObjCCategories.swap(Record);
3130       break;
3131
3132     case DIAG_PRAGMA_MAPPINGS:
3133       if (F.PragmaDiagMappings.empty())
3134         F.PragmaDiagMappings.swap(Record);
3135       else
3136         F.PragmaDiagMappings.insert(F.PragmaDiagMappings.end(),
3137                                     Record.begin(), Record.end());
3138       break;
3139
3140     case CUDA_SPECIAL_DECL_REFS:
3141       // Later tables overwrite earlier ones.
3142       // FIXME: Modules will have trouble with this.
3143       CUDASpecialDeclRefs.clear();
3144       for (unsigned I = 0, N = Record.size(); I != N; ++I)
3145         CUDASpecialDeclRefs.push_back(getGlobalDeclID(F, Record[I]));
3146       break;
3147
3148     case HEADER_SEARCH_TABLE: {
3149       F.HeaderFileInfoTableData = Blob.data();
3150       F.LocalNumHeaderFileInfos = Record[1];
3151       if (Record[0]) {
3152         F.HeaderFileInfoTable
3153           = HeaderFileInfoLookupTable::Create(
3154                    (const unsigned char *)F.HeaderFileInfoTableData + Record[0],
3155                    (const unsigned char *)F.HeaderFileInfoTableData,
3156                    HeaderFileInfoTrait(*this, F,
3157                                        &PP.getHeaderSearchInfo(),
3158                                        Blob.data() + Record[2]));
3159
3160         PP.getHeaderSearchInfo().SetExternalSource(this);
3161         if (!PP.getHeaderSearchInfo().getExternalLookup())
3162           PP.getHeaderSearchInfo().SetExternalLookup(this);
3163       }
3164       break;
3165     }
3166
3167     case FP_PRAGMA_OPTIONS:
3168       // Later tables overwrite earlier ones.
3169       FPPragmaOptions.swap(Record);
3170       break;
3171
3172     case OPENCL_EXTENSIONS:
3173       for (unsigned I = 0, E = Record.size(); I != E; ) {
3174         auto Name = ReadString(Record, I);
3175         auto &Opt = OpenCLExtensions.OptMap[Name];
3176         Opt.Supported = Record[I++] != 0;
3177         Opt.Enabled = Record[I++] != 0;
3178         Opt.Avail = Record[I++];
3179         Opt.Core = Record[I++];
3180       }
3181       break;
3182
3183     case OPENCL_EXTENSION_TYPES:
3184       for (unsigned I = 0, E = Record.size(); I != E;) {
3185         auto TypeID = static_cast<::TypeID>(Record[I++]);
3186         auto *Type = GetType(TypeID).getTypePtr();
3187         auto NumExt = static_cast<unsigned>(Record[I++]);
3188         for (unsigned II = 0; II != NumExt; ++II) {
3189           auto Ext = ReadString(Record, I);
3190           OpenCLTypeExtMap[Type].insert(Ext);
3191         }
3192       }
3193       break;
3194
3195     case OPENCL_EXTENSION_DECLS:
3196       for (unsigned I = 0, E = Record.size(); I != E;) {
3197         auto DeclID = static_cast<::DeclID>(Record[I++]);
3198         auto *Decl = GetDecl(DeclID);
3199         auto NumExt = static_cast<unsigned>(Record[I++]);
3200         for (unsigned II = 0; II != NumExt; ++II) {
3201           auto Ext = ReadString(Record, I);
3202           OpenCLDeclExtMap[Decl].insert(Ext);
3203         }
3204       }
3205       break;
3206
3207     case TENTATIVE_DEFINITIONS:
3208       for (unsigned I = 0, N = Record.size(); I != N; ++I)
3209         TentativeDefinitions.push_back(getGlobalDeclID(F, Record[I]));
3210       break;
3211
3212     case KNOWN_NAMESPACES:
3213       for (unsigned I = 0, N = Record.size(); I != N; ++I)
3214         KnownNamespaces.push_back(getGlobalDeclID(F, Record[I]));
3215       break;
3216
3217     case UNDEFINED_BUT_USED:
3218       if (UndefinedButUsed.size() % 2 != 0) {
3219         Error("Invalid existing UndefinedButUsed");
3220         return Failure;
3221       }
3222
3223       if (Record.size() % 2 != 0) {
3224         Error("invalid undefined-but-used record");
3225         return Failure;
3226       }
3227       for (unsigned I = 0, N = Record.size(); I != N; /* in loop */) {
3228         UndefinedButUsed.push_back(getGlobalDeclID(F, Record[I++]));
3229         UndefinedButUsed.push_back(
3230             ReadSourceLocation(F, Record, I).getRawEncoding());
3231       }
3232       break;
3233     case DELETE_EXPRS_TO_ANALYZE:
3234       for (unsigned I = 0, N = Record.size(); I != N;) {
3235         DelayedDeleteExprs.push_back(getGlobalDeclID(F, Record[I++]));
3236         const uint64_t Count = Record[I++];
3237         DelayedDeleteExprs.push_back(Count);
3238         for (uint64_t C = 0; C < Count; ++C) {
3239           DelayedDeleteExprs.push_back(ReadSourceLocation(F, Record, I).getRawEncoding());
3240           bool IsArrayForm = Record[I++] == 1;
3241           DelayedDeleteExprs.push_back(IsArrayForm);
3242         }
3243       }
3244       break;
3245
3246     case IMPORTED_MODULES: {
3247       if (!F.isModule()) {
3248         // If we aren't loading a module (which has its own exports), make
3249         // all of the imported modules visible.
3250         // FIXME: Deal with macros-only imports.
3251         for (unsigned I = 0, N = Record.size(); I != N; /**/) {
3252           unsigned GlobalID = getGlobalSubmoduleID(F, Record[I++]);
3253           SourceLocation Loc = ReadSourceLocation(F, Record, I);
3254           if (GlobalID) {
3255             ImportedModules.push_back(ImportedSubmodule(GlobalID, Loc));
3256             if (DeserializationListener)
3257               DeserializationListener->ModuleImportRead(GlobalID, Loc);
3258           }
3259         }
3260       }
3261       break;
3262     }
3263
3264     case MACRO_OFFSET: {
3265       if (F.LocalNumMacros != 0) {
3266         Error("duplicate MACRO_OFFSET record in AST file");
3267         return Failure;
3268       }
3269       F.MacroOffsets = (const uint32_t *)Blob.data();
3270       F.LocalNumMacros = Record[0];
3271       unsigned LocalBaseMacroID = Record[1];
3272       F.BaseMacroID = getTotalNumMacros();
3273
3274       if (F.LocalNumMacros > 0) {
3275         // Introduce the global -> local mapping for macros within this module.
3276         GlobalMacroMap.insert(std::make_pair(getTotalNumMacros() + 1, &F));
3277
3278         // Introduce the local -> global mapping for macros within this module.
3279         F.MacroRemap.insertOrReplace(
3280           std::make_pair(LocalBaseMacroID,
3281                          F.BaseMacroID - LocalBaseMacroID));
3282
3283         MacrosLoaded.resize(MacrosLoaded.size() + F.LocalNumMacros);
3284       }
3285       break;
3286     }
3287
3288     case LATE_PARSED_TEMPLATE: {
3289       LateParsedTemplates.append(Record.begin(), Record.end());
3290       break;
3291     }
3292
3293     case OPTIMIZE_PRAGMA_OPTIONS:
3294       if (Record.size() != 1) {
3295         Error("invalid pragma optimize record");
3296         return Failure;
3297       }
3298       OptimizeOffPragmaLocation = ReadSourceLocation(F, Record[0]);
3299       break;
3300
3301     case MSSTRUCT_PRAGMA_OPTIONS:
3302       if (Record.size() != 1) {
3303         Error("invalid pragma ms_struct record");
3304         return Failure;
3305       }
3306       PragmaMSStructState = Record[0];
3307       break;
3308
3309     case POINTERS_TO_MEMBERS_PRAGMA_OPTIONS:
3310       if (Record.size() != 2) {
3311         Error("invalid pragma ms_struct record");
3312         return Failure;
3313       }
3314       PragmaMSPointersToMembersState = Record[0];
3315       PointersToMembersPragmaLocation = ReadSourceLocation(F, Record[1]);
3316       break;
3317
3318     case UNUSED_LOCAL_TYPEDEF_NAME_CANDIDATES:
3319       for (unsigned I = 0, N = Record.size(); I != N; ++I)
3320         UnusedLocalTypedefNameCandidates.push_back(
3321             getGlobalDeclID(F, Record[I]));
3322       break;
3323
3324     case CUDA_PRAGMA_FORCE_HOST_DEVICE_DEPTH:
3325       if (Record.size() != 1) {
3326         Error("invalid cuda pragma options record");
3327         return Failure;
3328       }
3329       ForceCUDAHostDeviceDepth = Record[0];
3330       break;
3331     }
3332   }
3333 }
3334
3335 ASTReader::ASTReadResult
3336 ASTReader::ReadModuleMapFileBlock(RecordData &Record, ModuleFile &F,
3337                                   const ModuleFile *ImportedBy,
3338                                   unsigned ClientLoadCapabilities) {
3339   unsigned Idx = 0;
3340   F.ModuleMapPath = ReadPath(F, Record, Idx);
3341
3342   if (F.Kind == MK_ExplicitModule || F.Kind == MK_PrebuiltModule) {
3343     // For an explicitly-loaded module, we don't care whether the original
3344     // module map file exists or matches.
3345     return Success;
3346   }
3347
3348   // Try to resolve ModuleName in the current header search context and
3349   // verify that it is found in the same module map file as we saved. If the
3350   // top-level AST file is a main file, skip this check because there is no
3351   // usable header search context.
3352   assert(!F.ModuleName.empty() &&
3353          "MODULE_NAME should come before MODULE_MAP_FILE");
3354   if (F.Kind == MK_ImplicitModule &&
3355       (*ModuleMgr.begin())->Kind != MK_MainFile) {
3356     // An implicitly-loaded module file should have its module listed in some
3357     // module map file that we've already loaded.
3358     Module *M = PP.getHeaderSearchInfo().lookupModule(F.ModuleName);
3359     auto &Map = PP.getHeaderSearchInfo().getModuleMap();
3360     const FileEntry *ModMap = M ? Map.getModuleMapFileForUniquing(M) : nullptr;
3361     if (!ModMap) {
3362       assert(ImportedBy && "top-level import should be verified");
3363       if ((ClientLoadCapabilities & ARR_OutOfDate) == 0) {
3364         if (auto *ASTFE = M ? M->getASTFile() : nullptr)
3365           // This module was defined by an imported (explicit) module.
3366           Diag(diag::err_module_file_conflict) << F.ModuleName << F.FileName
3367                                                << ASTFE->getName();
3368         else
3369           // This module was built with a different module map.
3370           Diag(diag::err_imported_module_not_found)
3371               << F.ModuleName << F.FileName << ImportedBy->FileName
3372               << F.ModuleMapPath;
3373       }
3374       return OutOfDate;
3375     }
3376
3377     assert(M->Name == F.ModuleName && "found module with different name");
3378
3379     // Check the primary module map file.
3380     const FileEntry *StoredModMap = FileMgr.getFile(F.ModuleMapPath);
3381     if (StoredModMap == nullptr || StoredModMap != ModMap) {
3382       assert(ModMap && "found module is missing module map file");
3383       assert(ImportedBy && "top-level import should be verified");
3384       if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
3385         Diag(diag::err_imported_module_modmap_changed)
3386           << F.ModuleName << ImportedBy->FileName
3387           << ModMap->getName() << F.ModuleMapPath;
3388       return OutOfDate;
3389     }
3390
3391     llvm::SmallPtrSet<const FileEntry *, 1> AdditionalStoredMaps;
3392     for (unsigned I = 0, N = Record[Idx++]; I < N; ++I) {
3393       // FIXME: we should use input files rather than storing names.
3394       std::string Filename = ReadPath(F, Record, Idx);
3395       const FileEntry *F =
3396           FileMgr.getFile(Filename, false, false);
3397       if (F == nullptr) {
3398         if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
3399           Error("could not find file '" + Filename +"' referenced by AST file");
3400         return OutOfDate;
3401       }
3402       AdditionalStoredMaps.insert(F);
3403     }
3404
3405     // Check any additional module map files (e.g. module.private.modulemap)
3406     // that are not in the pcm.
3407     if (auto *AdditionalModuleMaps = Map.getAdditionalModuleMapFiles(M)) {
3408       for (const FileEntry *ModMap : *AdditionalModuleMaps) {
3409         // Remove files that match
3410         // Note: SmallPtrSet::erase is really remove
3411         if (!AdditionalStoredMaps.erase(ModMap)) {
3412           if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
3413             Diag(diag::err_module_different_modmap)
3414               << F.ModuleName << /*new*/0 << ModMap->getName();
3415           return OutOfDate;
3416         }
3417       }
3418     }
3419
3420     // Check any additional module map files that are in the pcm, but not
3421     // found in header search. Cases that match are already removed.
3422     for (const FileEntry *ModMap : AdditionalStoredMaps) {
3423       if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
3424         Diag(diag::err_module_different_modmap)
3425           << F.ModuleName << /*not new*/1 << ModMap->getName();
3426       return OutOfDate;
3427     }
3428   }
3429
3430   if (Listener)
3431     Listener->ReadModuleMapFile(F.ModuleMapPath);
3432   return Success;
3433 }
3434
3435
3436 /// \brief Move the given method to the back of the global list of methods.
3437 static void moveMethodToBackOfGlobalList(Sema &S, ObjCMethodDecl *Method) {
3438   // Find the entry for this selector in the method pool.
3439   Sema::GlobalMethodPool::iterator Known
3440     = S.MethodPool.find(Method->getSelector());
3441   if (Known == S.MethodPool.end())
3442     return;
3443
3444   // Retrieve the appropriate method list.
3445   ObjCMethodList &Start = Method->isInstanceMethod()? Known->second.first
3446                                                     : Known->second.second;
3447   bool Found = false;
3448   for (ObjCMethodList *List = &Start; List; List = List->getNext()) {
3449     if (!Found) {
3450       if (List->getMethod() == Method) {
3451         Found = true;
3452       } else {
3453         // Keep searching.
3454         continue;
3455       }
3456     }
3457
3458     if (List->getNext())
3459       List->setMethod(List->getNext()->getMethod());
3460     else
3461       List->setMethod(Method);
3462   }
3463 }
3464
3465 void ASTReader::makeNamesVisible(const HiddenNames &Names, Module *Owner) {
3466   assert(Owner->NameVisibility != Module::Hidden && "nothing to make visible?");
3467   for (Decl *D : Names) {
3468     bool wasHidden = D->Hidden;
3469     D->Hidden = false;
3470
3471     if (wasHidden && SemaObj) {
3472       if (ObjCMethodDecl *Method = dyn_cast<ObjCMethodDecl>(D)) {
3473         moveMethodToBackOfGlobalList(*SemaObj, Method);
3474       }
3475     }
3476   }
3477 }
3478
3479 void ASTReader::makeModuleVisible(Module *Mod,
3480                                   Module::NameVisibilityKind NameVisibility,
3481                                   SourceLocation ImportLoc) {
3482   llvm::SmallPtrSet<Module *, 4> Visited;
3483   SmallVector<Module *, 4> Stack;
3484   Stack.push_back(Mod);
3485   while (!Stack.empty()) {
3486     Mod = Stack.pop_back_val();
3487
3488     if (NameVisibility <= Mod->NameVisibility) {
3489       // This module already has this level of visibility (or greater), so
3490       // there is nothing more to do.
3491       continue;
3492     }
3493
3494     if (!Mod->isAvailable()) {
3495       // Modules that aren't available cannot be made visible.
3496       continue;
3497     }
3498
3499     // Update the module's name visibility.
3500     Mod->NameVisibility = NameVisibility;
3501
3502     // If we've already deserialized any names from this module,
3503     // mark them as visible.
3504     HiddenNamesMapType::iterator Hidden = HiddenNamesMap.find(Mod);
3505     if (Hidden != HiddenNamesMap.end()) {
3506       auto HiddenNames = std::move(*Hidden);
3507       HiddenNamesMap.erase(Hidden);
3508       makeNamesVisible(HiddenNames.second, HiddenNames.first);
3509       assert(HiddenNamesMap.find(Mod) == HiddenNamesMap.end() &&
3510              "making names visible added hidden names");
3511     }
3512
3513     // Push any exported modules onto the stack to be marked as visible.
3514     SmallVector<Module *, 16> Exports;
3515     Mod->getExportedModules(Exports);
3516     for (SmallVectorImpl<Module *>::iterator
3517            I = Exports.begin(), E = Exports.end(); I != E; ++I) {
3518       Module *Exported = *I;
3519       if (Visited.insert(Exported).second)
3520         Stack.push_back(Exported);
3521     }
3522   }
3523 }
3524
3525 /// We've merged the definition \p MergedDef into the existing definition
3526 /// \p Def. Ensure that \p Def is made visible whenever \p MergedDef is made
3527 /// visible.
3528 void ASTReader::mergeDefinitionVisibility(NamedDecl *Def,
3529                                           NamedDecl *MergedDef) {
3530   // FIXME: This doesn't correctly handle the case where MergedDef is visible
3531   // in modules other than its owning module. We should instead give the
3532   // ASTContext a list of merged definitions for Def.
3533   if (Def->isHidden()) {
3534     // If MergedDef is visible or becomes visible, make the definition visible.
3535     if (!MergedDef->isHidden())
3536       Def->Hidden = false;
3537     else if (getContext().getLangOpts().ModulesLocalVisibility) {
3538       getContext().mergeDefinitionIntoModule(
3539           Def, MergedDef->getImportedOwningModule(),
3540           /*NotifyListeners*/ false);
3541       PendingMergedDefinitionsToDeduplicate.insert(Def);
3542     } else {
3543       auto SubmoduleID = MergedDef->getOwningModuleID();
3544       assert(SubmoduleID && "hidden definition in no module");
3545       HiddenNamesMap[getSubmodule(SubmoduleID)].push_back(Def);
3546     }
3547   }
3548 }
3549
3550 bool ASTReader::loadGlobalIndex() {
3551   if (GlobalIndex)
3552     return false;
3553
3554   if (TriedLoadingGlobalIndex || !UseGlobalIndex ||
3555       !Context.getLangOpts().Modules)
3556     return true;
3557
3558   // Try to load the global index.
3559   TriedLoadingGlobalIndex = true;
3560   StringRef ModuleCachePath
3561     = getPreprocessor().getHeaderSearchInfo().getModuleCachePath();
3562   std::pair<GlobalModuleIndex *, GlobalModuleIndex::ErrorCode> Result
3563     = GlobalModuleIndex::readIndex(ModuleCachePath);
3564   if (!Result.first)
3565     return true;
3566
3567   GlobalIndex.reset(Result.first);
3568   ModuleMgr.setGlobalIndex(GlobalIndex.get());
3569   return false;
3570 }
3571
3572 bool ASTReader::isGlobalIndexUnavailable() const {
3573   return Context.getLangOpts().Modules && UseGlobalIndex &&
3574          !hasGlobalIndex() && TriedLoadingGlobalIndex;
3575 }
3576
3577 static void updateModuleTimestamp(ModuleFile &MF) {
3578   // Overwrite the timestamp file contents so that file's mtime changes.
3579   std::string TimestampFilename = MF.getTimestampFilename();
3580   std::error_code EC;
3581   llvm::raw_fd_ostream OS(TimestampFilename, EC, llvm::sys::fs::F_Text);
3582   if (EC)
3583     return;
3584   OS << "Timestamp file\n";
3585 }
3586
3587 /// \brief Given a cursor at the start of an AST file, scan ahead and drop the
3588 /// cursor into the start of the given block ID, returning false on success and
3589 /// true on failure.
3590 static bool SkipCursorToBlock(BitstreamCursor &Cursor, unsigned BlockID) {
3591   while (true) {
3592     llvm::BitstreamEntry Entry = Cursor.advance();
3593     switch (Entry.Kind) {
3594     case llvm::BitstreamEntry::Error:
3595     case llvm::BitstreamEntry::EndBlock:
3596       return true;
3597
3598     case llvm::BitstreamEntry::Record:
3599       // Ignore top-level records.
3600       Cursor.skipRecord(Entry.ID);
3601       break;
3602
3603     case llvm::BitstreamEntry::SubBlock:
3604       if (Entry.ID == BlockID) {
3605         if (Cursor.EnterSubBlock(BlockID))
3606           return true;
3607         // Found it!
3608         return false;
3609       }
3610
3611       if (Cursor.SkipBlock())
3612         return true;
3613     }
3614   }
3615 }
3616
3617 ASTReader::ASTReadResult ASTReader::ReadAST(StringRef FileName,
3618                                             ModuleKind Type,
3619                                             SourceLocation ImportLoc,
3620                                             unsigned ClientLoadCapabilities,
3621                                             SmallVectorImpl<ImportedSubmodule> *Imported) {
3622   llvm::SaveAndRestore<SourceLocation>
3623     SetCurImportLocRAII(CurrentImportLoc, ImportLoc);
3624
3625   // Defer any pending actions until we get to the end of reading the AST file.
3626   Deserializing AnASTFile(this);
3627
3628   // Bump the generation number.
3629   unsigned PreviousGeneration = incrementGeneration(Context);
3630
3631   unsigned NumModules = ModuleMgr.size();
3632   SmallVector<ImportedModule, 4> Loaded;
3633   switch(ASTReadResult ReadResult = ReadASTCore(FileName, Type, ImportLoc,
3634                                                 /*ImportedBy=*/nullptr, Loaded,
3635                                                 0, 0, 0,
3636                                                 ClientLoadCapabilities)) {
3637   case Failure:
3638   case Missing:
3639   case OutOfDate:
3640   case VersionMismatch:
3641   case ConfigurationMismatch:
3642   case HadErrors: {
3643     llvm::SmallPtrSet<ModuleFile *, 4> LoadedSet;
3644     for (const ImportedModule &IM : Loaded)
3645       LoadedSet.insert(IM.Mod);
3646
3647     ModuleMgr.removeModules(ModuleMgr.begin() + NumModules, ModuleMgr.end(),
3648                             LoadedSet,
3649                             Context.getLangOpts().Modules
3650                               ? &PP.getHeaderSearchInfo().getModuleMap()
3651                               : nullptr);
3652
3653     // If we find that any modules are unusable, the global index is going
3654     // to be out-of-date. Just remove it.
3655     GlobalIndex.reset();
3656     ModuleMgr.setGlobalIndex(nullptr);
3657     return ReadResult;
3658   }
3659   case Success:
3660     break;
3661   }
3662
3663   // Here comes stuff that we only do once the entire chain is loaded.
3664
3665   // Load the AST blocks of all of the modules that we loaded.
3666   for (SmallVectorImpl<ImportedModule>::iterator M = Loaded.begin(),
3667                                               MEnd = Loaded.end();
3668        M != MEnd; ++M) {
3669     ModuleFile &F = *M->Mod;
3670
3671     // Read the AST block.
3672     if (ASTReadResult Result = ReadASTBlock(F, ClientLoadCapabilities))
3673       return Result;
3674
3675     // Read the extension blocks.
3676     while (!SkipCursorToBlock(F.Stream, EXTENSION_BLOCK_ID)) {
3677       if (ASTReadResult Result = ReadExtensionBlock(F))
3678         return Result;
3679     }
3680
3681     // Once read, set the ModuleFile bit base offset and update the size in
3682     // bits of all files we've seen.
3683     F.GlobalBitOffset = TotalModulesSizeInBits;
3684     TotalModulesSizeInBits += F.SizeInBits;
3685     GlobalBitOffsetsMap.insert(std::make_pair(F.GlobalBitOffset, &F));
3686
3687     // Preload SLocEntries.
3688     for (unsigned I = 0, N = F.PreloadSLocEntries.size(); I != N; ++I) {
3689       int Index = int(F.PreloadSLocEntries[I] - 1) + F.SLocEntryBaseID;
3690       // Load it through the SourceManager and don't call ReadSLocEntry()
3691       // directly because the entry may have already been loaded in which case
3692       // calling ReadSLocEntry() directly would trigger an assertion in
3693       // SourceManager.
3694       SourceMgr.getLoadedSLocEntryByID(Index);
3695     }
3696
3697     // Preload all the pending interesting identifiers by marking them out of
3698     // date.
3699     for (auto Offset : F.PreloadIdentifierOffsets) {
3700       const unsigned char *Data = reinterpret_cast<const unsigned char *>(
3701           F.IdentifierTableData + Offset);
3702
3703       ASTIdentifierLookupTrait Trait(*this, F);
3704       auto KeyDataLen = Trait.ReadKeyDataLength(Data);
3705       auto Key = Trait.ReadKey(Data, KeyDataLen.first);
3706       auto &II = PP.getIdentifierTable().getOwn(Key);
3707       II.setOutOfDate(true);
3708
3709       // Mark this identifier as being from an AST file so that we can track
3710       // whether we need to serialize it.
3711       markIdentifierFromAST(*this, II);
3712
3713       // Associate the ID with the identifier so that the writer can reuse it.
3714       auto ID = Trait.ReadIdentifierID(Data + KeyDataLen.first);
3715       SetIdentifierInfo(ID, &II);
3716     }
3717   }
3718
3719   // Setup the import locations and notify the module manager that we've
3720   // committed to these module files.
3721   for (SmallVectorImpl<ImportedModule>::iterator M = Loaded.begin(),
3722                                               MEnd = Loaded.end();
3723        M != MEnd; ++M) {
3724     ModuleFile &F = *M->Mod;
3725
3726     ModuleMgr.moduleFileAccepted(&F);
3727
3728     // Set the import location.
3729     F.DirectImportLoc = ImportLoc;
3730     // FIXME: We assume that locations from PCH / preamble do not need
3731     // any translation.
3732     if (!M->ImportedBy)
3733       F.ImportLoc = M->ImportLoc;
3734     else
3735       F.ImportLoc = TranslateSourceLocation(*M->ImportedBy, M->ImportLoc);
3736   }
3737
3738   if (!Context.getLangOpts().CPlusPlus ||
3739       (Type != MK_ImplicitModule && Type != MK_ExplicitModule &&
3740        Type != MK_PrebuiltModule)) {
3741     // Mark all of the identifiers in the identifier table as being out of date,
3742     // so that various accessors know to check the loaded modules when the
3743     // identifier is used.
3744     //
3745     // For C++ modules, we don't need information on many identifiers (just
3746     // those that provide macros or are poisoned), so we mark all of
3747     // the interesting ones via PreloadIdentifierOffsets.
3748     for (IdentifierTable::iterator Id = PP.getIdentifierTable().begin(),
3749                                 IdEnd = PP.getIdentifierTable().end();
3750          Id != IdEnd; ++Id)
3751       Id->second->setOutOfDate(true);
3752   }
3753   // Mark selectors as out of date.
3754   for (auto Sel : SelectorGeneration)
3755     SelectorOutOfDate[Sel.first] = true;
3756
3757   // Resolve any unresolved module exports.
3758   for (unsigned I = 0, N = UnresolvedModuleRefs.size(); I != N; ++I) {
3759     UnresolvedModuleRef &Unresolved = UnresolvedModuleRefs[I];
3760     SubmoduleID GlobalID = getGlobalSubmoduleID(*Unresolved.File,Unresolved.ID);
3761     Module *ResolvedMod = getSubmodule(GlobalID);
3762
3763     switch (Unresolved.Kind) {
3764     case UnresolvedModuleRef::Conflict:
3765       if (ResolvedMod) {
3766         Module::Conflict Conflict;
3767         Conflict.Other = ResolvedMod;
3768         Conflict.Message = Unresolved.String.str();
3769         Unresolved.Mod->Conflicts.push_back(Conflict);
3770       }
3771       continue;
3772
3773     case UnresolvedModuleRef::Import:
3774       if (ResolvedMod)
3775         Unresolved.Mod->Imports.insert(ResolvedMod);
3776       continue;
3777
3778     case UnresolvedModuleRef::Export:
3779       if (ResolvedMod || Unresolved.IsWildcard)
3780         Unresolved.Mod->Exports.push_back(
3781           Module::ExportDecl(ResolvedMod, Unresolved.IsWildcard));
3782       continue;
3783     }
3784   }
3785   UnresolvedModuleRefs.clear();
3786
3787   if (Imported)
3788     Imported->append(ImportedModules.begin(),
3789                      ImportedModules.end());
3790
3791   // FIXME: How do we load the 'use'd modules? They may not be submodules.
3792   // Might be unnecessary as use declarations are only used to build the
3793   // module itself.
3794
3795   InitializeContext();
3796
3797   if (SemaObj)
3798     UpdateSema();
3799
3800   if (DeserializationListener)
3801     DeserializationListener->ReaderInitialized(this);
3802
3803   ModuleFile &PrimaryModule = ModuleMgr.getPrimaryModule();
3804   if (PrimaryModule.OriginalSourceFileID.isValid()) {
3805     PrimaryModule.OriginalSourceFileID
3806       = FileID::get(PrimaryModule.SLocEntryBaseID
3807                     + PrimaryModule.OriginalSourceFileID.getOpaqueValue() - 1);
3808
3809     // If this AST file is a precompiled preamble, then set the
3810     // preamble file ID of the source manager to the file source file
3811     // from which the preamble was built.
3812     if (Type == MK_Preamble) {
3813       SourceMgr.setPreambleFileID(PrimaryModule.OriginalSourceFileID);
3814     } else if (Type == MK_MainFile) {
3815       SourceMgr.setMainFileID(PrimaryModule.OriginalSourceFileID);
3816     }
3817   }
3818
3819   // For any Objective-C class definitions we have already loaded, make sure
3820   // that we load any additional categories.
3821   for (unsigned I = 0, N = ObjCClassesLoaded.size(); I != N; ++I) {
3822     loadObjCCategories(ObjCClassesLoaded[I]->getGlobalID(),
3823                        ObjCClassesLoaded[I],
3824                        PreviousGeneration);
3825   }
3826
3827   if (PP.getHeaderSearchInfo()
3828           .getHeaderSearchOpts()
3829           .ModulesValidateOncePerBuildSession) {
3830     // Now we are certain that the module and all modules it depends on are
3831     // up to date.  Create or update timestamp files for modules that are
3832     // located in the module cache (not for PCH files that could be anywhere
3833     // in the filesystem).
3834     for (unsigned I = 0, N = Loaded.size(); I != N; ++I) {
3835       ImportedModule &M = Loaded[I];
3836       if (M.Mod->Kind == MK_ImplicitModule) {
3837         updateModuleTimestamp(*M.Mod);
3838       }
3839     }
3840   }
3841
3842   return Success;
3843 }
3844
3845 static ASTFileSignature readASTFileSignature(StringRef PCH);
3846
3847 /// \brief Whether \p Stream starts with the AST/PCH file magic number 'CPCH'.
3848 static bool startsWithASTFileMagic(BitstreamCursor &Stream) {
3849   return Stream.canSkipToPos(4) &&
3850          Stream.Read(8) == 'C' &&
3851          Stream.Read(8) == 'P' &&
3852          Stream.Read(8) == 'C' &&
3853          Stream.Read(8) == 'H';
3854 }
3855
3856 static unsigned moduleKindForDiagnostic(ModuleKind Kind) {
3857   switch (Kind) {
3858   case MK_PCH:
3859     return 0; // PCH
3860   case MK_ImplicitModule:
3861   case MK_ExplicitModule:
3862   case MK_PrebuiltModule:
3863     return 1; // module
3864   case MK_MainFile:
3865   case MK_Preamble:
3866     return 2; // main source file
3867   }
3868   llvm_unreachable("unknown module kind");
3869 }
3870
3871 ASTReader::ASTReadResult
3872 ASTReader::ReadASTCore(StringRef FileName,
3873                        ModuleKind Type,
3874                        SourceLocation ImportLoc,
3875                        ModuleFile *ImportedBy,
3876                        SmallVectorImpl<ImportedModule> &Loaded,
3877                        off_t ExpectedSize, time_t ExpectedModTime,
3878                        ASTFileSignature ExpectedSignature,
3879                        unsigned ClientLoadCapabilities) {
3880   ModuleFile *M;
3881   std::string ErrorStr;
3882   ModuleManager::AddModuleResult AddResult
3883     = ModuleMgr.addModule(FileName, Type, ImportLoc, ImportedBy,
3884                           getGeneration(), ExpectedSize, ExpectedModTime,
3885                           ExpectedSignature, readASTFileSignature,
3886                           M, ErrorStr);
3887
3888   switch (AddResult) {
3889   case ModuleManager::AlreadyLoaded:
3890     return Success;
3891
3892   case ModuleManager::NewlyLoaded:
3893     // Load module file below.
3894     break;
3895
3896   case ModuleManager::Missing:
3897     // The module file was missing; if the client can handle that, return
3898     // it.
3899     if (ClientLoadCapabilities & ARR_Missing)
3900       return Missing;
3901
3902     // Otherwise, return an error.
3903     Diag(diag::err_module_file_not_found) << moduleKindForDiagnostic(Type)
3904                                           << FileName << !ErrorStr.empty()
3905                                           << ErrorStr;
3906     return Failure;
3907
3908   case ModuleManager::OutOfDate:
3909     // We couldn't load the module file because it is out-of-date. If the
3910     // client can handle out-of-date, return it.
3911     if (ClientLoadCapabilities & ARR_OutOfDate)
3912       return OutOfDate;
3913
3914     // Otherwise, return an error.
3915     Diag(diag::err_module_file_out_of_date) << moduleKindForDiagnostic(Type)
3916                                             << FileName << !ErrorStr.empty()
3917                                             << ErrorStr;
3918     return Failure;
3919   }
3920
3921   assert(M && "Missing module file");
3922
3923   // FIXME: This seems rather a hack. Should CurrentDir be part of the
3924   // module?
3925   if (FileName != "-") {
3926     CurrentDir = llvm::sys::path::parent_path(FileName);
3927     if (CurrentDir.empty()) CurrentDir = ".";
3928   }
3929
3930   ModuleFile &F = *M;
3931   BitstreamCursor &Stream = F.Stream;
3932   Stream = BitstreamCursor(PCHContainerRdr.ExtractPCH(*F.Buffer));
3933   F.SizeInBits = F.Buffer->getBufferSize() * 8;
3934
3935   // Sniff for the signature.
3936   if (!startsWithASTFileMagic(Stream)) {
3937     Diag(diag::err_module_file_invalid) << moduleKindForDiagnostic(Type)
3938                                         << FileName;
3939     return Failure;
3940   }
3941
3942   // This is used for compatibility with older PCH formats.
3943   bool HaveReadControlBlock = false;
3944   while (true) {
3945     llvm::BitstreamEntry Entry = Stream.advance();
3946
3947     switch (Entry.Kind) {
3948     case llvm::BitstreamEntry::Error:
3949     case llvm::BitstreamEntry::Record:
3950     case llvm::BitstreamEntry::EndBlock:
3951       Error("invalid record at top-level of AST file");
3952       return Failure;
3953
3954     case llvm::BitstreamEntry::SubBlock:
3955       break;
3956     }
3957
3958     switch (Entry.ID) {
3959     case CONTROL_BLOCK_ID:
3960       HaveReadControlBlock = true;
3961       switch (ReadControlBlock(F, Loaded, ImportedBy, ClientLoadCapabilities)) {
3962       case Success:
3963         // Check that we didn't try to load a non-module AST file as a module.
3964         //
3965         // FIXME: Should we also perform the converse check? Loading a module as
3966         // a PCH file sort of works, but it's a bit wonky.
3967         if ((Type == MK_ImplicitModule || Type == MK_ExplicitModule ||
3968              Type == MK_PrebuiltModule) &&
3969             F.ModuleName.empty()) {
3970           auto Result = (Type == MK_ImplicitModule) ? OutOfDate : Failure;
3971           if (Result != OutOfDate ||
3972               (ClientLoadCapabilities & ARR_OutOfDate) == 0)
3973             Diag(diag::err_module_file_not_module) << FileName;
3974           return Result;
3975         }
3976         break;
3977
3978       case Failure: return Failure;
3979       case Missing: return Missing;
3980       case OutOfDate: return OutOfDate;
3981       case VersionMismatch: return VersionMismatch;
3982       case ConfigurationMismatch: return ConfigurationMismatch;
3983       case HadErrors: return HadErrors;
3984       }
3985       break;
3986
3987     case AST_BLOCK_ID:
3988       if (!HaveReadControlBlock) {
3989         if ((ClientLoadCapabilities & ARR_VersionMismatch) == 0)
3990           Diag(diag::err_pch_version_too_old);
3991         return VersionMismatch;
3992       }
3993
3994       // Record that we've loaded this module.
3995       Loaded.push_back(ImportedModule(M, ImportedBy, ImportLoc));
3996       return Success;
3997
3998     default:
3999       if (Stream.SkipBlock()) {
4000         Error("malformed block record in AST file");
4001         return Failure;
4002       }
4003       break;
4004     }
4005   }
4006
4007   return Success;
4008 }
4009
4010 /// Parse a record and blob containing module file extension metadata.
4011 static bool parseModuleFileExtensionMetadata(
4012               const SmallVectorImpl<uint64_t> &Record,
4013               StringRef Blob,
4014               ModuleFileExtensionMetadata &Metadata) {
4015   if (Record.size() < 4) return true;
4016
4017   Metadata.MajorVersion = Record[0];
4018   Metadata.MinorVersion = Record[1];
4019
4020   unsigned BlockNameLen = Record[2];
4021   unsigned UserInfoLen = Record[3];
4022
4023   if (BlockNameLen + UserInfoLen > Blob.size()) return true;
4024
4025   Metadata.BlockName = std::string(Blob.data(), Blob.data() + BlockNameLen);
4026   Metadata.UserInfo = std::string(Blob.data() + BlockNameLen,
4027                                   Blob.data() + BlockNameLen + UserInfoLen);
4028   return false;
4029 }
4030
4031 ASTReader::ASTReadResult ASTReader::ReadExtensionBlock(ModuleFile &F) {
4032   BitstreamCursor &Stream = F.Stream;
4033
4034   RecordData Record;
4035   while (true) {
4036     llvm::BitstreamEntry Entry = Stream.advance();
4037     switch (Entry.Kind) {
4038     case llvm::BitstreamEntry::SubBlock:
4039       if (Stream.SkipBlock())
4040         return Failure;
4041
4042       continue;
4043
4044     case llvm::BitstreamEntry::EndBlock:
4045       return Success;
4046
4047     case llvm::BitstreamEntry::Error:
4048       return HadErrors;
4049
4050     case llvm::BitstreamEntry::Record:
4051       break;
4052     }
4053
4054     Record.clear();
4055     StringRef Blob;
4056     unsigned RecCode = Stream.readRecord(Entry.ID, Record, &Blob);
4057     switch (RecCode) {
4058     case EXTENSION_METADATA: {
4059       ModuleFileExtensionMetadata Metadata;
4060       if (parseModuleFileExtensionMetadata(Record, Blob, Metadata))
4061         return Failure;
4062
4063       // Find a module file extension with this block name.
4064       auto Known = ModuleFileExtensions.find(Metadata.BlockName);
4065       if (Known == ModuleFileExtensions.end()) break;
4066
4067       // Form a reader.
4068       if (auto Reader = Known->second->createExtensionReader(Metadata, *this,
4069                                                              F, Stream)) {
4070         F.ExtensionReaders.push_back(std::move(Reader));
4071       }
4072
4073       break;
4074     }
4075     }
4076   }
4077
4078   return Success;
4079 }
4080
4081 void ASTReader::InitializeContext() {
4082   // If there's a listener, notify them that we "read" the translation unit.
4083   if (DeserializationListener)
4084     DeserializationListener->DeclRead(PREDEF_DECL_TRANSLATION_UNIT_ID,
4085                                       Context.getTranslationUnitDecl());
4086
4087   // FIXME: Find a better way to deal with collisions between these
4088   // built-in types. Right now, we just ignore the problem.
4089
4090   // Load the special types.
4091   if (SpecialTypes.size() >= NumSpecialTypeIDs) {
4092     if (unsigned String = SpecialTypes[SPECIAL_TYPE_CF_CONSTANT_STRING]) {
4093       if (!Context.CFConstantStringTypeDecl)
4094         Context.setCFConstantStringType(GetType(String));
4095     }
4096
4097     if (unsigned File = SpecialTypes[SPECIAL_TYPE_FILE]) {
4098       QualType FileType = GetType(File);
4099       if (FileType.isNull()) {
4100         Error("FILE type is NULL");
4101         return;
4102       }
4103
4104       if (!Context.FILEDecl) {
4105         if (const TypedefType *Typedef = FileType->getAs<TypedefType>())
4106           Context.setFILEDecl(Typedef->getDecl());
4107         else {
4108           const TagType *Tag = FileType->getAs<TagType>();
4109           if (!Tag) {
4110             Error("Invalid FILE type in AST file");
4111             return;
4112           }
4113           Context.setFILEDecl(Tag->getDecl());
4114         }
4115       }
4116     }
4117
4118     if (unsigned Jmp_buf = SpecialTypes[SPECIAL_TYPE_JMP_BUF]) {
4119       QualType Jmp_bufType = GetType(Jmp_buf);
4120       if (Jmp_bufType.isNull()) {
4121         Error("jmp_buf type is NULL");
4122         return;
4123       }
4124
4125       if (!Context.jmp_bufDecl) {
4126         if (const TypedefType *Typedef = Jmp_bufType->getAs<TypedefType>())
4127           Context.setjmp_bufDecl(Typedef->getDecl());
4128         else {
4129           const TagType *Tag = Jmp_bufType->getAs<TagType>();
4130           if (!Tag) {
4131             Error("Invalid jmp_buf type in AST file");
4132             return;
4133           }
4134           Context.setjmp_bufDecl(Tag->getDecl());
4135         }
4136       }
4137     }
4138
4139     if (unsigned Sigjmp_buf = SpecialTypes[SPECIAL_TYPE_SIGJMP_BUF]) {
4140       QualType Sigjmp_bufType = GetType(Sigjmp_buf);
4141       if (Sigjmp_bufType.isNull()) {
4142         Error("sigjmp_buf type is NULL");
4143         return;
4144       }
4145
4146       if (!Context.sigjmp_bufDecl) {
4147         if (const TypedefType *Typedef = Sigjmp_bufType->getAs<TypedefType>())
4148           Context.setsigjmp_bufDecl(Typedef->getDecl());
4149         else {
4150           const TagType *Tag = Sigjmp_bufType->getAs<TagType>();
4151           assert(Tag && "Invalid sigjmp_buf type in AST file");
4152           Context.setsigjmp_bufDecl(Tag->getDecl());
4153         }
4154       }
4155     }
4156
4157     if (unsigned ObjCIdRedef
4158           = SpecialTypes[SPECIAL_TYPE_OBJC_ID_REDEFINITION]) {
4159       if (Context.ObjCIdRedefinitionType.isNull())
4160         Context.ObjCIdRedefinitionType = GetType(ObjCIdRedef);
4161     }
4162
4163     if (unsigned ObjCClassRedef
4164           = SpecialTypes[SPECIAL_TYPE_OBJC_CLASS_REDEFINITION]) {
4165       if (Context.ObjCClassRedefinitionType.isNull())
4166         Context.ObjCClassRedefinitionType = GetType(ObjCClassRedef);
4167     }
4168
4169     if (unsigned ObjCSelRedef
4170           = SpecialTypes[SPECIAL_TYPE_OBJC_SEL_REDEFINITION]) {
4171       if (Context.ObjCSelRedefinitionType.isNull())
4172         Context.ObjCSelRedefinitionType = GetType(ObjCSelRedef);
4173     }
4174
4175     if (unsigned Ucontext_t = SpecialTypes[SPECIAL_TYPE_UCONTEXT_T]) {
4176       QualType Ucontext_tType = GetType(Ucontext_t);
4177       if (Ucontext_tType.isNull()) {
4178         Error("ucontext_t type is NULL");
4179         return;
4180       }
4181
4182       if (!Context.ucontext_tDecl) {
4183         if (const TypedefType *Typedef = Ucontext_tType->getAs<TypedefType>())
4184           Context.setucontext_tDecl(Typedef->getDecl());
4185         else {
4186           const TagType *Tag = Ucontext_tType->getAs<TagType>();
4187           assert(Tag && "Invalid ucontext_t type in AST file");
4188           Context.setucontext_tDecl(Tag->getDecl());
4189         }
4190       }
4191     }
4192   }
4193
4194   ReadPragmaDiagnosticMappings(Context.getDiagnostics());
4195
4196   // If there were any CUDA special declarations, deserialize them.
4197   if (!CUDASpecialDeclRefs.empty()) {
4198     assert(CUDASpecialDeclRefs.size() == 1 && "More decl refs than expected!");
4199     Context.setcudaConfigureCallDecl(
4200                            cast<FunctionDecl>(GetDecl(CUDASpecialDeclRefs[0])));
4201   }
4202
4203   // Re-export any modules that were imported by a non-module AST file.
4204   // FIXME: This does not make macro-only imports visible again.
4205   for (auto &Import : ImportedModules) {
4206     if (Module *Imported = getSubmodule(Import.ID)) {
4207       makeModuleVisible(Imported, Module::AllVisible,
4208                         /*ImportLoc=*/Import.ImportLoc);
4209       if (Import.ImportLoc.isValid())
4210         PP.makeModuleVisible(Imported, Import.ImportLoc);
4211       // FIXME: should we tell Sema to make the module visible too?
4212     }
4213   }
4214   ImportedModules.clear();
4215 }
4216
4217 void ASTReader::finalizeForWriting() {
4218   // Nothing to do for now.
4219 }
4220
4221 /// \brief Reads and return the signature record from \p PCH's control block, or
4222 /// else returns 0.
4223 static ASTFileSignature readASTFileSignature(StringRef PCH) {
4224   BitstreamCursor Stream(PCH);
4225   if (!startsWithASTFileMagic(Stream))
4226     return 0;
4227
4228   // Scan for the CONTROL_BLOCK_ID block.
4229   if (SkipCursorToBlock(Stream, CONTROL_BLOCK_ID))
4230     return 0;
4231
4232   // Scan for SIGNATURE inside the control block.
4233   ASTReader::RecordData Record;
4234   while (true) {
4235     llvm::BitstreamEntry Entry = Stream.advanceSkippingSubblocks();
4236     if (Entry.Kind != llvm::BitstreamEntry::Record)
4237       return 0;
4238
4239     Record.clear();
4240     StringRef Blob;
4241     if (SIGNATURE == Stream.readRecord(Entry.ID, Record, &Blob))
4242       return Record[0];
4243   }
4244 }
4245
4246 /// \brief Retrieve the name of the original source file name
4247 /// directly from the AST file, without actually loading the AST
4248 /// file.
4249 std::string ASTReader::getOriginalSourceFile(
4250     const std::string &ASTFileName, FileManager &FileMgr,
4251     const PCHContainerReader &PCHContainerRdr, DiagnosticsEngine &Diags) {
4252   // Open the AST file.
4253   auto Buffer = FileMgr.getBufferForFile(ASTFileName);
4254   if (!Buffer) {
4255     Diags.Report(diag::err_fe_unable_to_read_pch_file)
4256         << ASTFileName << Buffer.getError().message();
4257     return std::string();
4258   }
4259
4260   // Initialize the stream
4261   BitstreamCursor Stream(PCHContainerRdr.ExtractPCH(**Buffer));
4262
4263   // Sniff for the signature.
4264   if (!startsWithASTFileMagic(Stream)) {
4265     Diags.Report(diag::err_fe_not_a_pch_file) << ASTFileName;
4266     return std::string();
4267   }
4268
4269   // Scan for the CONTROL_BLOCK_ID block.
4270   if (SkipCursorToBlock(Stream, CONTROL_BLOCK_ID)) {
4271     Diags.Report(diag::err_fe_pch_malformed_block) << ASTFileName;
4272     return std::string();
4273   }
4274
4275   // Scan for ORIGINAL_FILE inside the control block.
4276   RecordData Record;
4277   while (true) {
4278     llvm::BitstreamEntry Entry = Stream.advanceSkippingSubblocks();
4279     if (Entry.Kind == llvm::BitstreamEntry::EndBlock)
4280       return std::string();
4281
4282     if (Entry.Kind != llvm::BitstreamEntry::Record) {
4283       Diags.Report(diag::err_fe_pch_malformed_block) << ASTFileName;
4284       return std::string();
4285     }
4286
4287     Record.clear();
4288     StringRef Blob;
4289     if (Stream.readRecord(Entry.ID, Record, &Blob) == ORIGINAL_FILE)
4290       return Blob.str();
4291   }
4292 }
4293
4294 namespace {
4295
4296   class SimplePCHValidator : public ASTReaderListener {
4297     const LangOptions &ExistingLangOpts;
4298     const TargetOptions &ExistingTargetOpts;
4299     const PreprocessorOptions &ExistingPPOpts;
4300     std::string ExistingModuleCachePath;
4301     FileManager &FileMgr;
4302
4303   public:
4304     SimplePCHValidator(const LangOptions &ExistingLangOpts,
4305                        const TargetOptions &ExistingTargetOpts,
4306                        const PreprocessorOptions &ExistingPPOpts,
4307                        StringRef ExistingModuleCachePath,
4308                        FileManager &FileMgr)
4309       : ExistingLangOpts(ExistingLangOpts),
4310         ExistingTargetOpts(ExistingTargetOpts),
4311         ExistingPPOpts(ExistingPPOpts),
4312         ExistingModuleCachePath(ExistingModuleCachePath),
4313         FileMgr(FileMgr)
4314     {
4315     }
4316
4317     bool ReadLanguageOptions(const LangOptions &LangOpts, bool Complain,
4318                              bool AllowCompatibleDifferences) override {
4319       return checkLanguageOptions(ExistingLangOpts, LangOpts, nullptr,
4320                                   AllowCompatibleDifferences);
4321     }
4322
4323     bool ReadTargetOptions(const TargetOptions &TargetOpts, bool Complain,
4324                            bool AllowCompatibleDifferences) override {
4325       return checkTargetOptions(ExistingTargetOpts, TargetOpts, nullptr,
4326                                 AllowCompatibleDifferences);
4327     }
4328
4329     bool ReadHeaderSearchOptions(const HeaderSearchOptions &HSOpts,
4330                                  StringRef SpecificModuleCachePath,
4331                                  bool Complain) override {
4332       return checkHeaderSearchOptions(HSOpts, SpecificModuleCachePath,
4333                                       ExistingModuleCachePath,
4334                                       nullptr, ExistingLangOpts);
4335     }
4336
4337     bool ReadPreprocessorOptions(const PreprocessorOptions &PPOpts,
4338                                  bool Complain,
4339                                  std::string &SuggestedPredefines) override {
4340       return checkPreprocessorOptions(ExistingPPOpts, PPOpts, nullptr, FileMgr,
4341                                       SuggestedPredefines, ExistingLangOpts);
4342     }
4343   };
4344
4345 } // end anonymous namespace
4346
4347 bool ASTReader::readASTFileControlBlock(
4348     StringRef Filename, FileManager &FileMgr,
4349     const PCHContainerReader &PCHContainerRdr,
4350     bool FindModuleFileExtensions,
4351     ASTReaderListener &Listener, bool ValidateDiagnosticOptions) {
4352   // Open the AST file.
4353   // FIXME: This allows use of the VFS; we do not allow use of the
4354   // VFS when actually loading a module.
4355   auto Buffer = FileMgr.getBufferForFile(Filename);
4356   if (!Buffer) {
4357     return true;
4358   }
4359
4360   // Initialize the stream
4361   BitstreamCursor Stream(PCHContainerRdr.ExtractPCH(**Buffer));
4362
4363   // Sniff for the signature.
4364   if (!startsWithASTFileMagic(Stream))
4365     return true;
4366
4367   // Scan for the CONTROL_BLOCK_ID block.
4368   if (SkipCursorToBlock(Stream, CONTROL_BLOCK_ID))
4369     return true;
4370
4371   bool NeedsInputFiles = Listener.needsInputFileVisitation();
4372   bool NeedsSystemInputFiles = Listener.needsSystemInputFileVisitation();
4373   bool NeedsImports = Listener.needsImportVisitation();
4374   BitstreamCursor InputFilesCursor;
4375
4376   RecordData Record;
4377   std::string ModuleDir;
4378   bool DoneWithControlBlock = false;
4379   while (!DoneWithControlBlock) {
4380     llvm::BitstreamEntry Entry = Stream.advance();
4381
4382     switch (Entry.Kind) {
4383     case llvm::BitstreamEntry::SubBlock: {
4384       switch (Entry.ID) {
4385       case OPTIONS_BLOCK_ID: {
4386         std::string IgnoredSuggestedPredefines;
4387         if (ReadOptionsBlock(Stream, ARR_ConfigurationMismatch | ARR_OutOfDate,
4388                              /*AllowCompatibleConfigurationMismatch*/ false,
4389                              Listener, IgnoredSuggestedPredefines,
4390                              ValidateDiagnosticOptions) != Success)
4391           return true;
4392         break;
4393       }
4394
4395       case INPUT_FILES_BLOCK_ID:
4396         InputFilesCursor = Stream;
4397         if (Stream.SkipBlock() ||
4398             (NeedsInputFiles &&
4399              ReadBlockAbbrevs(InputFilesCursor, INPUT_FILES_BLOCK_ID)))
4400           return true;
4401         break;
4402
4403       default:
4404         if (Stream.SkipBlock())
4405           return true;
4406         break;
4407       }
4408
4409       continue;
4410     }
4411
4412     case llvm::BitstreamEntry::EndBlock:
4413       DoneWithControlBlock = true;
4414       break;
4415
4416     case llvm::BitstreamEntry::Error:
4417       return true;
4418
4419     case llvm::BitstreamEntry::Record:
4420       break;
4421     }
4422
4423     if (DoneWithControlBlock) break;
4424
4425     Record.clear();
4426     StringRef Blob;
4427     unsigned RecCode = Stream.readRecord(Entry.ID, Record, &Blob);
4428     switch ((ControlRecordTypes)RecCode) {
4429     case METADATA: {
4430       if (Record[0] != VERSION_MAJOR)
4431         return true;
4432
4433       if (Listener.ReadFullVersionInformation(Blob))
4434         return true;
4435
4436       break;
4437     }
4438     case MODULE_NAME:
4439       Listener.ReadModuleName(Blob);
4440       break;
4441     case MODULE_DIRECTORY:
4442       ModuleDir = Blob;
4443       break;
4444     case MODULE_MAP_FILE: {
4445       unsigned Idx = 0;
4446       auto Path = ReadString(Record, Idx);
4447       ResolveImportedPath(Path, ModuleDir);
4448       Listener.ReadModuleMapFile(Path);
4449       break;
4450     }
4451     case INPUT_FILE_OFFSETS: {
4452       if (!NeedsInputFiles)
4453         break;
4454
4455       unsigned NumInputFiles = Record[0];
4456       unsigned NumUserFiles = Record[1];
4457       const uint64_t *InputFileOffs = (const uint64_t *)Blob.data();
4458       for (unsigned I = 0; I != NumInputFiles; ++I) {
4459         // Go find this input file.
4460         bool isSystemFile = I >= NumUserFiles;
4461
4462         if (isSystemFile && !NeedsSystemInputFiles)
4463           break; // the rest are system input files
4464
4465         BitstreamCursor &Cursor = InputFilesCursor;
4466         SavedStreamPosition SavedPosition(Cursor);
4467         Cursor.JumpToBit(InputFileOffs[I]);
4468
4469         unsigned Code = Cursor.ReadCode();
4470         RecordData Record;
4471         StringRef Blob;
4472         bool shouldContinue = false;
4473         switch ((InputFileRecordTypes)Cursor.readRecord(Code, Record, &Blob)) {
4474         case INPUT_FILE:
4475           bool Overridden = static_cast<bool>(Record[3]);
4476           std::string Filename = Blob;
4477           ResolveImportedPath(Filename, ModuleDir);
4478           shouldContinue = Listener.visitInputFile(
4479               Filename, isSystemFile, Overridden, /*IsExplicitModule*/false);
4480           break;
4481         }
4482         if (!shouldContinue)
4483           break;
4484       }
4485       break;
4486     }
4487
4488     case IMPORTS: {
4489       if (!NeedsImports)
4490         break;
4491
4492       unsigned Idx = 0, N = Record.size();
4493       while (Idx < N) {
4494         // Read information about the AST file.
4495         Idx += 5; // ImportLoc, Size, ModTime, Signature
4496         std::string Filename = ReadString(Record, Idx);
4497         ResolveImportedPath(Filename, ModuleDir);
4498         Listener.visitImport(Filename);
4499       }
4500       break;
4501     }
4502
4503     default:
4504       // No other validation to perform.
4505       break;
4506     }
4507   }
4508
4509   // Look for module file extension blocks, if requested.
4510   if (FindModuleFileExtensions) {
4511     while (!SkipCursorToBlock(Stream, EXTENSION_BLOCK_ID)) {
4512       bool DoneWithExtensionBlock = false;
4513       while (!DoneWithExtensionBlock) {
4514        llvm::BitstreamEntry Entry = Stream.advance();
4515
4516        switch (Entry.Kind) {
4517        case llvm::BitstreamEntry::SubBlock:
4518          if (Stream.SkipBlock())
4519            return true;
4520
4521          continue;
4522
4523        case llvm::BitstreamEntry::EndBlock:
4524          DoneWithExtensionBlock = true;
4525          continue;
4526
4527        case llvm::BitstreamEntry::Error:
4528          return true;
4529
4530        case llvm::BitstreamEntry::Record:
4531          break;
4532        }
4533
4534        Record.clear();
4535        StringRef Blob;
4536        unsigned RecCode = Stream.readRecord(Entry.ID, Record, &Blob);
4537        switch (RecCode) {
4538        case EXTENSION_METADATA: {
4539          ModuleFileExtensionMetadata Metadata;
4540          if (parseModuleFileExtensionMetadata(Record, Blob, Metadata))
4541            return true;
4542
4543          Listener.readModuleFileExtension(Metadata);
4544          break;
4545        }
4546        }
4547       }
4548     }
4549   }
4550
4551   return false;
4552 }
4553
4554 bool ASTReader::isAcceptableASTFile(
4555     StringRef Filename, FileManager &FileMgr,
4556     const PCHContainerReader &PCHContainerRdr, const LangOptions &LangOpts,
4557     const TargetOptions &TargetOpts, const PreprocessorOptions &PPOpts,
4558     std::string ExistingModuleCachePath) {
4559   SimplePCHValidator validator(LangOpts, TargetOpts, PPOpts,
4560                                ExistingModuleCachePath, FileMgr);
4561   return !readASTFileControlBlock(Filename, FileMgr, PCHContainerRdr,
4562                                   /*FindModuleFileExtensions=*/false,
4563                                   validator,
4564                                   /*ValidateDiagnosticOptions=*/true);
4565 }
4566
4567 ASTReader::ASTReadResult
4568 ASTReader::ReadSubmoduleBlock(ModuleFile &F, unsigned ClientLoadCapabilities) {
4569   // Enter the submodule block.
4570   if (F.Stream.EnterSubBlock(SUBMODULE_BLOCK_ID)) {
4571     Error("malformed submodule block record in AST file");
4572     return Failure;
4573   }
4574
4575   ModuleMap &ModMap = PP.getHeaderSearchInfo().getModuleMap();
4576   bool First = true;
4577   Module *CurrentModule = nullptr;
4578   RecordData Record;
4579   while (true) {
4580     llvm::BitstreamEntry Entry = F.Stream.advanceSkippingSubblocks();
4581
4582     switch (Entry.Kind) {
4583     case llvm::BitstreamEntry::SubBlock: // Handled for us already.
4584     case llvm::BitstreamEntry::Error:
4585       Error("malformed block record in AST file");
4586       return Failure;
4587     case llvm::BitstreamEntry::EndBlock:
4588       return Success;
4589     case llvm::BitstreamEntry::Record:
4590       // The interesting case.
4591       break;
4592     }
4593
4594     // Read a record.
4595     StringRef Blob;
4596     Record.clear();
4597     auto Kind = F.Stream.readRecord(Entry.ID, Record, &Blob);
4598
4599     if ((Kind == SUBMODULE_METADATA) != First) {
4600       Error("submodule metadata record should be at beginning of block");
4601       return Failure;
4602     }
4603     First = false;
4604
4605     // Submodule information is only valid if we have a current module.
4606     // FIXME: Should we error on these cases?
4607     if (!CurrentModule && Kind != SUBMODULE_METADATA &&
4608         Kind != SUBMODULE_DEFINITION)
4609       continue;
4610
4611     switch (Kind) {
4612     default:  // Default behavior: ignore.
4613       break;
4614
4615     case SUBMODULE_DEFINITION: {
4616       if (Record.size() < 8) {
4617         Error("malformed module definition");
4618         return Failure;
4619       }
4620
4621       StringRef Name = Blob;
4622       unsigned Idx = 0;
4623       SubmoduleID GlobalID = getGlobalSubmoduleID(F, Record[Idx++]);
4624       SubmoduleID Parent = getGlobalSubmoduleID(F, Record[Idx++]);
4625       bool IsFramework = Record[Idx++];
4626       bool IsExplicit = Record[Idx++];
4627       bool IsSystem = Record[Idx++];
4628       bool IsExternC = Record[Idx++];
4629       bool InferSubmodules = Record[Idx++];
4630       bool InferExplicitSubmodules = Record[Idx++];
4631       bool InferExportWildcard = Record[Idx++];
4632       bool ConfigMacrosExhaustive = Record[Idx++];
4633
4634       Module *ParentModule = nullptr;
4635       if (Parent)
4636         ParentModule = getSubmodule(Parent);
4637
4638       // Retrieve this (sub)module from the module map, creating it if
4639       // necessary.
4640       CurrentModule = ModMap.findOrCreateModule(Name, ParentModule, IsFramework,
4641                                                 IsExplicit).first;
4642
4643       // FIXME: set the definition loc for CurrentModule, or call
4644       // ModMap.setInferredModuleAllowedBy()
4645
4646       SubmoduleID GlobalIndex = GlobalID - NUM_PREDEF_SUBMODULE_IDS;
4647       if (GlobalIndex >= SubmodulesLoaded.size() ||
4648           SubmodulesLoaded[GlobalIndex]) {
4649         Error("too many submodules");
4650         return Failure;
4651       }
4652
4653       if (!ParentModule) {
4654         if (const FileEntry *CurFile = CurrentModule->getASTFile()) {
4655           if (CurFile != F.File) {
4656             if (!Diags.isDiagnosticInFlight()) {
4657               Diag(diag::err_module_file_conflict)
4658                 << CurrentModule->getTopLevelModuleName()
4659                 << CurFile->getName()
4660                 << F.File->getName();
4661             }
4662             return Failure;
4663           }
4664         }
4665
4666         CurrentModule->setASTFile(F.File);
4667       }
4668
4669       CurrentModule->Signature = F.Signature;
4670       CurrentModule->IsFromModuleFile = true;
4671       CurrentModule->IsSystem = IsSystem || CurrentModule->IsSystem;
4672       CurrentModule->IsExternC = IsExternC;
4673       CurrentModule->InferSubmodules = InferSubmodules;
4674       CurrentModule->InferExplicitSubmodules = InferExplicitSubmodules;
4675       CurrentModule->InferExportWildcard = InferExportWildcard;
4676       CurrentModule->ConfigMacrosExhaustive = ConfigMacrosExhaustive;
4677       if (DeserializationListener)
4678         DeserializationListener->ModuleRead(GlobalID, CurrentModule);
4679
4680       SubmodulesLoaded[GlobalIndex] = CurrentModule;
4681
4682       // Clear out data that will be replaced by what is in the module file.
4683       CurrentModule->LinkLibraries.clear();
4684       CurrentModule->ConfigMacros.clear();
4685       CurrentModule->UnresolvedConflicts.clear();
4686       CurrentModule->Conflicts.clear();
4687
4688       // The module is available unless it's missing a requirement; relevant
4689       // requirements will be (re-)added by SUBMODULE_REQUIRES records.
4690       // Missing headers that were present when the module was built do not
4691       // make it unavailable -- if we got this far, this must be an explicitly
4692       // imported module file.
4693       CurrentModule->Requirements.clear();
4694       CurrentModule->MissingHeaders.clear();
4695       CurrentModule->IsMissingRequirement =
4696           ParentModule && ParentModule->IsMissingRequirement;
4697       CurrentModule->IsAvailable = !CurrentModule->IsMissingRequirement;
4698       break;
4699     }
4700
4701     case SUBMODULE_UMBRELLA_HEADER: {
4702       std::string Filename = Blob;
4703       ResolveImportedPath(F, Filename);
4704       if (auto *Umbrella = PP.getFileManager().getFile(Filename)) {
4705         if (!CurrentModule->getUmbrellaHeader())
4706           ModMap.setUmbrellaHeader(CurrentModule, Umbrella, Blob);
4707         else if (CurrentModule->getUmbrellaHeader().Entry != Umbrella) {
4708           // This can be a spurious difference caused by changing the VFS to
4709           // point to a different copy of the file, and it is too late to
4710           // to rebuild safely.
4711           // FIXME: If we wrote the virtual paths instead of the 'real' paths,
4712           // after input file validation only real problems would remain and we
4713           // could just error. For now, assume it's okay.
4714           break;
4715         }
4716       }
4717       break;
4718     }
4719
4720     case SUBMODULE_HEADER:
4721     case SUBMODULE_EXCLUDED_HEADER:
4722     case SUBMODULE_PRIVATE_HEADER:
4723       // We lazily associate headers with their modules via the HeaderInfo table.
4724       // FIXME: Re-evaluate this section; maybe only store InputFile IDs instead
4725       // of complete filenames or remove it entirely.
4726       break;
4727
4728     case SUBMODULE_TEXTUAL_HEADER:
4729     case SUBMODULE_PRIVATE_TEXTUAL_HEADER:
4730       // FIXME: Textual headers are not marked in the HeaderInfo table. Load
4731       // them here.
4732       break;
4733
4734     case SUBMODULE_TOPHEADER: {
4735       CurrentModule->addTopHeaderFilename(Blob);
4736       break;
4737     }
4738
4739     case SUBMODULE_UMBRELLA_DIR: {
4740       std::string Dirname = Blob;
4741       ResolveImportedPath(F, Dirname);
4742       if (auto *Umbrella = PP.getFileManager().getDirectory(Dirname)) {
4743         if (!CurrentModule->getUmbrellaDir())
4744           ModMap.setUmbrellaDir(CurrentModule, Umbrella, Blob);
4745         else if (CurrentModule->getUmbrellaDir().Entry != Umbrella) {
4746           if ((ClientLoadCapabilities & ARR_OutOfDate) == 0)
4747             Error("mismatched umbrella directories in submodule");
4748           return OutOfDate;
4749         }
4750       }
4751       break;
4752     }
4753
4754     case SUBMODULE_METADATA: {
4755       F.BaseSubmoduleID = getTotalNumSubmodules();
4756       F.LocalNumSubmodules = Record[0];
4757       unsigned LocalBaseSubmoduleID = Record[1];
4758       if (F.LocalNumSubmodules > 0) {
4759         // Introduce the global -> local mapping for submodules within this
4760         // module.
4761         GlobalSubmoduleMap.insert(std::make_pair(getTotalNumSubmodules()+1,&F));
4762
4763         // Introduce the local -> global mapping for submodules within this
4764         // module.
4765         F.SubmoduleRemap.insertOrReplace(
4766           std::make_pair(LocalBaseSubmoduleID,
4767                          F.BaseSubmoduleID - LocalBaseSubmoduleID));
4768
4769         SubmodulesLoaded.resize(SubmodulesLoaded.size() + F.LocalNumSubmodules);
4770       }
4771       break;
4772     }
4773
4774     case SUBMODULE_IMPORTS: {
4775       for (unsigned Idx = 0; Idx != Record.size(); ++Idx) {
4776         UnresolvedModuleRef Unresolved;
4777         Unresolved.File = &F;
4778         Unresolved.Mod = CurrentModule;
4779         Unresolved.ID = Record[Idx];
4780         Unresolved.Kind = UnresolvedModuleRef::Import;
4781         Unresolved.IsWildcard = false;
4782         UnresolvedModuleRefs.push_back(Unresolved);
4783       }
4784       break;
4785     }
4786
4787     case SUBMODULE_EXPORTS: {
4788       for (unsigned Idx = 0; Idx + 1 < Record.size(); Idx += 2) {
4789         UnresolvedModuleRef Unresolved;
4790         Unresolved.File = &F;
4791         Unresolved.Mod = CurrentModule;
4792         Unresolved.ID = Record[Idx];
4793         Unresolved.Kind = UnresolvedModuleRef::Export;
4794         Unresolved.IsWildcard = Record[Idx + 1];
4795         UnresolvedModuleRefs.push_back(Unresolved);
4796       }
4797
4798       // Once we've loaded the set of exports, there's no reason to keep
4799       // the parsed, unresolved exports around.
4800       CurrentModule->UnresolvedExports.clear();
4801       break;
4802     }
4803     case SUBMODULE_REQUIRES: {
4804       CurrentModule->addRequirement(Blob, Record[0], Context.getLangOpts(),
4805                                     Context.getTargetInfo());
4806       break;
4807     }
4808
4809     case SUBMODULE_LINK_LIBRARY:
4810       CurrentModule->LinkLibraries.push_back(
4811                                          Module::LinkLibrary(Blob, Record[0]));
4812       break;
4813
4814     case SUBMODULE_CONFIG_MACRO:
4815       CurrentModule->ConfigMacros.push_back(Blob.str());
4816       break;
4817
4818     case SUBMODULE_CONFLICT: {
4819       UnresolvedModuleRef Unresolved;
4820       Unresolved.File = &F;
4821       Unresolved.Mod = CurrentModule;
4822       Unresolved.ID = Record[0];
4823       Unresolved.Kind = UnresolvedModuleRef::Conflict;
4824       Unresolved.IsWildcard = false;
4825       Unresolved.String = Blob;
4826       UnresolvedModuleRefs.push_back(Unresolved);
4827       break;
4828     }
4829
4830     case SUBMODULE_INITIALIZERS:
4831       SmallVector<uint32_t, 16> Inits;
4832       for (auto &ID : Record)
4833         Inits.push_back(getGlobalDeclID(F, ID));
4834       Context.addLazyModuleInitializers(CurrentModule, Inits);
4835       break;
4836     }
4837   }
4838 }
4839
4840 /// \brief Parse the record that corresponds to a LangOptions data
4841 /// structure.
4842 ///
4843 /// This routine parses the language options from the AST file and then gives
4844 /// them to the AST listener if one is set.
4845 ///
4846 /// \returns true if the listener deems the file unacceptable, false otherwise.
4847 bool ASTReader::ParseLanguageOptions(const RecordData &Record,
4848                                      bool Complain,
4849                                      ASTReaderListener &Listener,
4850                                      bool AllowCompatibleDifferences) {
4851   LangOptions LangOpts;
4852   unsigned Idx = 0;
4853 #define LANGOPT(Name, Bits, Default, Description) \
4854   LangOpts.Name = Record[Idx++];
4855 #define ENUM_LANGOPT(Name, Type, Bits, Default, Description) \
4856   LangOpts.set##Name(static_cast<LangOptions::Type>(Record[Idx++]));
4857 #include "clang/Basic/LangOptions.def"
4858 #define SANITIZER(NAME, ID)                                                    \
4859   LangOpts.Sanitize.set(SanitizerKind::ID, Record[Idx++]);
4860 #include "clang/Basic/Sanitizers.def"
4861
4862   for (unsigned N = Record[Idx++]; N; --N)
4863     LangOpts.ModuleFeatures.push_back(ReadString(Record, Idx));
4864
4865   ObjCRuntime::Kind runtimeKind = (ObjCRuntime::Kind) Record[Idx++];
4866   VersionTuple runtimeVersion = ReadVersionTuple(Record, Idx);
4867   LangOpts.ObjCRuntime = ObjCRuntime(runtimeKind, runtimeVersion);
4868
4869   LangOpts.CurrentModule = ReadString(Record, Idx);
4870
4871   // Comment options.
4872   for (unsigned N = Record[Idx++]; N; --N) {
4873     LangOpts.CommentOpts.BlockCommandNames.push_back(
4874       ReadString(Record, Idx));
4875   }
4876   LangOpts.CommentOpts.ParseAllComments = Record[Idx++];
4877
4878   // OpenMP offloading options.
4879   for (unsigned N = Record[Idx++]; N; --N) {
4880     LangOpts.OMPTargetTriples.push_back(llvm::Triple(ReadString(Record, Idx)));
4881   }
4882
4883   LangOpts.OMPHostIRFile = ReadString(Record, Idx);
4884
4885   return Listener.ReadLanguageOptions(LangOpts, Complain,
4886                                       AllowCompatibleDifferences);
4887 }
4888
4889 bool ASTReader::ParseTargetOptions(const RecordData &Record, bool Complain,
4890                                    ASTReaderListener &Listener,
4891                                    bool AllowCompatibleDifferences) {
4892   unsigned Idx = 0;
4893   TargetOptions TargetOpts;
4894   TargetOpts.Triple = ReadString(Record, Idx);
4895   TargetOpts.CPU = ReadString(Record, Idx);
4896   TargetOpts.ABI = ReadString(Record, Idx);
4897   for (unsigned N = Record[Idx++]; N; --N) {
4898     TargetOpts.FeaturesAsWritten.push_back(ReadString(Record, Idx));
4899   }
4900   for (unsigned N = Record[Idx++]; N; --N) {
4901     TargetOpts.Features.push_back(ReadString(Record, Idx));
4902   }
4903
4904   return Listener.ReadTargetOptions(TargetOpts, Complain,
4905                                     AllowCompatibleDifferences);
4906 }
4907
4908 bool ASTReader::ParseDiagnosticOptions(const RecordData &Record, bool Complain,
4909                                        ASTReaderListener &Listener) {
4910   IntrusiveRefCntPtr<DiagnosticOptions> DiagOpts(new DiagnosticOptions);
4911   unsigned Idx = 0;
4912 #define DIAGOPT(Name, Bits, Default) DiagOpts->Name = Record[Idx++];
4913 #define ENUM_DIAGOPT(Name, Type, Bits, Default) \
4914   DiagOpts->set##Name(static_cast<Type>(Record[Idx++]));
4915 #include "clang/Basic/DiagnosticOptions.def"
4916
4917   for (unsigned N = Record[Idx++]; N; --N)
4918     DiagOpts->Warnings.push_back(ReadString(Record, Idx));
4919   for (unsigned N = Record[Idx++]; N; --N)
4920     DiagOpts->Remarks.push_back(ReadString(Record, Idx));
4921
4922   return Listener.ReadDiagnosticOptions(DiagOpts, Complain);
4923 }
4924
4925 bool ASTReader::ParseFileSystemOptions(const RecordData &Record, bool Complain,
4926                                        ASTReaderListener &Listener) {
4927   FileSystemOptions FSOpts;
4928   unsigned Idx = 0;
4929   FSOpts.WorkingDir = ReadString(Record, Idx);
4930   return Listener.ReadFileSystemOptions(FSOpts, Complain);
4931 }
4932
4933 bool ASTReader::ParseHeaderSearchOptions(const RecordData &Record,
4934                                          bool Complain,
4935                                          ASTReaderListener &Listener) {
4936   HeaderSearchOptions HSOpts;
4937   unsigned Idx = 0;
4938   HSOpts.Sysroot = ReadString(Record, Idx);
4939
4940   // Include entries.
4941   for (unsigned N = Record[Idx++]; N; --N) {
4942     std::string Path = ReadString(Record, Idx);
4943     frontend::IncludeDirGroup Group
4944       = static_cast<frontend::IncludeDirGroup>(Record[Idx++]);
4945     bool IsFramework = Record[Idx++];
4946     bool IgnoreSysRoot = Record[Idx++];
4947     HSOpts.UserEntries.emplace_back(std::move(Path), Group, IsFramework,
4948                                     IgnoreSysRoot);
4949   }
4950
4951   // System header prefixes.
4952   for (unsigned N = Record[Idx++]; N; --N) {
4953     std::string Prefix = ReadString(Record, Idx);
4954     bool IsSystemHeader = Record[Idx++];
4955     HSOpts.SystemHeaderPrefixes.emplace_back(std::move(Prefix), IsSystemHeader);
4956   }
4957
4958   HSOpts.ResourceDir = ReadString(Record, Idx);
4959   HSOpts.ModuleCachePath = ReadString(Record, Idx);
4960   HSOpts.ModuleUserBuildPath = ReadString(Record, Idx);
4961   HSOpts.DisableModuleHash = Record[Idx++];
4962   HSOpts.UseBuiltinIncludes = Record[Idx++];
4963   HSOpts.UseStandardSystemIncludes = Record[Idx++];
4964   HSOpts.UseStandardCXXIncludes = Record[Idx++];
4965   HSOpts.UseLibcxx = Record[Idx++];
4966   std::string SpecificModuleCachePath = ReadString(Record, Idx);
4967
4968   return Listener.ReadHeaderSearchOptions(HSOpts, SpecificModuleCachePath,
4969                                           Complain);
4970 }
4971
4972 bool ASTReader::ParsePreprocessorOptions(const RecordData &Record,
4973                                          bool Complain,
4974                                          ASTReaderListener &Listener,
4975                                          std::string &SuggestedPredefines) {
4976   PreprocessorOptions PPOpts;
4977   unsigned Idx = 0;
4978
4979   // Macro definitions/undefs
4980   for (unsigned N = Record[Idx++]; N; --N) {
4981     std::string Macro = ReadString(Record, Idx);
4982     bool IsUndef = Record[Idx++];
4983     PPOpts.Macros.push_back(std::make_pair(Macro, IsUndef));
4984   }
4985
4986   // Includes
4987   for (unsigned N = Record[Idx++]; N; --N) {
4988     PPOpts.Includes.push_back(ReadString(Record, Idx));
4989   }
4990
4991   // Macro Includes
4992   for (unsigned N = Record[Idx++]; N; --N) {
4993     PPOpts.MacroIncludes.push_back(ReadString(Record, Idx));
4994   }
4995
4996   PPOpts.UsePredefines = Record[Idx++];
4997   PPOpts.DetailedRecord = Record[Idx++];
4998   PPOpts.ImplicitPCHInclude = ReadString(Record, Idx);
4999   PPOpts.ImplicitPTHInclude = ReadString(Record, Idx);
5000   PPOpts.ObjCXXARCStandardLibrary =
5001     static_cast<ObjCXXARCStandardLibraryKind>(Record[Idx++]);
5002   SuggestedPredefines.clear();
5003   return Listener.ReadPreprocessorOptions(PPOpts, Complain,
5004                                           SuggestedPredefines);
5005 }
5006
5007 std::pair<ModuleFile *, unsigned>
5008 ASTReader::getModulePreprocessedEntity(unsigned GlobalIndex) {
5009   GlobalPreprocessedEntityMapType::iterator
5010   I = GlobalPreprocessedEntityMap.find(GlobalIndex);
5011   assert(I != GlobalPreprocessedEntityMap.end() &&
5012          "Corrupted global preprocessed entity map");
5013   ModuleFile *M = I->second;
5014   unsigned LocalIndex = GlobalIndex - M->BasePreprocessedEntityID;
5015   return std::make_pair(M, LocalIndex);
5016 }
5017
5018 llvm::iterator_range<PreprocessingRecord::iterator>
5019 ASTReader::getModulePreprocessedEntities(ModuleFile &Mod) const {
5020   if (PreprocessingRecord *PPRec = PP.getPreprocessingRecord())
5021     return PPRec->getIteratorsForLoadedRange(Mod.BasePreprocessedEntityID,
5022                                              Mod.NumPreprocessedEntities);
5023
5024   return llvm::make_range(PreprocessingRecord::iterator(),
5025                           PreprocessingRecord::iterator());
5026 }
5027
5028 llvm::iterator_range<ASTReader::ModuleDeclIterator>
5029 ASTReader::getModuleFileLevelDecls(ModuleFile &Mod) {
5030   return llvm::make_range(
5031       ModuleDeclIterator(this, &Mod, Mod.FileSortedDecls),
5032       ModuleDeclIterator(this, &Mod,
5033                          Mod.FileSortedDecls + Mod.NumFileSortedDecls));
5034 }
5035
5036 PreprocessedEntity *ASTReader::ReadPreprocessedEntity(unsigned Index) {
5037   PreprocessedEntityID PPID = Index+1;
5038   std::pair<ModuleFile *, unsigned> PPInfo = getModulePreprocessedEntity(Index);
5039   ModuleFile &M = *PPInfo.first;
5040   unsigned LocalIndex = PPInfo.second;
5041   const PPEntityOffset &PPOffs = M.PreprocessedEntityOffsets[LocalIndex];
5042
5043   if (!PP.getPreprocessingRecord()) {
5044     Error("no preprocessing record");
5045     return nullptr;
5046   }
5047
5048   SavedStreamPosition SavedPosition(M.PreprocessorDetailCursor);
5049   M.PreprocessorDetailCursor.JumpToBit(PPOffs.BitOffset);
5050
5051   llvm::BitstreamEntry Entry =
5052     M.PreprocessorDetailCursor.advance(BitstreamCursor::AF_DontPopBlockAtEnd);
5053   if (Entry.Kind != llvm::BitstreamEntry::Record)
5054     return nullptr;
5055
5056   // Read the record.
5057   SourceRange Range(TranslateSourceLocation(M, PPOffs.getBegin()),
5058                     TranslateSourceLocation(M, PPOffs.getEnd()));
5059   PreprocessingRecord &PPRec = *PP.getPreprocessingRecord();
5060   StringRef Blob;
5061   RecordData Record;
5062   PreprocessorDetailRecordTypes RecType =
5063     (PreprocessorDetailRecordTypes)M.PreprocessorDetailCursor.readRecord(
5064                                           Entry.ID, Record, &Blob);
5065   switch (RecType) {
5066   case PPD_MACRO_EXPANSION: {
5067     bool isBuiltin = Record[0];
5068     IdentifierInfo *Name = nullptr;
5069     MacroDefinitionRecord *Def = nullptr;
5070     if (isBuiltin)
5071       Name = getLocalIdentifier(M, Record[1]);
5072     else {
5073       PreprocessedEntityID GlobalID =
5074           getGlobalPreprocessedEntityID(M, Record[1]);
5075       Def = cast<MacroDefinitionRecord>(
5076           PPRec.getLoadedPreprocessedEntity(GlobalID - 1));
5077     }
5078
5079     MacroExpansion *ME;
5080     if (isBuiltin)
5081       ME = new (PPRec) MacroExpansion(Name, Range);
5082     else
5083       ME = new (PPRec) MacroExpansion(Def, Range);
5084
5085     return ME;
5086   }
5087
5088   case PPD_MACRO_DEFINITION: {
5089     // Decode the identifier info and then check again; if the macro is
5090     // still defined and associated with the identifier,
5091     IdentifierInfo *II = getLocalIdentifier(M, Record[0]);
5092     MacroDefinitionRecord *MD = new (PPRec) MacroDefinitionRecord(II, Range);
5093
5094     if (DeserializationListener)
5095       DeserializationListener->MacroDefinitionRead(PPID, MD);
5096
5097     return MD;
5098   }
5099
5100   case PPD_INCLUSION_DIRECTIVE: {
5101     const char *FullFileNameStart = Blob.data() + Record[0];
5102     StringRef FullFileName(FullFileNameStart, Blob.size() - Record[0]);
5103     const FileEntry *File = nullptr;
5104     if (!FullFileName.empty())
5105       File = PP.getFileManager().getFile(FullFileName);
5106
5107     // FIXME: Stable encoding
5108     InclusionDirective::InclusionKind Kind
5109       = static_cast<InclusionDirective::InclusionKind>(Record[2]);
5110     InclusionDirective *ID
5111       = new (PPRec) InclusionDirective(PPRec, Kind,
5112                                        StringRef(Blob.data(), Record[0]),
5113                                        Record[1], Record[3],
5114                                        File,
5115                                        Range);
5116     return ID;
5117   }
5118   }
5119
5120   llvm_unreachable("Invalid PreprocessorDetailRecordTypes");
5121 }
5122
5123 /// \brief \arg SLocMapI points at a chunk of a module that contains no
5124 /// preprocessed entities or the entities it contains are not the ones we are
5125 /// looking for. Find the next module that contains entities and return the ID
5126 /// of the first entry.
5127 PreprocessedEntityID ASTReader::findNextPreprocessedEntity(
5128                        GlobalSLocOffsetMapType::const_iterator SLocMapI) const {
5129   ++SLocMapI;
5130   for (GlobalSLocOffsetMapType::const_iterator
5131          EndI = GlobalSLocOffsetMap.end(); SLocMapI != EndI; ++SLocMapI) {
5132     ModuleFile &M = *SLocMapI->second;
5133     if (M.NumPreprocessedEntities)
5134       return M.BasePreprocessedEntityID;
5135   }
5136
5137   return getTotalNumPreprocessedEntities();
5138 }
5139
5140 namespace {
5141
5142 struct PPEntityComp {
5143   const ASTReader &Reader;
5144   ModuleFile &M;
5145
5146   PPEntityComp(const ASTReader &Reader, ModuleFile &M) : Reader(Reader), M(M) { }
5147
5148   bool operator()(const PPEntityOffset &L, const PPEntityOffset &R) const {
5149     SourceLocation LHS = getLoc(L);
5150     SourceLocation RHS = getLoc(R);
5151     return Reader.getSourceManager().isBeforeInTranslationUnit(LHS, RHS);
5152   }
5153
5154   bool operator()(const PPEntityOffset &L, SourceLocation RHS) const {
5155     SourceLocation LHS = getLoc(L);
5156     return Reader.getSourceManager().isBeforeInTranslationUnit(LHS, RHS);
5157   }
5158
5159   bool operator()(SourceLocation LHS, const PPEntityOffset &R) const {
5160     SourceLocation RHS = getLoc(R);
5161     return Reader.getSourceManager().isBeforeInTranslationUnit(LHS, RHS);
5162   }
5163
5164   SourceLocation getLoc(const PPEntityOffset &PPE) const {
5165     return Reader.TranslateSourceLocation(M, PPE.getBegin());
5166   }
5167 };
5168
5169 } // end anonymous namespace
5170
5171 PreprocessedEntityID ASTReader::findPreprocessedEntity(SourceLocation Loc,
5172                                                        bool EndsAfter) const {
5173   if (SourceMgr.isLocalSourceLocation(Loc))
5174     return getTotalNumPreprocessedEntities();
5175
5176   GlobalSLocOffsetMapType::const_iterator SLocMapI = GlobalSLocOffsetMap.find(
5177       SourceManager::MaxLoadedOffset - Loc.getOffset() - 1);
5178   assert(SLocMapI != GlobalSLocOffsetMap.end() &&
5179          "Corrupted global sloc offset map");
5180
5181   if (SLocMapI->second->NumPreprocessedEntities == 0)
5182     return findNextPreprocessedEntity(SLocMapI);
5183
5184   ModuleFile &M = *SLocMapI->second;
5185   typedef const PPEntityOffset *pp_iterator;
5186   pp_iterator pp_begin = M.PreprocessedEntityOffsets;
5187   pp_iterator pp_end = pp_begin + M.NumPreprocessedEntities;
5188
5189   size_t Count = M.NumPreprocessedEntities;
5190   size_t Half;
5191   pp_iterator First = pp_begin;
5192   pp_iterator PPI;
5193
5194   if (EndsAfter) {
5195     PPI = std::upper_bound(pp_begin, pp_end, Loc,
5196                            PPEntityComp(*this, M));
5197   } else {
5198     // Do a binary search manually instead of using std::lower_bound because
5199     // The end locations of entities may be unordered (when a macro expansion
5200     // is inside another macro argument), but for this case it is not important
5201     // whether we get the first macro expansion or its containing macro.
5202     while (Count > 0) {
5203       Half = Count / 2;
5204       PPI = First;
5205       std::advance(PPI, Half);
5206       if (SourceMgr.isBeforeInTranslationUnit(
5207               TranslateSourceLocation(M, PPI->getEnd()), Loc)) {
5208         First = PPI;
5209         ++First;
5210         Count = Count - Half - 1;
5211       } else
5212         Count = Half;
5213     }
5214   }
5215
5216   if (PPI == pp_end)
5217     return findNextPreprocessedEntity(SLocMapI);
5218
5219   return M.BasePreprocessedEntityID + (PPI - pp_begin);
5220 }
5221
5222 /// \brief Returns a pair of [Begin, End) indices of preallocated
5223 /// preprocessed entities that \arg Range encompasses.
5224 std::pair<unsigned, unsigned>
5225     ASTReader::findPreprocessedEntitiesInRange(SourceRange Range) {
5226   if (Range.isInvalid())
5227     return std::make_pair(0,0);
5228   assert(!SourceMgr.isBeforeInTranslationUnit(Range.getEnd(),Range.getBegin()));
5229
5230   PreprocessedEntityID BeginID =
5231       findPreprocessedEntity(Range.getBegin(), false);
5232   PreprocessedEntityID EndID = findPreprocessedEntity(Range.getEnd(), true);
5233   return std::make_pair(BeginID, EndID);
5234 }
5235
5236 /// \brief Optionally returns true or false if the preallocated preprocessed
5237 /// entity with index \arg Index came from file \arg FID.
5238 Optional<bool> ASTReader::isPreprocessedEntityInFileID(unsigned Index,
5239                                                              FileID FID) {
5240   if (FID.isInvalid())
5241     return false;
5242
5243   std::pair<ModuleFile *, unsigned> PPInfo = getModulePreprocessedEntity(Index);
5244   ModuleFile &M = *PPInfo.first;
5245   unsigned LocalIndex = PPInfo.second;
5246   const PPEntityOffset &PPOffs = M.PreprocessedEntityOffsets[LocalIndex];
5247
5248   SourceLocation Loc = TranslateSourceLocation(M, PPOffs.getBegin());
5249   if (Loc.isInvalid())
5250     return false;
5251
5252   if (SourceMgr.isInFileID(SourceMgr.getFileLoc(Loc), FID))
5253     return true;
5254   else
5255     return false;
5256 }
5257
5258 namespace {
5259
5260   /// \brief Visitor used to search for information about a header file.
5261   class HeaderFileInfoVisitor {
5262     const FileEntry *FE;
5263
5264     Optional<HeaderFileInfo> HFI;
5265
5266   public:
5267     explicit HeaderFileInfoVisitor(const FileEntry *FE)
5268       : FE(FE) { }
5269
5270     bool operator()(ModuleFile &M) {
5271       HeaderFileInfoLookupTable *Table
5272         = static_cast<HeaderFileInfoLookupTable *>(M.HeaderFileInfoTable);
5273       if (!Table)
5274         return false;
5275
5276       // Look in the on-disk hash table for an entry for this file name.
5277       HeaderFileInfoLookupTable::iterator Pos = Table->find(FE);
5278       if (Pos == Table->end())
5279         return false;
5280
5281       HFI = *Pos;
5282       return true;
5283     }
5284
5285     Optional<HeaderFileInfo> getHeaderFileInfo() const { return HFI; }
5286   };
5287
5288 } // end anonymous namespace
5289
5290 HeaderFileInfo ASTReader::GetHeaderFileInfo(const FileEntry *FE) {
5291   HeaderFileInfoVisitor Visitor(FE);
5292   ModuleMgr.visit(Visitor);
5293   if (Optional<HeaderFileInfo> HFI = Visitor.getHeaderFileInfo())
5294     return *HFI;
5295
5296   return HeaderFileInfo();
5297 }
5298
5299 void ASTReader::ReadPragmaDiagnosticMappings(DiagnosticsEngine &Diag) {
5300   // FIXME: Make it work properly with modules.
5301   SmallVector<DiagnosticsEngine::DiagState *, 32> DiagStates;
5302   for (ModuleIterator I = ModuleMgr.begin(), E = ModuleMgr.end(); I != E; ++I) {
5303     ModuleFile &F = *(*I);
5304     unsigned Idx = 0;
5305     DiagStates.clear();
5306     assert(!Diag.DiagStates.empty());
5307     DiagStates.push_back(&Diag.DiagStates.front()); // the command-line one.
5308     while (Idx < F.PragmaDiagMappings.size()) {
5309       SourceLocation Loc = ReadSourceLocation(F, F.PragmaDiagMappings[Idx++]);
5310       unsigned DiagStateID = F.PragmaDiagMappings[Idx++];
5311       if (DiagStateID != 0) {
5312         Diag.DiagStatePoints.push_back(
5313                     DiagnosticsEngine::DiagStatePoint(DiagStates[DiagStateID-1],
5314                     FullSourceLoc(Loc, SourceMgr)));
5315         continue;
5316       }
5317
5318       assert(DiagStateID == 0);
5319       // A new DiagState was created here.
5320       Diag.DiagStates.push_back(*Diag.GetCurDiagState());
5321       DiagnosticsEngine::DiagState *NewState = &Diag.DiagStates.back();
5322       DiagStates.push_back(NewState);
5323       Diag.DiagStatePoints.push_back(
5324           DiagnosticsEngine::DiagStatePoint(NewState,
5325                                             FullSourceLoc(Loc, SourceMgr)));
5326       while (true) {
5327         assert(Idx < F.PragmaDiagMappings.size() &&
5328                "Invalid data, didn't find '-1' marking end of diag/map pairs");
5329         if (Idx >= F.PragmaDiagMappings.size()) {
5330           break; // Something is messed up but at least avoid infinite loop in
5331                  // release build.
5332         }
5333         unsigned DiagID = F.PragmaDiagMappings[Idx++];
5334         if (DiagID == (unsigned)-1) {
5335           break; // no more diag/map pairs for this location.
5336         }
5337         diag::Severity Map = (diag::Severity)F.PragmaDiagMappings[Idx++];
5338         DiagnosticMapping Mapping = Diag.makeUserMapping(Map, Loc);
5339         Diag.GetCurDiagState()->setMapping(DiagID, Mapping);
5340       }
5341     }
5342   }
5343 }
5344
5345 /// \brief Get the correct cursor and offset for loading a type.
5346 ASTReader::RecordLocation ASTReader::TypeCursorForIndex(unsigned Index) {
5347   GlobalTypeMapType::iterator I = GlobalTypeMap.find(Index);
5348   assert(I != GlobalTypeMap.end() && "Corrupted global type map");
5349   ModuleFile *M = I->second;
5350   return RecordLocation(M, M->TypeOffsets[Index - M->BaseTypeIndex]);
5351 }
5352
5353 /// \brief Read and return the type with the given index..
5354 ///
5355 /// The index is the type ID, shifted and minus the number of predefs. This
5356 /// routine actually reads the record corresponding to the type at the given
5357 /// location. It is a helper routine for GetType, which deals with reading type
5358 /// IDs.
5359 QualType ASTReader::readTypeRecord(unsigned Index) {
5360   RecordLocation Loc = TypeCursorForIndex(Index);
5361   BitstreamCursor &DeclsCursor = Loc.F->DeclsCursor;
5362
5363   // Keep track of where we are in the stream, then jump back there
5364   // after reading this type.
5365   SavedStreamPosition SavedPosition(DeclsCursor);
5366
5367   ReadingKindTracker ReadingKind(Read_Type, *this);
5368
5369   // Note that we are loading a type record.
5370   Deserializing AType(this);
5371
5372   unsigned Idx = 0;
5373   DeclsCursor.JumpToBit(Loc.Offset);
5374   RecordData Record;
5375   unsigned Code = DeclsCursor.ReadCode();
5376   switch ((TypeCode)DeclsCursor.readRecord(Code, Record)) {
5377   case TYPE_EXT_QUAL: {
5378     if (Record.size() != 2) {
5379       Error("Incorrect encoding of extended qualifier type");
5380       return QualType();
5381     }
5382     QualType Base = readType(*Loc.F, Record, Idx);
5383     Qualifiers Quals = Qualifiers::fromOpaqueValue(Record[Idx++]);
5384     return Context.getQualifiedType(Base, Quals);
5385   }
5386
5387   case TYPE_COMPLEX: {
5388     if (Record.size() != 1) {
5389       Error("Incorrect encoding of complex type");
5390       return QualType();
5391     }
5392     QualType ElemType = readType(*Loc.F, Record, Idx);
5393     return Context.getComplexType(ElemType);
5394   }
5395
5396   case TYPE_POINTER: {
5397     if (Record.size() != 1) {
5398       Error("Incorrect encoding of pointer type");
5399       return QualType();
5400     }
5401     QualType PointeeType = readType(*Loc.F, Record, Idx);
5402     return Context.getPointerType(PointeeType);
5403   }
5404
5405   case TYPE_DECAYED: {
5406     if (Record.size() != 1) {
5407       Error("Incorrect encoding of decayed type");
5408       return QualType();
5409     }
5410     QualType OriginalType = readType(*Loc.F, Record, Idx);
5411     QualType DT = Context.getAdjustedParameterType(OriginalType);
5412     if (!isa<DecayedType>(DT))
5413       Error("Decayed type does not decay");
5414     return DT;
5415   }
5416
5417   case TYPE_ADJUSTED: {
5418     if (Record.size() != 2) {
5419       Error("Incorrect encoding of adjusted type");
5420       return QualType();
5421     }
5422     QualType OriginalTy = readType(*Loc.F, Record, Idx);
5423     QualType AdjustedTy = readType(*Loc.F, Record, Idx);
5424     return Context.getAdjustedType(OriginalTy, AdjustedTy);
5425   }
5426
5427   case TYPE_BLOCK_POINTER: {
5428     if (Record.size() != 1) {
5429       Error("Incorrect encoding of block pointer type");
5430       return QualType();
5431     }
5432     QualType PointeeType = readType(*Loc.F, Record, Idx);
5433     return Context.getBlockPointerType(PointeeType);
5434   }
5435
5436   case TYPE_LVALUE_REFERENCE: {
5437     if (Record.size() != 2) {
5438       Error("Incorrect encoding of lvalue reference type");
5439       return QualType();
5440     }
5441     QualType PointeeType = readType(*Loc.F, Record, Idx);
5442     return Context.getLValueReferenceType(PointeeType, Record[1]);
5443   }
5444
5445   case TYPE_RVALUE_REFERENCE: {
5446     if (Record.size() != 1) {
5447       Error("Incorrect encoding of rvalue reference type");
5448       return QualType();
5449     }
5450     QualType PointeeType = readType(*Loc.F, Record, Idx);
5451     return Context.getRValueReferenceType(PointeeType);
5452   }
5453
5454   case TYPE_MEMBER_POINTER: {
5455     if (Record.size() != 2) {
5456       Error("Incorrect encoding of member pointer type");
5457       return QualType();
5458     }
5459     QualType PointeeType = readType(*Loc.F, Record, Idx);
5460     QualType ClassType = readType(*Loc.F, Record, Idx);
5461     if (PointeeType.isNull() || ClassType.isNull())
5462       return QualType();
5463
5464     return Context.getMemberPointerType(PointeeType, ClassType.getTypePtr());
5465   }
5466
5467   case TYPE_CONSTANT_ARRAY: {
5468     QualType ElementType = readType(*Loc.F, Record, Idx);
5469     ArrayType::ArraySizeModifier ASM = (ArrayType::ArraySizeModifier)Record[1];
5470     unsigned IndexTypeQuals = Record[2];
5471     unsigned Idx = 3;
5472     llvm::APInt Size = ReadAPInt(Record, Idx);
5473     return Context.getConstantArrayType(ElementType, Size,
5474                                          ASM, IndexTypeQuals);
5475   }
5476
5477   case TYPE_INCOMPLETE_ARRAY: {
5478     QualType ElementType = readType(*Loc.F, Record, Idx);
5479     ArrayType::ArraySizeModifier ASM = (ArrayType::ArraySizeModifier)Record[1];
5480     unsigned IndexTypeQuals = Record[2];
5481     return Context.getIncompleteArrayType(ElementType, ASM, IndexTypeQuals);
5482   }
5483
5484   case TYPE_VARIABLE_ARRAY: {
5485     QualType ElementType = readType(*Loc.F, Record, Idx);
5486     ArrayType::ArraySizeModifier ASM = (ArrayType::ArraySizeModifier)Record[1];
5487     unsigned IndexTypeQuals = Record[2];
5488     SourceLocation LBLoc = ReadSourceLocation(*Loc.F, Record[3]);
5489     SourceLocation RBLoc = ReadSourceLocation(*Loc.F, Record[4]);
5490     return Context.getVariableArrayType(ElementType, ReadExpr(*Loc.F),
5491                                          ASM, IndexTypeQuals,
5492                                          SourceRange(LBLoc, RBLoc));
5493   }
5494
5495   case TYPE_VECTOR: {
5496     if (Record.size() != 3) {
5497       Error("incorrect encoding of vector type in AST file");
5498       return QualType();
5499     }
5500
5501     QualType ElementType = readType(*Loc.F, Record, Idx);
5502     unsigned NumElements = Record[1];
5503     unsigned VecKind = Record[2];
5504     return Context.getVectorType(ElementType, NumElements,
5505                                   (VectorType::VectorKind)VecKind);
5506   }
5507
5508   case TYPE_EXT_VECTOR: {
5509     if (Record.size() != 3) {
5510       Error("incorrect encoding of extended vector type in AST file");
5511       return QualType();
5512     }
5513
5514     QualType ElementType = readType(*Loc.F, Record, Idx);
5515     unsigned NumElements = Record[1];
5516     return Context.getExtVectorType(ElementType, NumElements);
5517   }
5518
5519   case TYPE_FUNCTION_NO_PROTO: {
5520     if (Record.size() != 6) {
5521       Error("incorrect encoding of no-proto function type");
5522       return QualType();
5523     }
5524     QualType ResultType = readType(*Loc.F, Record, Idx);
5525     FunctionType::ExtInfo Info(Record[1], Record[2], Record[3],
5526                                (CallingConv)Record[4], Record[5]);
5527     return Context.getFunctionNoProtoType(ResultType, Info);
5528   }
5529
5530   case TYPE_FUNCTION_PROTO: {
5531     QualType ResultType = readType(*Loc.F, Record, Idx);
5532
5533     FunctionProtoType::ExtProtoInfo EPI;
5534     EPI.ExtInfo = FunctionType::ExtInfo(/*noreturn*/ Record[1],
5535                                         /*hasregparm*/ Record[2],
5536                                         /*regparm*/ Record[3],
5537                                         static_cast<CallingConv>(Record[4]),
5538                                         /*produces*/ Record[5]);
5539
5540     unsigned Idx = 6;
5541
5542     EPI.Variadic = Record[Idx++];
5543     EPI.HasTrailingReturn = Record[Idx++];
5544     EPI.TypeQuals = Record[Idx++];
5545     EPI.RefQualifier = static_cast<RefQualifierKind>(Record[Idx++]);
5546     SmallVector<QualType, 8> ExceptionStorage;
5547     readExceptionSpec(*Loc.F, ExceptionStorage, EPI.ExceptionSpec, Record, Idx);
5548
5549     unsigned NumParams = Record[Idx++];
5550     SmallVector<QualType, 16> ParamTypes;
5551     for (unsigned I = 0; I != NumParams; ++I)
5552       ParamTypes.push_back(readType(*Loc.F, Record, Idx));
5553
5554     SmallVector<FunctionProtoType::ExtParameterInfo, 4> ExtParameterInfos;
5555     if (Idx != Record.size()) {
5556       for (unsigned I = 0; I != NumParams; ++I)
5557         ExtParameterInfos.push_back(
5558           FunctionProtoType::ExtParameterInfo
5559                            ::getFromOpaqueValue(Record[Idx++]));
5560       EPI.ExtParameterInfos = ExtParameterInfos.data();
5561     }
5562
5563     assert(Idx == Record.size());
5564
5565     return Context.getFunctionType(ResultType, ParamTypes, EPI);
5566   }
5567
5568   case TYPE_UNRESOLVED_USING: {
5569     unsigned Idx = 0;
5570     return Context.getTypeDeclType(
5571                   ReadDeclAs<UnresolvedUsingTypenameDecl>(*Loc.F, Record, Idx));
5572   }
5573
5574   case TYPE_TYPEDEF: {
5575     if (Record.size() != 2) {
5576       Error("incorrect encoding of typedef type");
5577       return QualType();
5578     }
5579     unsigned Idx = 0;
5580     TypedefNameDecl *Decl = ReadDeclAs<TypedefNameDecl>(*Loc.F, Record, Idx);
5581     QualType Canonical = readType(*Loc.F, Record, Idx);
5582     if (!Canonical.isNull())
5583       Canonical = Context.getCanonicalType(Canonical);
5584     return Context.getTypedefType(Decl, Canonical);
5585   }
5586
5587   case TYPE_TYPEOF_EXPR:
5588     return Context.getTypeOfExprType(ReadExpr(*Loc.F));
5589
5590   case TYPE_TYPEOF: {
5591     if (Record.size() != 1) {
5592       Error("incorrect encoding of typeof(type) in AST file");
5593       return QualType();
5594     }
5595     QualType UnderlyingType = readType(*Loc.F, Record, Idx);
5596     return Context.getTypeOfType(UnderlyingType);
5597   }
5598
5599   case TYPE_DECLTYPE: {
5600     QualType UnderlyingType = readType(*Loc.F, Record, Idx);
5601     return Context.getDecltypeType(ReadExpr(*Loc.F), UnderlyingType);
5602   }
5603
5604   case TYPE_UNARY_TRANSFORM: {
5605     QualType BaseType = readType(*Loc.F, Record, Idx);
5606     QualType UnderlyingType = readType(*Loc.F, Record, Idx);
5607     UnaryTransformType::UTTKind UKind = (UnaryTransformType::UTTKind)Record[2];
5608     return Context.getUnaryTransformType(BaseType, UnderlyingType, UKind);
5609   }
5610
5611   case TYPE_AUTO: {
5612     QualType Deduced = readType(*Loc.F, Record, Idx);
5613     AutoTypeKeyword Keyword = (AutoTypeKeyword)Record[Idx++];
5614     bool IsDependent = Deduced.isNull() ? Record[Idx++] : false;
5615     return Context.getAutoType(Deduced, Keyword, IsDependent);
5616   }
5617
5618   case TYPE_RECORD: {
5619     if (Record.size() != 2) {
5620       Error("incorrect encoding of record type");
5621       return QualType();
5622     }
5623     unsigned Idx = 0;
5624     bool IsDependent = Record[Idx++];
5625     RecordDecl *RD = ReadDeclAs<RecordDecl>(*Loc.F, Record, Idx);
5626     RD = cast_or_null<RecordDecl>(RD->getCanonicalDecl());
5627     QualType T = Context.getRecordType(RD);
5628     const_cast<Type*>(T.getTypePtr())->setDependent(IsDependent);
5629     return T;
5630   }
5631
5632   case TYPE_ENUM: {
5633     if (Record.size() != 2) {
5634       Error("incorrect encoding of enum type");
5635       return QualType();
5636     }
5637     unsigned Idx = 0;
5638     bool IsDependent = Record[Idx++];
5639     QualType T
5640       = Context.getEnumType(ReadDeclAs<EnumDecl>(*Loc.F, Record, Idx));
5641     const_cast<Type*>(T.getTypePtr())->setDependent(IsDependent);
5642     return T;
5643   }
5644
5645   case TYPE_ATTRIBUTED: {
5646     if (Record.size() != 3) {
5647       Error("incorrect encoding of attributed type");
5648       return QualType();
5649     }
5650     QualType modifiedType = readType(*Loc.F, Record, Idx);
5651     QualType equivalentType = readType(*Loc.F, Record, Idx);
5652     AttributedType::Kind kind = static_cast<AttributedType::Kind>(Record[2]);
5653     return Context.getAttributedType(kind, modifiedType, equivalentType);
5654   }
5655
5656   case TYPE_PAREN: {
5657     if (Record.size() != 1) {
5658       Error("incorrect encoding of paren type");
5659       return QualType();
5660     }
5661     QualType InnerType = readType(*Loc.F, Record, Idx);
5662     return Context.getParenType(InnerType);
5663   }
5664
5665   case TYPE_PACK_EXPANSION: {
5666     if (Record.size() != 2) {
5667       Error("incorrect encoding of pack expansion type");
5668       return QualType();
5669     }
5670     QualType Pattern = readType(*Loc.F, Record, Idx);
5671     if (Pattern.isNull())
5672       return QualType();
5673     Optional<unsigned> NumExpansions;
5674     if (Record[1])
5675       NumExpansions = Record[1] - 1;
5676     return Context.getPackExpansionType(Pattern, NumExpansions);
5677   }
5678
5679   case TYPE_ELABORATED: {
5680     unsigned Idx = 0;
5681     ElaboratedTypeKeyword Keyword = (ElaboratedTypeKeyword)Record[Idx++];
5682     NestedNameSpecifier *NNS = ReadNestedNameSpecifier(*Loc.F, Record, Idx);
5683     QualType NamedType = readType(*Loc.F, Record, Idx);
5684     return Context.getElaboratedType(Keyword, NNS, NamedType);
5685   }
5686
5687   case TYPE_OBJC_INTERFACE: {
5688     unsigned Idx = 0;
5689     ObjCInterfaceDecl *ItfD
5690       = ReadDeclAs<ObjCInterfaceDecl>(*Loc.F, Record, Idx);
5691     return Context.getObjCInterfaceType(ItfD->getCanonicalDecl());
5692   }
5693
5694   case TYPE_OBJC_TYPE_PARAM: {
5695     unsigned Idx = 0;
5696     ObjCTypeParamDecl *Decl
5697       = ReadDeclAs<ObjCTypeParamDecl>(*Loc.F, Record, Idx);
5698     unsigned NumProtos = Record[Idx++];
5699     SmallVector<ObjCProtocolDecl*, 4> Protos;
5700     for (unsigned I = 0; I != NumProtos; ++I)
5701       Protos.push_back(ReadDeclAs<ObjCProtocolDecl>(*Loc.F, Record, Idx));
5702     return Context.getObjCTypeParamType(Decl, Protos);
5703   }
5704   case TYPE_OBJC_OBJECT: {
5705     unsigned Idx = 0;
5706     QualType Base = readType(*Loc.F, Record, Idx);
5707     unsigned NumTypeArgs = Record[Idx++];
5708     SmallVector<QualType, 4> TypeArgs;
5709     for (unsigned I = 0; I != NumTypeArgs; ++I)
5710       TypeArgs.push_back(readType(*Loc.F, Record, Idx));
5711     unsigned NumProtos = Record[Idx++];
5712     SmallVector<ObjCProtocolDecl*, 4> Protos;
5713     for (unsigned I = 0; I != NumProtos; ++I)
5714       Protos.push_back(ReadDeclAs<ObjCProtocolDecl>(*Loc.F, Record, Idx));
5715     bool IsKindOf = Record[Idx++];
5716     return Context.getObjCObjectType(Base, TypeArgs, Protos, IsKindOf);
5717   }
5718
5719   case TYPE_OBJC_OBJECT_POINTER: {
5720     unsigned Idx = 0;
5721     QualType Pointee = readType(*Loc.F, Record, Idx);
5722     return Context.getObjCObjectPointerType(Pointee);
5723   }
5724
5725   case TYPE_SUBST_TEMPLATE_TYPE_PARM: {
5726     unsigned Idx = 0;
5727     QualType Parm = readType(*Loc.F, Record, Idx);
5728     QualType Replacement = readType(*Loc.F, Record, Idx);
5729     return Context.getSubstTemplateTypeParmType(
5730         cast<TemplateTypeParmType>(Parm),
5731         Context.getCanonicalType(Replacement));
5732   }
5733
5734   case TYPE_SUBST_TEMPLATE_TYPE_PARM_PACK: {
5735     unsigned Idx = 0;
5736     QualType Parm = readType(*Loc.F, Record, Idx);
5737     TemplateArgument ArgPack = ReadTemplateArgument(*Loc.F, Record, Idx);
5738     return Context.getSubstTemplateTypeParmPackType(
5739                                                cast<TemplateTypeParmType>(Parm),
5740                                                      ArgPack);
5741   }
5742
5743   case TYPE_INJECTED_CLASS_NAME: {
5744     CXXRecordDecl *D = ReadDeclAs<CXXRecordDecl>(*Loc.F, Record, Idx);
5745     QualType TST = readType(*Loc.F, Record, Idx); // probably derivable
5746     // FIXME: ASTContext::getInjectedClassNameType is not currently suitable
5747     // for AST reading, too much interdependencies.
5748     const Type *T = nullptr;
5749     for (auto *DI = D; DI; DI = DI->getPreviousDecl()) {
5750       if (const Type *Existing = DI->getTypeForDecl()) {
5751         T = Existing;
5752         break;
5753       }
5754     }
5755     if (!T) {
5756       T = new (Context, TypeAlignment) InjectedClassNameType(D, TST);
5757       for (auto *DI = D; DI; DI = DI->getPreviousDecl())
5758         DI->setTypeForDecl(T);
5759     }
5760     return QualType(T, 0);
5761   }
5762
5763   case TYPE_TEMPLATE_TYPE_PARM: {
5764     unsigned Idx = 0;
5765     unsigned Depth = Record[Idx++];
5766     unsigned Index = Record[Idx++];
5767     bool Pack = Record[Idx++];
5768     TemplateTypeParmDecl *D
5769       = ReadDeclAs<TemplateTypeParmDecl>(*Loc.F, Record, Idx);
5770     return Context.getTemplateTypeParmType(Depth, Index, Pack, D);
5771   }
5772
5773   case TYPE_DEPENDENT_NAME: {
5774     unsigned Idx = 0;
5775     ElaboratedTypeKeyword Keyword = (ElaboratedTypeKeyword)Record[Idx++];
5776     NestedNameSpecifier *NNS = ReadNestedNameSpecifier(*Loc.F, Record, Idx);
5777     const IdentifierInfo *Name = GetIdentifierInfo(*Loc.F, Record, Idx);
5778     QualType Canon = readType(*Loc.F, Record, Idx);
5779     if (!Canon.isNull())
5780       Canon = Context.getCanonicalType(Canon);
5781     return Context.getDependentNameType(Keyword, NNS, Name, Canon);
5782   }
5783
5784   case TYPE_DEPENDENT_TEMPLATE_SPECIALIZATION: {
5785     unsigned Idx = 0;
5786     ElaboratedTypeKeyword Keyword = (ElaboratedTypeKeyword)Record[Idx++];
5787     NestedNameSpecifier *NNS = ReadNestedNameSpecifier(*Loc.F, Record, Idx);
5788     const IdentifierInfo *Name = GetIdentifierInfo(*Loc.F, Record, Idx);
5789     unsigned NumArgs = Record[Idx++];
5790     SmallVector<TemplateArgument, 8> Args;
5791     Args.reserve(NumArgs);
5792     while (NumArgs--)
5793       Args.push_back(ReadTemplateArgument(*Loc.F, Record, Idx));
5794     return Context.getDependentTemplateSpecializationType(Keyword, NNS, Name,
5795                                                           Args);
5796   }
5797
5798   case TYPE_DEPENDENT_SIZED_ARRAY: {
5799     unsigned Idx = 0;
5800
5801     // ArrayType
5802     QualType ElementType = readType(*Loc.F, Record, Idx);
5803     ArrayType::ArraySizeModifier ASM
5804       = (ArrayType::ArraySizeModifier)Record[Idx++];
5805     unsigned IndexTypeQuals = Record[Idx++];
5806
5807     // DependentSizedArrayType
5808     Expr *NumElts = ReadExpr(*Loc.F);
5809     SourceRange Brackets = ReadSourceRange(*Loc.F, Record, Idx);
5810
5811     return Context.getDependentSizedArrayType(ElementType, NumElts, ASM,
5812                                                IndexTypeQuals, Brackets);
5813   }
5814
5815   case TYPE_TEMPLATE_SPECIALIZATION: {
5816     unsigned Idx = 0;
5817     bool IsDependent = Record[Idx++];
5818     TemplateName Name = ReadTemplateName(*Loc.F, Record, Idx);
5819     SmallVector<TemplateArgument, 8> Args;
5820     ReadTemplateArgumentList(Args, *Loc.F, Record, Idx);
5821     QualType Underlying = readType(*Loc.F, Record, Idx);
5822     QualType T;
5823     if (Underlying.isNull())
5824       T = Context.getCanonicalTemplateSpecializationType(Name, Args);
5825     else
5826       T = Context.getTemplateSpecializationType(Name, Args, Underlying);
5827     const_cast<Type*>(T.getTypePtr())->setDependent(IsDependent);
5828     return T;
5829   }
5830
5831   case TYPE_ATOMIC: {
5832     if (Record.size() != 1) {
5833       Error("Incorrect encoding of atomic type");
5834       return QualType();
5835     }
5836     QualType ValueType = readType(*Loc.F, Record, Idx);
5837     return Context.getAtomicType(ValueType);
5838   }
5839
5840   case TYPE_PIPE: {
5841     if (Record.size() != 2) {
5842       Error("Incorrect encoding of pipe type");
5843       return QualType();
5844     }
5845
5846     // Reading the pipe element type.
5847     QualType ElementType = readType(*Loc.F, Record, Idx);
5848     unsigned ReadOnly = Record[1];
5849     return Context.getPipeType(ElementType, ReadOnly);
5850   }
5851
5852   }
5853   llvm_unreachable("Invalid TypeCode!");
5854 }
5855
5856 void ASTReader::readExceptionSpec(ModuleFile &ModuleFile,
5857                                   SmallVectorImpl<QualType> &Exceptions,
5858                                   FunctionProtoType::ExceptionSpecInfo &ESI,
5859                                   const RecordData &Record, unsigned &Idx) {
5860   ExceptionSpecificationType EST =
5861       static_cast<ExceptionSpecificationType>(Record[Idx++]);
5862   ESI.Type = EST;
5863   if (EST == EST_Dynamic) {
5864     for (unsigned I = 0, N = Record[Idx++]; I != N; ++I)
5865       Exceptions.push_back(readType(ModuleFile, Record, Idx));
5866     ESI.Exceptions = Exceptions;
5867   } else if (EST == EST_ComputedNoexcept) {
5868     ESI.NoexceptExpr = ReadExpr(ModuleFile);
5869   } else if (EST == EST_Uninstantiated) {
5870     ESI.SourceDecl = ReadDeclAs<FunctionDecl>(ModuleFile, Record, Idx);
5871     ESI.SourceTemplate = ReadDeclAs<FunctionDecl>(ModuleFile, Record, Idx);
5872   } else if (EST == EST_Unevaluated) {
5873     ESI.SourceDecl = ReadDeclAs<FunctionDecl>(ModuleFile, Record, Idx);
5874   }
5875 }
5876
5877 class clang::TypeLocReader : public TypeLocVisitor<TypeLocReader> {
5878   ModuleFile *F;
5879   ASTReader *Reader;
5880   const ASTReader::RecordData &Record;
5881   unsigned &Idx;
5882
5883   SourceLocation ReadSourceLocation() {
5884     return Reader->ReadSourceLocation(*F, Record, Idx);
5885   }
5886
5887   TypeSourceInfo *GetTypeSourceInfo() {
5888     return Reader->GetTypeSourceInfo(*F, Record, Idx);
5889   }
5890
5891   NestedNameSpecifierLoc ReadNestedNameSpecifierLoc() {
5892     return Reader->ReadNestedNameSpecifierLoc(*F, Record, Idx);
5893   }
5894
5895 public:
5896   TypeLocReader(ModuleFile &F, ASTReader &Reader,
5897                 const ASTReader::RecordData &Record, unsigned &Idx)
5898       : F(&F), Reader(&Reader), Record(Record), Idx(Idx) {}
5899
5900   // We want compile-time assurance that we've enumerated all of
5901   // these, so unfortunately we have to declare them first, then
5902   // define them out-of-line.
5903 #define ABSTRACT_TYPELOC(CLASS, PARENT)
5904 #define TYPELOC(CLASS, PARENT) \
5905   void Visit##CLASS##TypeLoc(CLASS##TypeLoc TyLoc);
5906 #include "clang/AST/TypeLocNodes.def"
5907
5908   void VisitFunctionTypeLoc(FunctionTypeLoc);
5909   void VisitArrayTypeLoc(ArrayTypeLoc);
5910 };
5911
5912 void TypeLocReader::VisitQualifiedTypeLoc(QualifiedTypeLoc TL) {
5913   // nothing to do
5914 }
5915
5916 void TypeLocReader::VisitBuiltinTypeLoc(BuiltinTypeLoc TL) {
5917   TL.setBuiltinLoc(ReadSourceLocation());
5918   if (TL.needsExtraLocalData()) {
5919     TL.setWrittenTypeSpec(static_cast<DeclSpec::TST>(Record[Idx++]));
5920     TL.setWrittenSignSpec(static_cast<DeclSpec::TSS>(Record[Idx++]));
5921     TL.setWrittenWidthSpec(static_cast<DeclSpec::TSW>(Record[Idx++]));
5922     TL.setModeAttr(Record[Idx++]);
5923   }
5924 }
5925
5926 void TypeLocReader::VisitComplexTypeLoc(ComplexTypeLoc TL) {
5927   TL.setNameLoc(ReadSourceLocation());
5928 }
5929
5930 void TypeLocReader::VisitPointerTypeLoc(PointerTypeLoc TL) {
5931   TL.setStarLoc(ReadSourceLocation());
5932 }
5933
5934 void TypeLocReader::VisitDecayedTypeLoc(DecayedTypeLoc TL) {
5935   // nothing to do
5936 }
5937
5938 void TypeLocReader::VisitAdjustedTypeLoc(AdjustedTypeLoc TL) {
5939   // nothing to do
5940 }
5941
5942 void TypeLocReader::VisitBlockPointerTypeLoc(BlockPointerTypeLoc TL) {
5943   TL.setCaretLoc(ReadSourceLocation());
5944 }
5945
5946 void TypeLocReader::VisitLValueReferenceTypeLoc(LValueReferenceTypeLoc TL) {
5947   TL.setAmpLoc(ReadSourceLocation());
5948 }
5949
5950 void TypeLocReader::VisitRValueReferenceTypeLoc(RValueReferenceTypeLoc TL) {
5951   TL.setAmpAmpLoc(ReadSourceLocation());
5952 }
5953
5954 void TypeLocReader::VisitMemberPointerTypeLoc(MemberPointerTypeLoc TL) {
5955   TL.setStarLoc(ReadSourceLocation());
5956   TL.setClassTInfo(GetTypeSourceInfo());
5957 }
5958
5959 void TypeLocReader::VisitArrayTypeLoc(ArrayTypeLoc TL) {
5960   TL.setLBracketLoc(ReadSourceLocation());
5961   TL.setRBracketLoc(ReadSourceLocation());
5962   if (Record[Idx++])
5963     TL.setSizeExpr(Reader->ReadExpr(*F));
5964   else
5965     TL.setSizeExpr(nullptr);
5966 }
5967
5968 void TypeLocReader::VisitConstantArrayTypeLoc(ConstantArrayTypeLoc TL) {
5969   VisitArrayTypeLoc(TL);
5970 }
5971
5972 void TypeLocReader::VisitIncompleteArrayTypeLoc(IncompleteArrayTypeLoc TL) {
5973   VisitArrayTypeLoc(TL);
5974 }
5975
5976 void TypeLocReader::VisitVariableArrayTypeLoc(VariableArrayTypeLoc TL) {
5977   VisitArrayTypeLoc(TL);
5978 }
5979
5980 void TypeLocReader::VisitDependentSizedArrayTypeLoc(
5981                                             DependentSizedArrayTypeLoc TL) {
5982   VisitArrayTypeLoc(TL);
5983 }
5984
5985 void TypeLocReader::VisitDependentSizedExtVectorTypeLoc(
5986                                         DependentSizedExtVectorTypeLoc TL) {
5987   TL.setNameLoc(ReadSourceLocation());
5988 }
5989
5990 void TypeLocReader::VisitVectorTypeLoc(VectorTypeLoc TL) {
5991   TL.setNameLoc(ReadSourceLocation());
5992 }
5993
5994 void TypeLocReader::VisitExtVectorTypeLoc(ExtVectorTypeLoc TL) {
5995   TL.setNameLoc(ReadSourceLocation());
5996 }
5997
5998 void TypeLocReader::VisitFunctionTypeLoc(FunctionTypeLoc TL) {
5999   TL.setLocalRangeBegin(ReadSourceLocation());
6000   TL.setLParenLoc(ReadSourceLocation());
6001   TL.setRParenLoc(ReadSourceLocation());
6002   TL.setExceptionSpecRange(SourceRange(Reader->ReadSourceLocation(*F, Record, Idx),
6003                                        Reader->ReadSourceLocation(*F, Record, Idx)));
6004   TL.setLocalRangeEnd(ReadSourceLocation());
6005   for (unsigned i = 0, e = TL.getNumParams(); i != e; ++i) {
6006     TL.setParam(i, Reader->ReadDeclAs<ParmVarDecl>(*F, Record, Idx));
6007   }
6008 }
6009
6010 void TypeLocReader::VisitFunctionProtoTypeLoc(FunctionProtoTypeLoc TL) {
6011   VisitFunctionTypeLoc(TL);
6012 }
6013
6014 void TypeLocReader::VisitFunctionNoProtoTypeLoc(FunctionNoProtoTypeLoc TL) {
6015   VisitFunctionTypeLoc(TL);
6016 }
6017 void TypeLocReader::VisitUnresolvedUsingTypeLoc(UnresolvedUsingTypeLoc TL) {
6018   TL.setNameLoc(ReadSourceLocation());
6019 }
6020 void TypeLocReader::VisitTypedefTypeLoc(TypedefTypeLoc TL) {
6021   TL.setNameLoc(ReadSourceLocation());
6022 }
6023 void TypeLocReader::VisitTypeOfExprTypeLoc(TypeOfExprTypeLoc TL) {
6024   TL.setTypeofLoc(ReadSourceLocation());
6025   TL.setLParenLoc(ReadSourceLocation());
6026   TL.setRParenLoc(ReadSourceLocation());
6027 }
6028 void TypeLocReader::VisitTypeOfTypeLoc(TypeOfTypeLoc TL) {
6029   TL.setTypeofLoc(ReadSourceLocation());
6030   TL.setLParenLoc(ReadSourceLocation());
6031   TL.setRParenLoc(ReadSourceLocation());
6032   TL.setUnderlyingTInfo(GetTypeSourceInfo());
6033 }
6034 void TypeLocReader::VisitDecltypeTypeLoc(DecltypeTypeLoc TL) {
6035   TL.setNameLoc(ReadSourceLocation());
6036 }
6037
6038 void TypeLocReader::VisitUnaryTransformTypeLoc(UnaryTransformTypeLoc TL) {
6039   TL.setKWLoc(ReadSourceLocation());
6040   TL.setLParenLoc(ReadSourceLocation());
6041   TL.setRParenLoc(ReadSourceLocation());
6042   TL.setUnderlyingTInfo(GetTypeSourceInfo());
6043 }
6044
6045 void TypeLocReader::VisitAutoTypeLoc(AutoTypeLoc TL) {
6046   TL.setNameLoc(ReadSourceLocation());
6047 }
6048
6049 void TypeLocReader::VisitRecordTypeLoc(RecordTypeLoc TL) {
6050   TL.setNameLoc(ReadSourceLocation());
6051 }
6052
6053 void TypeLocReader::VisitEnumTypeLoc(EnumTypeLoc TL) {
6054   TL.setNameLoc(ReadSourceLocation());
6055 }
6056
6057 void TypeLocReader::VisitAttributedTypeLoc(AttributedTypeLoc TL) {
6058   TL.setAttrNameLoc(ReadSourceLocation());
6059   if (TL.hasAttrOperand()) {
6060     SourceRange range;
6061     range.setBegin(ReadSourceLocation());
6062     range.setEnd(ReadSourceLocation());
6063     TL.setAttrOperandParensRange(range);
6064   }
6065   if (TL.hasAttrExprOperand()) {
6066     if (Record[Idx++])
6067       TL.setAttrExprOperand(Reader->ReadExpr(*F));
6068     else
6069       TL.setAttrExprOperand(nullptr);
6070   } else if (TL.hasAttrEnumOperand())
6071     TL.setAttrEnumOperandLoc(ReadSourceLocation());
6072 }
6073
6074 void TypeLocReader::VisitTemplateTypeParmTypeLoc(TemplateTypeParmTypeLoc TL) {
6075   TL.setNameLoc(ReadSourceLocation());
6076 }
6077
6078 void TypeLocReader::VisitSubstTemplateTypeParmTypeLoc(
6079                                             SubstTemplateTypeParmTypeLoc TL) {
6080   TL.setNameLoc(ReadSourceLocation());
6081 }
6082 void TypeLocReader::VisitSubstTemplateTypeParmPackTypeLoc(
6083                                           SubstTemplateTypeParmPackTypeLoc TL) {
6084   TL.setNameLoc(ReadSourceLocation());
6085 }
6086 void TypeLocReader::VisitTemplateSpecializationTypeLoc(
6087                                            TemplateSpecializationTypeLoc TL) {
6088   TL.setTemplateKeywordLoc(ReadSourceLocation());
6089   TL.setTemplateNameLoc(ReadSourceLocation());
6090   TL.setLAngleLoc(ReadSourceLocation());
6091   TL.setRAngleLoc(ReadSourceLocation());
6092   for (unsigned i = 0, e = TL.getNumArgs(); i != e; ++i)
6093     TL.setArgLocInfo(
6094         i,
6095         Reader->GetTemplateArgumentLocInfo(
6096             *F, TL.getTypePtr()->getArg(i).getKind(), Record, Idx));
6097 }
6098 void TypeLocReader::VisitParenTypeLoc(ParenTypeLoc TL) {
6099   TL.setLParenLoc(ReadSourceLocation());
6100   TL.setRParenLoc(ReadSourceLocation());
6101 }
6102
6103 void TypeLocReader::VisitElaboratedTypeLoc(ElaboratedTypeLoc TL) {
6104   TL.setElaboratedKeywordLoc(ReadSourceLocation());
6105   TL.setQualifierLoc(ReadNestedNameSpecifierLoc());
6106 }
6107
6108 void TypeLocReader::VisitInjectedClassNameTypeLoc(InjectedClassNameTypeLoc TL) {
6109   TL.setNameLoc(ReadSourceLocation());
6110 }
6111
6112 void TypeLocReader::VisitDependentNameTypeLoc(DependentNameTypeLoc TL) {
6113   TL.setElaboratedKeywordLoc(ReadSourceLocation());
6114   TL.setQualifierLoc(ReadNestedNameSpecifierLoc());
6115   TL.setNameLoc(ReadSourceLocation());
6116 }
6117
6118 void TypeLocReader::VisitDependentTemplateSpecializationTypeLoc(
6119        DependentTemplateSpecializationTypeLoc TL) {
6120   TL.setElaboratedKeywordLoc(ReadSourceLocation());
6121   TL.setQualifierLoc(ReadNestedNameSpecifierLoc());
6122   TL.setTemplateKeywordLoc(ReadSourceLocation());
6123   TL.setTemplateNameLoc(ReadSourceLocation());
6124   TL.setLAngleLoc(ReadSourceLocation());
6125   TL.setRAngleLoc(ReadSourceLocation());
6126   for (unsigned I = 0, E = TL.getNumArgs(); I != E; ++I)
6127     TL.setArgLocInfo(
6128         I,
6129         Reader->GetTemplateArgumentLocInfo(
6130             *F, TL.getTypePtr()->getArg(I).getKind(), Record, Idx));
6131 }
6132
6133 void TypeLocReader::VisitPackExpansionTypeLoc(PackExpansionTypeLoc TL) {
6134   TL.setEllipsisLoc(ReadSourceLocation());
6135 }
6136
6137 void TypeLocReader::VisitObjCInterfaceTypeLoc(ObjCInterfaceTypeLoc TL) {
6138   TL.setNameLoc(ReadSourceLocation());
6139 }
6140
6141 void TypeLocReader::VisitObjCTypeParamTypeLoc(ObjCTypeParamTypeLoc TL) {
6142   if (TL.getNumProtocols()) {
6143     TL.setProtocolLAngleLoc(ReadSourceLocation());
6144     TL.setProtocolRAngleLoc(ReadSourceLocation());
6145   }
6146   for (unsigned i = 0, e = TL.getNumProtocols(); i != e; ++i)
6147     TL.setProtocolLoc(i, ReadSourceLocation());
6148 }
6149
6150 void TypeLocReader::VisitObjCObjectTypeLoc(ObjCObjectTypeLoc TL) {
6151   TL.setHasBaseTypeAsWritten(Record[Idx++]);
6152   TL.setTypeArgsLAngleLoc(ReadSourceLocation());
6153   TL.setTypeArgsRAngleLoc(ReadSourceLocation());
6154   for (unsigned i = 0, e = TL.getNumTypeArgs(); i != e; ++i)
6155     TL.setTypeArgTInfo(i, GetTypeSourceInfo());
6156   TL.setProtocolLAngleLoc(ReadSourceLocation());
6157   TL.setProtocolRAngleLoc(ReadSourceLocation());
6158   for (unsigned i = 0, e = TL.getNumProtocols(); i != e; ++i)
6159     TL.setProtocolLoc(i, ReadSourceLocation());
6160 }
6161
6162 void TypeLocReader::VisitObjCObjectPointerTypeLoc(ObjCObjectPointerTypeLoc TL) {
6163   TL.setStarLoc(ReadSourceLocation());
6164 }
6165
6166 void TypeLocReader::VisitAtomicTypeLoc(AtomicTypeLoc TL) {
6167   TL.setKWLoc(ReadSourceLocation());
6168   TL.setLParenLoc(ReadSourceLocation());
6169   TL.setRParenLoc(ReadSourceLocation());
6170 }
6171
6172 void TypeLocReader::VisitPipeTypeLoc(PipeTypeLoc TL) {
6173   TL.setKWLoc(ReadSourceLocation());
6174 }
6175
6176 TypeSourceInfo *
6177 ASTReader::GetTypeSourceInfo(ModuleFile &F, const ASTReader::RecordData &Record,
6178                              unsigned &Idx) {
6179   QualType InfoTy = readType(F, Record, Idx);
6180   if (InfoTy.isNull())
6181     return nullptr;
6182
6183   TypeSourceInfo *TInfo = getContext().CreateTypeSourceInfo(InfoTy);
6184   TypeLocReader TLR(F, *this, Record, Idx);
6185   for (TypeLoc TL = TInfo->getTypeLoc(); !TL.isNull(); TL = TL.getNextTypeLoc())
6186     TLR.Visit(TL);
6187   return TInfo;
6188 }
6189
6190 QualType ASTReader::GetType(TypeID ID) {
6191   unsigned FastQuals = ID & Qualifiers::FastMask;
6192   unsigned Index = ID >> Qualifiers::FastWidth;
6193
6194   if (Index < NUM_PREDEF_TYPE_IDS) {
6195     QualType T;
6196     switch ((PredefinedTypeIDs)Index) {
6197     case PREDEF_TYPE_NULL_ID:
6198       return QualType();
6199     case PREDEF_TYPE_VOID_ID:
6200       T = Context.VoidTy;
6201       break;
6202     case PREDEF_TYPE_BOOL_ID:
6203       T = Context.BoolTy;
6204       break;
6205
6206     case PREDEF_TYPE_CHAR_U_ID:
6207     case PREDEF_TYPE_CHAR_S_ID:
6208       // FIXME: Check that the signedness of CharTy is correct!
6209       T = Context.CharTy;
6210       break;
6211
6212     case PREDEF_TYPE_UCHAR_ID:
6213       T = Context.UnsignedCharTy;
6214       break;
6215     case PREDEF_TYPE_USHORT_ID:
6216       T = Context.UnsignedShortTy;
6217       break;
6218     case PREDEF_TYPE_UINT_ID:
6219       T = Context.UnsignedIntTy;
6220       break;
6221     case PREDEF_TYPE_ULONG_ID:
6222       T = Context.UnsignedLongTy;
6223       break;
6224     case PREDEF_TYPE_ULONGLONG_ID:
6225       T = Context.UnsignedLongLongTy;
6226       break;
6227     case PREDEF_TYPE_UINT128_ID:
6228       T = Context.UnsignedInt128Ty;
6229       break;
6230     case PREDEF_TYPE_SCHAR_ID:
6231       T = Context.SignedCharTy;
6232       break;
6233     case PREDEF_TYPE_WCHAR_ID:
6234       T = Context.WCharTy;
6235       break;
6236     case PREDEF_TYPE_SHORT_ID:
6237       T = Context.ShortTy;
6238       break;
6239     case PREDEF_TYPE_INT_ID:
6240       T = Context.IntTy;
6241       break;
6242     case PREDEF_TYPE_LONG_ID:
6243       T = Context.LongTy;
6244       break;
6245     case PREDEF_TYPE_LONGLONG_ID:
6246       T = Context.LongLongTy;
6247       break;
6248     case PREDEF_TYPE_INT128_ID:
6249       T = Context.Int128Ty;
6250       break;
6251     case PREDEF_TYPE_HALF_ID:
6252       T = Context.HalfTy;
6253       break;
6254     case PREDEF_TYPE_FLOAT_ID:
6255       T = Context.FloatTy;
6256       break;
6257     case PREDEF_TYPE_DOUBLE_ID:
6258       T = Context.DoubleTy;
6259       break;
6260     case PREDEF_TYPE_LONGDOUBLE_ID:
6261       T = Context.LongDoubleTy;
6262       break;
6263     case PREDEF_TYPE_FLOAT128_ID:
6264       T = Context.Float128Ty;
6265       break;
6266     case PREDEF_TYPE_OVERLOAD_ID:
6267       T = Context.OverloadTy;
6268       break;
6269     case PREDEF_TYPE_BOUND_MEMBER:
6270       T = Context.BoundMemberTy;
6271       break;
6272     case PREDEF_TYPE_PSEUDO_OBJECT:
6273       T = Context.PseudoObjectTy;
6274       break;
6275     case PREDEF_TYPE_DEPENDENT_ID:
6276       T = Context.DependentTy;
6277       break;
6278     case PREDEF_TYPE_UNKNOWN_ANY:
6279       T = Context.UnknownAnyTy;
6280       break;
6281     case PREDEF_TYPE_NULLPTR_ID:
6282       T = Context.NullPtrTy;
6283       break;
6284     case PREDEF_TYPE_CHAR16_ID:
6285       T = Context.Char16Ty;
6286       break;
6287     case PREDEF_TYPE_CHAR32_ID:
6288       T = Context.Char32Ty;
6289       break;
6290     case PREDEF_TYPE_OBJC_ID:
6291       T = Context.ObjCBuiltinIdTy;
6292       break;
6293     case PREDEF_TYPE_OBJC_CLASS:
6294       T = Context.ObjCBuiltinClassTy;
6295       break;
6296     case PREDEF_TYPE_OBJC_SEL:
6297       T = Context.ObjCBuiltinSelTy;
6298       break;
6299 #define IMAGE_TYPE(ImgType, Id, SingletonId, Access, Suffix) \
6300     case PREDEF_TYPE_##Id##_ID: \
6301       T = Context.SingletonId; \
6302       break;
6303 #include "clang/Basic/OpenCLImageTypes.def"
6304     case PREDEF_TYPE_SAMPLER_ID:
6305       T = Context.OCLSamplerTy;
6306       break;
6307     case PREDEF_TYPE_EVENT_ID:
6308       T = Context.OCLEventTy;
6309       break;
6310     case PREDEF_TYPE_CLK_EVENT_ID:
6311       T = Context.OCLClkEventTy;
6312       break;
6313     case PREDEF_TYPE_QUEUE_ID:
6314       T = Context.OCLQueueTy;
6315       break;
6316     case PREDEF_TYPE_NDRANGE_ID:
6317       T = Context.OCLNDRangeTy;
6318       break;
6319     case PREDEF_TYPE_RESERVE_ID_ID:
6320       T = Context.OCLReserveIDTy;
6321       break;
6322     case PREDEF_TYPE_AUTO_DEDUCT:
6323       T = Context.getAutoDeductType();
6324       break;
6325
6326     case PREDEF_TYPE_AUTO_RREF_DEDUCT:
6327       T = Context.getAutoRRefDeductType();
6328       break;
6329
6330     case PREDEF_TYPE_ARC_UNBRIDGED_CAST:
6331       T = Context.ARCUnbridgedCastTy;
6332       break;
6333
6334     case PREDEF_TYPE_BUILTIN_FN:
6335       T = Context.BuiltinFnTy;
6336       break;
6337
6338     case PREDEF_TYPE_OMP_ARRAY_SECTION:
6339       T = Context.OMPArraySectionTy;
6340       break;
6341     }
6342
6343     assert(!T.isNull() && "Unknown predefined type");
6344     return T.withFastQualifiers(FastQuals);
6345   }
6346
6347   Index -= NUM_PREDEF_TYPE_IDS;
6348   assert(Index < TypesLoaded.size() && "Type index out-of-range");
6349   if (TypesLoaded[Index].isNull()) {
6350     TypesLoaded[Index] = readTypeRecord(Index);
6351     if (TypesLoaded[Index].isNull())
6352       return QualType();
6353
6354     TypesLoaded[Index]->setFromAST();
6355     if (DeserializationListener)
6356       DeserializationListener->TypeRead(TypeIdx::fromTypeID(ID),
6357                                         TypesLoaded[Index]);
6358   }
6359
6360   return TypesLoaded[Index].withFastQualifiers(FastQuals);
6361 }
6362
6363 QualType ASTReader::getLocalType(ModuleFile &F, unsigned LocalID) {
6364   return GetType(getGlobalTypeID(F, LocalID));
6365 }
6366
6367 serialization::TypeID
6368 ASTReader::getGlobalTypeID(ModuleFile &F, unsigned LocalID) const {
6369   unsigned FastQuals = LocalID & Qualifiers::FastMask;
6370   unsigned LocalIndex = LocalID >> Qualifiers::FastWidth;
6371
6372   if (LocalIndex < NUM_PREDEF_TYPE_IDS)
6373     return LocalID;
6374
6375   ContinuousRangeMap<uint32_t, int, 2>::iterator I
6376     = F.TypeRemap.find(LocalIndex - NUM_PREDEF_TYPE_IDS);
6377   assert(I != F.TypeRemap.end() && "Invalid index into type index remap");
6378
6379   unsigned GlobalIndex = LocalIndex + I->second;
6380   return (GlobalIndex << Qualifiers::FastWidth) | FastQuals;
6381 }
6382
6383 TemplateArgumentLocInfo
6384 ASTReader::GetTemplateArgumentLocInfo(ModuleFile &F,
6385                                       TemplateArgument::ArgKind Kind,
6386                                       const RecordData &Record,
6387                                       unsigned &Index) {
6388   switch (Kind) {
6389   case TemplateArgument::Expression:
6390     return ReadExpr(F);
6391   case TemplateArgument::Type:
6392     return GetTypeSourceInfo(F, Record, Index);
6393   case TemplateArgument::Template: {
6394     NestedNameSpecifierLoc QualifierLoc = ReadNestedNameSpecifierLoc(F, Record,
6395                                                                      Index);
6396     SourceLocation TemplateNameLoc = ReadSourceLocation(F, Record, Index);
6397     return TemplateArgumentLocInfo(QualifierLoc, TemplateNameLoc,
6398                                    SourceLocation());
6399   }
6400   case TemplateArgument::TemplateExpansion: {
6401     NestedNameSpecifierLoc QualifierLoc = ReadNestedNameSpecifierLoc(F, Record,
6402                                                                      Index);
6403     SourceLocation TemplateNameLoc = ReadSourceLocation(F, Record, Index);
6404     SourceLocation EllipsisLoc = ReadSourceLocation(F, Record, Index);
6405     return TemplateArgumentLocInfo(QualifierLoc, TemplateNameLoc,
6406                                    EllipsisLoc);
6407   }
6408   case TemplateArgument::Null:
6409   case TemplateArgument::Integral:
6410   case TemplateArgument::Declaration:
6411   case TemplateArgument::NullPtr:
6412   case TemplateArgument::Pack:
6413     // FIXME: Is this right?
6414     return TemplateArgumentLocInfo();
6415   }
6416   llvm_unreachable("unexpected template argument loc");
6417 }
6418
6419 TemplateArgumentLoc
6420 ASTReader::ReadTemplateArgumentLoc(ModuleFile &F,
6421                                    const RecordData &Record, unsigned &Index) {
6422   TemplateArgument Arg = ReadTemplateArgument(F, Record, Index);
6423
6424   if (Arg.getKind() == TemplateArgument::Expression) {
6425     if (Record[Index++]) // bool InfoHasSameExpr.
6426       return TemplateArgumentLoc(Arg, TemplateArgumentLocInfo(Arg.getAsExpr()));
6427   }
6428   return TemplateArgumentLoc(Arg, GetTemplateArgumentLocInfo(F, Arg.getKind(),
6429                                                              Record, Index));
6430 }
6431
6432 const ASTTemplateArgumentListInfo*
6433 ASTReader::ReadASTTemplateArgumentListInfo(ModuleFile &F,
6434                                            const RecordData &Record,
6435                                            unsigned &Index) {
6436   SourceLocation LAngleLoc = ReadSourceLocation(F, Record, Index);
6437   SourceLocation RAngleLoc = ReadSourceLocation(F, Record, Index);
6438   unsigned NumArgsAsWritten = Record[Index++];
6439   TemplateArgumentListInfo TemplArgsInfo(LAngleLoc, RAngleLoc);
6440   for (unsigned i = 0; i != NumArgsAsWritten; ++i)
6441     TemplArgsInfo.addArgument(ReadTemplateArgumentLoc(F, Record, Index));
6442   return ASTTemplateArgumentListInfo::Create(getContext(), TemplArgsInfo);
6443 }
6444
6445 Decl *ASTReader::GetExternalDecl(uint32_t ID) {
6446   return GetDecl(ID);
6447 }
6448
6449 template<typename TemplateSpecializationDecl>
6450 static void completeRedeclChainForTemplateSpecialization(Decl *D) {
6451   if (auto *TSD = dyn_cast<TemplateSpecializationDecl>(D))
6452     TSD->getSpecializedTemplate()->LoadLazySpecializations();
6453 }
6454
6455 void ASTReader::CompleteRedeclChain(const Decl *D) {
6456   if (NumCurrentElementsDeserializing) {
6457     // We arrange to not care about the complete redeclaration chain while we're
6458     // deserializing. Just remember that the AST has marked this one as complete
6459     // but that it's not actually complete yet, so we know we still need to
6460     // complete it later.
6461     PendingIncompleteDeclChains.push_back(const_cast<Decl*>(D));
6462     return;
6463   }
6464
6465   const DeclContext *DC = D->getDeclContext()->getRedeclContext();
6466
6467   // If this is a named declaration, complete it by looking it up
6468   // within its context.
6469   //
6470   // FIXME: Merging a function definition should merge
6471   // all mergeable entities within it.
6472   if (isa<TranslationUnitDecl>(DC) || isa<NamespaceDecl>(DC) ||
6473       isa<CXXRecordDecl>(DC) || isa<EnumDecl>(DC)) {
6474     if (DeclarationName Name = cast<NamedDecl>(D)->getDeclName()) {
6475       if (!getContext().getLangOpts().CPlusPlus &&
6476           isa<TranslationUnitDecl>(DC)) {
6477         // Outside of C++, we don't have a lookup table for the TU, so update
6478         // the identifier instead. (For C++ modules, we don't store decls
6479         // in the serialized identifier table, so we do the lookup in the TU.)
6480         auto *II = Name.getAsIdentifierInfo();
6481         assert(II && "non-identifier name in C?");
6482         if (II->isOutOfDate())
6483           updateOutOfDateIdentifier(*II);
6484       } else
6485         DC->lookup(Name);
6486     } else if (needsAnonymousDeclarationNumber(cast<NamedDecl>(D))) {
6487       // Find all declarations of this kind from the relevant context.
6488       for (auto *DCDecl : cast<Decl>(D->getLexicalDeclContext())->redecls()) {
6489         auto *DC = cast<DeclContext>(DCDecl);
6490         SmallVector<Decl*, 8> Decls;
6491         FindExternalLexicalDecls(
6492             DC, [&](Decl::Kind K) { return K == D->getKind(); }, Decls);
6493       }
6494     }
6495   }
6496
6497   if (auto *CTSD = dyn_cast<ClassTemplateSpecializationDecl>(D))
6498     CTSD->getSpecializedTemplate()->LoadLazySpecializations();
6499   if (auto *VTSD = dyn_cast<VarTemplateSpecializationDecl>(D))
6500     VTSD->getSpecializedTemplate()->LoadLazySpecializations();
6501   if (auto *FD = dyn_cast<FunctionDecl>(D)) {
6502     if (auto *Template = FD->getPrimaryTemplate())
6503       Template->LoadLazySpecializations();
6504   }
6505 }
6506
6507 CXXCtorInitializer **
6508 ASTReader::GetExternalCXXCtorInitializers(uint64_t Offset) {
6509   RecordLocation Loc = getLocalBitOffset(Offset);
6510   BitstreamCursor &Cursor = Loc.F->DeclsCursor;
6511   SavedStreamPosition SavedPosition(Cursor);
6512   Cursor.JumpToBit(Loc.Offset);
6513   ReadingKindTracker ReadingKind(Read_Decl, *this);
6514
6515   RecordData Record;
6516   unsigned Code = Cursor.ReadCode();
6517   unsigned RecCode = Cursor.readRecord(Code, Record);
6518   if (RecCode != DECL_CXX_CTOR_INITIALIZERS) {
6519     Error("malformed AST file: missing C++ ctor initializers");
6520     return nullptr;
6521   }
6522
6523   unsigned Idx = 0;
6524   return ReadCXXCtorInitializers(*Loc.F, Record, Idx);
6525 }
6526
6527 CXXBaseSpecifier *ASTReader::GetExternalCXXBaseSpecifiers(uint64_t Offset) {
6528   RecordLocation Loc = getLocalBitOffset(Offset);
6529   BitstreamCursor &Cursor = Loc.F->DeclsCursor;
6530   SavedStreamPosition SavedPosition(Cursor);
6531   Cursor.JumpToBit(Loc.Offset);
6532   ReadingKindTracker ReadingKind(Read_Decl, *this);
6533   RecordData Record;
6534   unsigned Code = Cursor.ReadCode();
6535   unsigned RecCode = Cursor.readRecord(Code, Record);
6536   if (RecCode != DECL_CXX_BASE_SPECIFIERS) {
6537     Error("malformed AST file: missing C++ base specifiers");
6538     return nullptr;
6539   }
6540
6541   unsigned Idx = 0;
6542   unsigned NumBases = Record[Idx++];
6543   void *Mem = Context.Allocate(sizeof(CXXBaseSpecifier) * NumBases);
6544   CXXBaseSpecifier *Bases = new (Mem) CXXBaseSpecifier [NumBases];
6545   for (unsigned I = 0; I != NumBases; ++I)
6546     Bases[I] = ReadCXXBaseSpecifier(*Loc.F, Record, Idx);
6547   return Bases;
6548 }
6549
6550 serialization::DeclID
6551 ASTReader::getGlobalDeclID(ModuleFile &F, LocalDeclID LocalID) const {
6552   if (LocalID < NUM_PREDEF_DECL_IDS)
6553     return LocalID;
6554
6555   ContinuousRangeMap<uint32_t, int, 2>::iterator I
6556     = F.DeclRemap.find(LocalID - NUM_PREDEF_DECL_IDS);
6557   assert(I != F.DeclRemap.end() && "Invalid index into decl index remap");
6558
6559   return LocalID + I->second;
6560 }
6561
6562 bool ASTReader::isDeclIDFromModule(serialization::GlobalDeclID ID,
6563                                    ModuleFile &M) const {
6564   // Predefined decls aren't from any module.
6565   if (ID < NUM_PREDEF_DECL_IDS)
6566     return false;
6567
6568   return ID - NUM_PREDEF_DECL_IDS >= M.BaseDeclID &&
6569          ID - NUM_PREDEF_DECL_IDS < M.BaseDeclID + M.LocalNumDecls;
6570 }
6571
6572 ModuleFile *ASTReader::getOwningModuleFile(const Decl *D) {
6573   if (!D->isFromASTFile())
6574     return nullptr;
6575   GlobalDeclMapType::const_iterator I = GlobalDeclMap.find(D->getGlobalID());
6576   assert(I != GlobalDeclMap.end() && "Corrupted global declaration map");
6577   return I->second;
6578 }
6579
6580 SourceLocation ASTReader::getSourceLocationForDeclID(GlobalDeclID ID) {
6581   if (ID < NUM_PREDEF_DECL_IDS)
6582     return SourceLocation();
6583
6584   unsigned Index = ID - NUM_PREDEF_DECL_IDS;
6585
6586   if (Index > DeclsLoaded.size()) {
6587     Error("declaration ID out-of-range for AST file");
6588     return SourceLocation();
6589   }
6590
6591   if (Decl *D = DeclsLoaded[Index])
6592     return D->getLocation();
6593
6594   SourceLocation Loc;
6595   DeclCursorForID(ID, Loc);
6596   return Loc;
6597 }
6598
6599 static Decl *getPredefinedDecl(ASTContext &Context, PredefinedDeclIDs ID) {
6600   switch (ID) {
6601   case PREDEF_DECL_NULL_ID:
6602     return nullptr;
6603
6604   case PREDEF_DECL_TRANSLATION_UNIT_ID:
6605     return Context.getTranslationUnitDecl();
6606
6607   case PREDEF_DECL_OBJC_ID_ID:
6608     return Context.getObjCIdDecl();
6609
6610   case PREDEF_DECL_OBJC_SEL_ID:
6611     return Context.getObjCSelDecl();
6612
6613   case PREDEF_DECL_OBJC_CLASS_ID:
6614     return Context.getObjCClassDecl();
6615
6616   case PREDEF_DECL_OBJC_PROTOCOL_ID:
6617     return Context.getObjCProtocolDecl();
6618
6619   case PREDEF_DECL_INT_128_ID:
6620     return Context.getInt128Decl();
6621
6622   case PREDEF_DECL_UNSIGNED_INT_128_ID:
6623     return Context.getUInt128Decl();
6624
6625   case PREDEF_DECL_OBJC_INSTANCETYPE_ID:
6626     return Context.getObjCInstanceTypeDecl();
6627
6628   case PREDEF_DECL_BUILTIN_VA_LIST_ID:
6629     return Context.getBuiltinVaListDecl();
6630
6631   case PREDEF_DECL_VA_LIST_TAG:
6632     return Context.getVaListTagDecl();
6633
6634   case PREDEF_DECL_BUILTIN_MS_VA_LIST_ID:
6635     return Context.getBuiltinMSVaListDecl();
6636
6637   case PREDEF_DECL_EXTERN_C_CONTEXT_ID:
6638     return Context.getExternCContextDecl();
6639
6640   case PREDEF_DECL_MAKE_INTEGER_SEQ_ID:
6641     return Context.getMakeIntegerSeqDecl();
6642
6643   case PREDEF_DECL_CF_CONSTANT_STRING_ID:
6644     return Context.getCFConstantStringDecl();
6645
6646   case PREDEF_DECL_CF_CONSTANT_STRING_TAG_ID:
6647     return Context.getCFConstantStringTagDecl();
6648
6649   case PREDEF_DECL_TYPE_PACK_ELEMENT_ID:
6650     return Context.getTypePackElementDecl();
6651   }
6652   llvm_unreachable("PredefinedDeclIDs unknown enum value");
6653 }
6654
6655 Decl *ASTReader::GetExistingDecl(DeclID ID) {
6656   if (ID < NUM_PREDEF_DECL_IDS) {
6657     Decl *D = getPredefinedDecl(Context, (PredefinedDeclIDs)ID);
6658     if (D) {
6659       // Track that we have merged the declaration with ID \p ID into the
6660       // pre-existing predefined declaration \p D.
6661       auto &Merged = KeyDecls[D->getCanonicalDecl()];
6662       if (Merged.empty())
6663         Merged.push_back(ID);
6664     }
6665     return D;
6666   }
6667
6668   unsigned Index = ID - NUM_PREDEF_DECL_IDS;
6669
6670   if (Index >= DeclsLoaded.size()) {
6671     assert(0 && "declaration ID out-of-range for AST file");
6672     Error("declaration ID out-of-range for AST file");
6673     return nullptr;
6674   }
6675
6676   return DeclsLoaded[Index];
6677 }
6678
6679 Decl *ASTReader::GetDecl(DeclID ID) {
6680   if (ID < NUM_PREDEF_DECL_IDS)
6681     return GetExistingDecl(ID);
6682
6683   unsigned Index = ID - NUM_PREDEF_DECL_IDS;
6684
6685   if (Index >= DeclsLoaded.size()) {
6686     assert(0 && "declaration ID out-of-range for AST file");
6687     Error("declaration ID out-of-range for AST file");
6688     return nullptr;
6689   }
6690
6691   if (!DeclsLoaded[Index]) {
6692     ReadDeclRecord(ID);
6693     if (DeserializationListener)
6694       DeserializationListener->DeclRead(ID, DeclsLoaded[Index]);
6695   }
6696
6697   return DeclsLoaded[Index];
6698 }
6699
6700 DeclID ASTReader::mapGlobalIDToModuleFileGlobalID(ModuleFile &M,
6701                                                   DeclID GlobalID) {
6702   if (GlobalID < NUM_PREDEF_DECL_IDS)
6703     return GlobalID;
6704
6705   GlobalDeclMapType::const_iterator I = GlobalDeclMap.find(GlobalID);
6706   assert(I != GlobalDeclMap.end() && "Corrupted global declaration map");
6707   ModuleFile *Owner = I->second;
6708
6709   llvm::DenseMap<ModuleFile *, serialization::DeclID>::iterator Pos
6710     = M.GlobalToLocalDeclIDs.find(Owner);
6711   if (Pos == M.GlobalToLocalDeclIDs.end())
6712     return 0;
6713
6714   return GlobalID - Owner->BaseDeclID + Pos->second;
6715 }
6716
6717 serialization::DeclID ASTReader::ReadDeclID(ModuleFile &F,
6718                                             const RecordData &Record,
6719                                             unsigned &Idx) {
6720   if (Idx >= Record.size()) {
6721     Error("Corrupted AST file");
6722     return 0;
6723   }
6724
6725   return getGlobalDeclID(F, Record[Idx++]);
6726 }
6727
6728 /// \brief Resolve the offset of a statement into a statement.
6729 ///
6730 /// This operation will read a new statement from the external
6731 /// source each time it is called, and is meant to be used via a
6732 /// LazyOffsetPtr (which is used by Decls for the body of functions, etc).
6733 Stmt *ASTReader::GetExternalDeclStmt(uint64_t Offset) {
6734   // Switch case IDs are per Decl.
6735   ClearSwitchCaseIDs();
6736
6737   // Offset here is a global offset across the entire chain.
6738   RecordLocation Loc = getLocalBitOffset(Offset);
6739   Loc.F->DeclsCursor.JumpToBit(Loc.Offset);
6740   return ReadStmtFromStream(*Loc.F);
6741 }
6742
6743 void ASTReader::FindExternalLexicalDecls(
6744     const DeclContext *DC, llvm::function_ref<bool(Decl::Kind)> IsKindWeWant,
6745     SmallVectorImpl<Decl *> &Decls) {
6746   bool PredefsVisited[NUM_PREDEF_DECL_IDS] = {};
6747
6748   auto Visit = [&] (ModuleFile *M, LexicalContents LexicalDecls) {
6749     assert(LexicalDecls.size() % 2 == 0 && "expected an even number of entries");
6750     for (int I = 0, N = LexicalDecls.size(); I != N; I += 2) {
6751       auto K = (Decl::Kind)+LexicalDecls[I];
6752       if (!IsKindWeWant(K))
6753         continue;
6754
6755       auto ID = (serialization::DeclID)+LexicalDecls[I + 1];
6756
6757       // Don't add predefined declarations to the lexical context more
6758       // than once.
6759       if (ID < NUM_PREDEF_DECL_IDS) {
6760         if (PredefsVisited[ID])
6761           continue;
6762
6763         PredefsVisited[ID] = true;
6764       }
6765
6766       if (Decl *D = GetLocalDecl(*M, ID)) {
6767         assert(D->getKind() == K && "wrong kind for lexical decl");
6768         if (!DC->isDeclInLexicalTraversal(D))
6769           Decls.push_back(D);
6770       }
6771     }
6772   };
6773
6774   if (isa<TranslationUnitDecl>(DC)) {
6775     for (auto Lexical : TULexicalDecls)
6776       Visit(Lexical.first, Lexical.second);
6777   } else {
6778     auto I = LexicalDecls.find(DC);
6779     if (I != LexicalDecls.end())
6780       Visit(I->second.first, I->second.second);
6781   }
6782
6783   ++NumLexicalDeclContextsRead;
6784 }
6785
6786 namespace {
6787
6788 class DeclIDComp {
6789   ASTReader &Reader;
6790   ModuleFile &Mod;
6791
6792 public:
6793   DeclIDComp(ASTReader &Reader, ModuleFile &M) : Reader(Reader), Mod(M) {}
6794
6795   bool operator()(LocalDeclID L, LocalDeclID R) const {
6796     SourceLocation LHS = getLocation(L);
6797     SourceLocation RHS = getLocation(R);
6798     return Reader.getSourceManager().isBeforeInTranslationUnit(LHS, RHS);
6799   }
6800
6801   bool operator()(SourceLocation LHS, LocalDeclID R) const {
6802     SourceLocation RHS = getLocation(R);
6803     return Reader.getSourceManager().isBeforeInTranslationUnit(LHS, RHS);
6804   }
6805
6806   bool operator()(LocalDeclID L, SourceLocation RHS) const {
6807     SourceLocation LHS = getLocation(L);
6808     return Reader.getSourceManager().isBeforeInTranslationUnit(LHS, RHS);
6809   }
6810
6811   SourceLocation getLocation(LocalDeclID ID) const {
6812     return Reader.getSourceManager().getFileLoc(
6813             Reader.getSourceLocationForDeclID(Reader.getGlobalDeclID(Mod, ID)));
6814   }
6815 };
6816
6817 } // end anonymous namespace
6818
6819 void ASTReader::FindFileRegionDecls(FileID File,
6820                                     unsigned Offset, unsigned Length,
6821                                     SmallVectorImpl<Decl *> &Decls) {
6822   SourceManager &SM = getSourceManager();
6823
6824   llvm::DenseMap<FileID, FileDeclsInfo>::iterator I = FileDeclIDs.find(File);
6825   if (I == FileDeclIDs.end())
6826     return;
6827
6828   FileDeclsInfo &DInfo = I->second;
6829   if (DInfo.Decls.empty())
6830     return;
6831
6832   SourceLocation
6833     BeginLoc = SM.getLocForStartOfFile(File).getLocWithOffset(Offset);
6834   SourceLocation EndLoc = BeginLoc.getLocWithOffset(Length);
6835
6836   DeclIDComp DIDComp(*this, *DInfo.Mod);
6837   ArrayRef<serialization::LocalDeclID>::iterator
6838     BeginIt = std::lower_bound(DInfo.Decls.begin(), DInfo.Decls.end(),
6839                                BeginLoc, DIDComp);
6840   if (BeginIt != DInfo.Decls.begin())
6841     --BeginIt;
6842
6843   // If we are pointing at a top-level decl inside an objc container, we need
6844   // to backtrack until we find it otherwise we will fail to report that the
6845   // region overlaps with an objc container.
6846   while (BeginIt != DInfo.Decls.begin() &&
6847          GetDecl(getGlobalDeclID(*DInfo.Mod, *BeginIt))
6848              ->isTopLevelDeclInObjCContainer())
6849     --BeginIt;
6850
6851   ArrayRef<serialization::LocalDeclID>::iterator
6852     EndIt = std::upper_bound(DInfo.Decls.begin(), DInfo.Decls.end(),
6853                              EndLoc, DIDComp);
6854   if (EndIt != DInfo.Decls.end())
6855     ++EndIt;
6856
6857   for (ArrayRef<serialization::LocalDeclID>::iterator
6858          DIt = BeginIt; DIt != EndIt; ++DIt)
6859     Decls.push_back(GetDecl(getGlobalDeclID(*DInfo.Mod, *DIt)));
6860 }
6861
6862 bool
6863 ASTReader::FindExternalVisibleDeclsByName(const DeclContext *DC,
6864                                           DeclarationName Name) {
6865   assert(DC->hasExternalVisibleStorage() && DC == DC->getPrimaryContext() &&
6866          "DeclContext has no visible decls in storage");
6867   if (!Name)
6868     return false;
6869
6870   auto It = Lookups.find(DC);
6871   if (It == Lookups.end())
6872     return false;
6873
6874   Deserializing LookupResults(this);
6875
6876   // Load the list of declarations.
6877   SmallVector<NamedDecl *, 64> Decls;
6878   for (DeclID ID : It->second.Table.find(Name)) {
6879     NamedDecl *ND = cast<NamedDecl>(GetDecl(ID));
6880     if (ND->getDeclName() == Name)
6881       Decls.push_back(ND);
6882   }
6883
6884   ++NumVisibleDeclContextsRead;
6885   SetExternalVisibleDeclsForName(DC, Name, Decls);
6886   return !Decls.empty();
6887 }
6888
6889 void ASTReader::completeVisibleDeclsMap(const DeclContext *DC) {
6890   if (!DC->hasExternalVisibleStorage())
6891     return;
6892
6893   auto It = Lookups.find(DC);
6894   assert(It != Lookups.end() &&
6895          "have external visible storage but no lookup tables");
6896
6897   DeclsMap Decls;
6898
6899   for (DeclID ID : It->second.Table.findAll()) {
6900     NamedDecl *ND = cast<NamedDecl>(GetDecl(ID));
6901     Decls[ND->getDeclName()].push_back(ND);
6902   }
6903
6904   ++NumVisibleDeclContextsRead;
6905
6906   for (DeclsMap::iterator I = Decls.begin(), E = Decls.end(); I != E; ++I) {
6907     SetExternalVisibleDeclsForName(DC, I->first, I->second);
6908   }
6909   const_cast<DeclContext *>(DC)->setHasExternalVisibleStorage(false);
6910 }
6911
6912 const serialization::reader::DeclContextLookupTable *
6913 ASTReader::getLoadedLookupTables(DeclContext *Primary) const {
6914   auto I = Lookups.find(Primary);
6915   return I == Lookups.end() ? nullptr : &I->second;
6916 }
6917
6918 /// \brief Under non-PCH compilation the consumer receives the objc methods
6919 /// before receiving the implementation, and codegen depends on this.
6920 /// We simulate this by deserializing and passing to consumer the methods of the
6921 /// implementation before passing the deserialized implementation decl.
6922 static void PassObjCImplDeclToConsumer(ObjCImplDecl *ImplD,
6923                                        ASTConsumer *Consumer) {
6924   assert(ImplD && Consumer);
6925
6926   for (auto *I : ImplD->methods())
6927     Consumer->HandleInterestingDecl(DeclGroupRef(I));
6928
6929   Consumer->HandleInterestingDecl(DeclGroupRef(ImplD));
6930 }
6931
6932 void ASTReader::PassInterestingDeclsToConsumer() {
6933   assert(Consumer);
6934
6935   if (PassingDeclsToConsumer)
6936     return;
6937
6938   // Guard variable to avoid recursively redoing the process of passing
6939   // decls to consumer.
6940   SaveAndRestore<bool> GuardPassingDeclsToConsumer(PassingDeclsToConsumer,
6941                                                    true);
6942
6943   // Ensure that we've loaded all potentially-interesting declarations
6944   // that need to be eagerly loaded.
6945   for (auto ID : EagerlyDeserializedDecls)
6946     GetDecl(ID);
6947   EagerlyDeserializedDecls.clear();
6948
6949   while (!InterestingDecls.empty()) {
6950     Decl *D = InterestingDecls.front();
6951     InterestingDecls.pop_front();
6952
6953     PassInterestingDeclToConsumer(D);
6954   }
6955 }
6956
6957 void ASTReader::PassInterestingDeclToConsumer(Decl *D) {
6958   if (ObjCImplDecl *ImplD = dyn_cast<ObjCImplDecl>(D))
6959     PassObjCImplDeclToConsumer(ImplD, Consumer);
6960   else
6961     Consumer->HandleInterestingDecl(DeclGroupRef(D));
6962 }
6963
6964 void ASTReader::StartTranslationUnit(ASTConsumer *Consumer) {
6965   this->Consumer = Consumer;
6966
6967   if (Consumer)
6968     PassInterestingDeclsToConsumer();
6969
6970   if (DeserializationListener)
6971     DeserializationListener->ReaderInitialized(this);
6972 }
6973
6974 void ASTReader::PrintStats() {
6975   std::fprintf(stderr, "*** AST File Statistics:\n");
6976
6977   unsigned NumTypesLoaded
6978     = TypesLoaded.size() - std::count(TypesLoaded.begin(), TypesLoaded.end(),
6979                                       QualType());
6980   unsigned NumDeclsLoaded
6981     = DeclsLoaded.size() - std::count(DeclsLoaded.begin(), DeclsLoaded.end(),
6982                                       (Decl *)nullptr);
6983   unsigned NumIdentifiersLoaded
6984     = IdentifiersLoaded.size() - std::count(IdentifiersLoaded.begin(),
6985                                             IdentifiersLoaded.end(),
6986                                             (IdentifierInfo *)nullptr);
6987   unsigned NumMacrosLoaded
6988     = MacrosLoaded.size() - std::count(MacrosLoaded.begin(),
6989                                        MacrosLoaded.end(),
6990                                        (MacroInfo *)nullptr);
6991   unsigned NumSelectorsLoaded
6992     = SelectorsLoaded.size() - std::count(SelectorsLoaded.begin(),
6993                                           SelectorsLoaded.end(),
6994                                           Selector());
6995
6996   if (unsigned TotalNumSLocEntries = getTotalNumSLocs())
6997     std::fprintf(stderr, "  %u/%u source location entries read (%f%%)\n",
6998                  NumSLocEntriesRead, TotalNumSLocEntries,
6999                  ((float)NumSLocEntriesRead/TotalNumSLocEntries * 100));
7000   if (!TypesLoaded.empty())
7001     std::fprintf(stderr, "  %u/%u types read (%f%%)\n",
7002                  NumTypesLoaded, (unsigned)TypesLoaded.size(),
7003                  ((float)NumTypesLoaded/TypesLoaded.size() * 100));
7004   if (!DeclsLoaded.empty())
7005     std::fprintf(stderr, "  %u/%u declarations read (%f%%)\n",
7006                  NumDeclsLoaded, (unsigned)DeclsLoaded.size(),
7007                  ((float)NumDeclsLoaded/DeclsLoaded.size() * 100));
7008   if (!IdentifiersLoaded.empty())
7009     std::fprintf(stderr, "  %u/%u identifiers read (%f%%)\n",
7010                  NumIdentifiersLoaded, (unsigned)IdentifiersLoaded.size(),
7011                  ((float)NumIdentifiersLoaded/IdentifiersLoaded.size() * 100));
7012   if (!MacrosLoaded.empty())
7013     std::fprintf(stderr, "  %u/%u macros read (%f%%)\n",
7014                  NumMacrosLoaded, (unsigned)MacrosLoaded.size(),
7015                  ((float)NumMacrosLoaded/MacrosLoaded.size() * 100));
7016   if (!SelectorsLoaded.empty())
7017     std::fprintf(stderr, "  %u/%u selectors read (%f%%)\n",
7018                  NumSelectorsLoaded, (unsigned)SelectorsLoaded.size(),
7019                  ((float)NumSelectorsLoaded/SelectorsLoaded.size() * 100));
7020   if (TotalNumStatements)
7021     std::fprintf(stderr, "  %u/%u statements read (%f%%)\n",
7022                  NumStatementsRead, TotalNumStatements,
7023                  ((float)NumStatementsRead/TotalNumStatements * 100));
7024   if (TotalNumMacros)
7025     std::fprintf(stderr, "  %u/%u macros read (%f%%)\n",
7026                  NumMacrosRead, TotalNumMacros,
7027                  ((float)NumMacrosRead/TotalNumMacros * 100));
7028   if (TotalLexicalDeclContexts)
7029     std::fprintf(stderr, "  %u/%u lexical declcontexts read (%f%%)\n",
7030                  NumLexicalDeclContextsRead, TotalLexicalDeclContexts,
7031                  ((float)NumLexicalDeclContextsRead/TotalLexicalDeclContexts
7032                   * 100));
7033   if (TotalVisibleDeclContexts)
7034     std::fprintf(stderr, "  %u/%u visible declcontexts read (%f%%)\n",
7035                  NumVisibleDeclContextsRead, TotalVisibleDeclContexts,
7036                  ((float)NumVisibleDeclContextsRead/TotalVisibleDeclContexts
7037                   * 100));
7038   if (TotalNumMethodPoolEntries) {
7039     std::fprintf(stderr, "  %u/%u method pool entries read (%f%%)\n",
7040                  NumMethodPoolEntriesRead, TotalNumMethodPoolEntries,
7041                  ((float)NumMethodPoolEntriesRead/TotalNumMethodPoolEntries
7042                   * 100));
7043   }
7044   if (NumMethodPoolLookups) {
7045     std::fprintf(stderr, "  %u/%u method pool lookups succeeded (%f%%)\n",
7046                  NumMethodPoolHits, NumMethodPoolLookups,
7047                  ((float)NumMethodPoolHits/NumMethodPoolLookups * 100.0));
7048   }
7049   if (NumMethodPoolTableLookups) {
7050     std::fprintf(stderr, "  %u/%u method pool table lookups succeeded (%f%%)\n",
7051                  NumMethodPoolTableHits, NumMethodPoolTableLookups,
7052                  ((float)NumMethodPoolTableHits/NumMethodPoolTableLookups
7053                   * 100.0));
7054   }
7055
7056   if (NumIdentifierLookupHits) {
7057     std::fprintf(stderr,
7058                  "  %u / %u identifier table lookups succeeded (%f%%)\n",
7059                  NumIdentifierLookupHits, NumIdentifierLookups,
7060                  (double)NumIdentifierLookupHits*100.0/NumIdentifierLookups);
7061   }
7062
7063   if (GlobalIndex) {
7064     std::fprintf(stderr, "\n");
7065     GlobalIndex->printStats();
7066   }
7067
7068   std::fprintf(stderr, "\n");
7069   dump();
7070   std::fprintf(stderr, "\n");
7071 }
7072
7073 template<typename Key, typename ModuleFile, unsigned InitialCapacity>
7074 static void
7075 dumpModuleIDMap(StringRef Name,
7076                 const ContinuousRangeMap<Key, ModuleFile *,
7077                                          InitialCapacity> &Map) {
7078   if (Map.begin() == Map.end())
7079     return;
7080
7081   typedef ContinuousRangeMap<Key, ModuleFile *, InitialCapacity> MapType;
7082   llvm::errs() << Name << ":\n";
7083   for (typename MapType::const_iterator I = Map.begin(), IEnd = Map.end();
7084        I != IEnd; ++I) {
7085     llvm::errs() << "  " << I->first << " -> " << I->second->FileName
7086       << "\n";
7087   }
7088 }
7089
7090 LLVM_DUMP_METHOD void ASTReader::dump() {
7091   llvm::errs() << "*** PCH/ModuleFile Remappings:\n";
7092   dumpModuleIDMap("Global bit offset map", GlobalBitOffsetsMap);
7093   dumpModuleIDMap("Global source location entry map", GlobalSLocEntryMap);
7094   dumpModuleIDMap("Global type map", GlobalTypeMap);
7095   dumpModuleIDMap("Global declaration map", GlobalDeclMap);
7096   dumpModuleIDMap("Global identifier map", GlobalIdentifierMap);
7097   dumpModuleIDMap("Global macro map", GlobalMacroMap);
7098   dumpModuleIDMap("Global submodule map", GlobalSubmoduleMap);
7099   dumpModuleIDMap("Global selector map", GlobalSelectorMap);
7100   dumpModuleIDMap("Global preprocessed entity map",
7101                   GlobalPreprocessedEntityMap);
7102
7103   llvm::errs() << "\n*** PCH/Modules Loaded:";
7104   for (ModuleManager::ModuleConstIterator M = ModuleMgr.begin(),
7105                                        MEnd = ModuleMgr.end();
7106        M != MEnd; ++M)
7107     (*M)->dump();
7108 }
7109
7110 /// Return the amount of memory used by memory buffers, breaking down
7111 /// by heap-backed versus mmap'ed memory.
7112 void ASTReader::getMemoryBufferSizes(MemoryBufferSizes &sizes) const {
7113   for (ModuleConstIterator I = ModuleMgr.begin(),
7114       E = ModuleMgr.end(); I != E; ++I) {
7115     if (llvm::MemoryBuffer *buf = (*I)->Buffer.get()) {
7116       size_t bytes = buf->getBufferSize();
7117       switch (buf->getBufferKind()) {
7118         case llvm::MemoryBuffer::MemoryBuffer_Malloc:
7119           sizes.malloc_bytes += bytes;
7120           break;
7121         case llvm::MemoryBuffer::MemoryBuffer_MMap:
7122           sizes.mmap_bytes += bytes;
7123           break;
7124       }
7125     }
7126   }
7127 }
7128
7129 void ASTReader::InitializeSema(Sema &S) {
7130   SemaObj = &S;
7131   S.addExternalSource(this);
7132
7133   // Makes sure any declarations that were deserialized "too early"
7134   // still get added to the identifier's declaration chains.
7135   for (uint64_t ID : PreloadedDeclIDs) {
7136     NamedDecl *D = cast<NamedDecl>(GetDecl(ID));
7137     pushExternalDeclIntoScope(D, D->getDeclName());
7138   }
7139   PreloadedDeclIDs.clear();
7140
7141   // FIXME: What happens if these are changed by a module import?
7142   if (!FPPragmaOptions.empty()) {
7143     assert(FPPragmaOptions.size() == 1 && "Wrong number of FP_PRAGMA_OPTIONS");
7144     SemaObj->FPFeatures.fp_contract = FPPragmaOptions[0];
7145   }
7146
7147   SemaObj->OpenCLFeatures.copy(OpenCLExtensions);
7148   SemaObj->OpenCLTypeExtMap = OpenCLTypeExtMap;
7149   SemaObj->OpenCLDeclExtMap = OpenCLDeclExtMap;
7150
7151   UpdateSema();
7152 }
7153
7154 void ASTReader::UpdateSema() {
7155   assert(SemaObj && "no Sema to update");
7156
7157   // Load the offsets of the declarations that Sema references.
7158   // They will be lazily deserialized when needed.
7159   if (!SemaDeclRefs.empty()) {
7160     assert(SemaDeclRefs.size() % 3 == 0);
7161     for (unsigned I = 0; I != SemaDeclRefs.size(); I += 3) {
7162       if (!SemaObj->StdNamespace)
7163         SemaObj->StdNamespace = SemaDeclRefs[I];
7164       if (!SemaObj->StdBadAlloc)
7165         SemaObj->StdBadAlloc = SemaDeclRefs[I+1];
7166       if (!SemaObj->StdAlignValT)
7167         SemaObj->StdAlignValT = SemaDeclRefs[I+2];
7168     }
7169     SemaDeclRefs.clear();
7170   }
7171
7172   // Update the state of pragmas. Use the same API as if we had encountered the
7173   // pragma in the source.
7174   if(OptimizeOffPragmaLocation.isValid())
7175     SemaObj->ActOnPragmaOptimize(/* IsOn = */ false, OptimizeOffPragmaLocation);
7176   if (PragmaMSStructState != -1)
7177     SemaObj->ActOnPragmaMSStruct((PragmaMSStructKind)PragmaMSStructState);
7178   if (PointersToMembersPragmaLocation.isValid()) {
7179     SemaObj->ActOnPragmaMSPointersToMembers(
7180         (LangOptions::PragmaMSPointersToMembersKind)
7181             PragmaMSPointersToMembersState,
7182         PointersToMembersPragmaLocation);
7183   }
7184   SemaObj->ForceCUDAHostDeviceDepth = ForceCUDAHostDeviceDepth;
7185 }
7186
7187 IdentifierInfo *ASTReader::get(StringRef Name) {
7188   // Note that we are loading an identifier.
7189   Deserializing AnIdentifier(this);
7190
7191   IdentifierLookupVisitor Visitor(Name, /*PriorGeneration=*/0,
7192                                   NumIdentifierLookups,
7193                                   NumIdentifierLookupHits);
7194
7195   // We don't need to do identifier table lookups in C++ modules (we preload
7196   // all interesting declarations, and don't need to use the scope for name
7197   // lookups). Perform the lookup in PCH files, though, since we don't build
7198   // a complete initial identifier table if we're carrying on from a PCH.
7199   if (Context.getLangOpts().CPlusPlus) {
7200     for (auto F : ModuleMgr.pch_modules())
7201       if (Visitor(*F))
7202         break;
7203   } else {
7204     // If there is a global index, look there first to determine which modules
7205     // provably do not have any results for this identifier.
7206     GlobalModuleIndex::HitSet Hits;
7207     GlobalModuleIndex::HitSet *HitsPtr = nullptr;
7208     if (!loadGlobalIndex()) {
7209       if (GlobalIndex->lookupIdentifier(Name, Hits)) {
7210         HitsPtr = &Hits;
7211       }
7212     }
7213
7214     ModuleMgr.visit(Visitor, HitsPtr);
7215   }
7216
7217   IdentifierInfo *II = Visitor.getIdentifierInfo();
7218   markIdentifierUpToDate(II);
7219   return II;
7220 }
7221
7222 namespace clang {
7223
7224   /// \brief An identifier-lookup iterator that enumerates all of the
7225   /// identifiers stored within a set of AST files.
7226   class ASTIdentifierIterator : public IdentifierIterator {
7227     /// \brief The AST reader whose identifiers are being enumerated.
7228     const ASTReader &Reader;
7229
7230     /// \brief The current index into the chain of AST files stored in
7231     /// the AST reader.
7232     unsigned Index;
7233
7234     /// \brief The current position within the identifier lookup table
7235     /// of the current AST file.
7236     ASTIdentifierLookupTable::key_iterator Current;
7237
7238     /// \brief The end position within the identifier lookup table of
7239     /// the current AST file.
7240     ASTIdentifierLookupTable::key_iterator End;
7241
7242     /// \brief Whether to skip any modules in the ASTReader.
7243     bool SkipModules;
7244
7245   public:
7246     explicit ASTIdentifierIterator(const ASTReader &Reader,
7247                                    bool SkipModules = false);
7248
7249     StringRef Next() override;
7250   };
7251
7252 } // end namespace clang
7253
7254 ASTIdentifierIterator::ASTIdentifierIterator(const ASTReader &Reader,
7255                                              bool SkipModules)
7256     : Reader(Reader), Index(Reader.ModuleMgr.size()), SkipModules(SkipModules) {
7257 }
7258
7259 StringRef ASTIdentifierIterator::Next() {
7260   while (Current == End) {
7261     // If we have exhausted all of our AST files, we're done.
7262     if (Index == 0)
7263       return StringRef();
7264
7265     --Index;
7266     ModuleFile &F = Reader.ModuleMgr[Index];
7267     if (SkipModules && F.isModule())
7268       continue;
7269
7270     ASTIdentifierLookupTable *IdTable =
7271         (ASTIdentifierLookupTable *)F.IdentifierLookupTable;
7272     Current = IdTable->key_begin();
7273     End = IdTable->key_end();
7274   }
7275
7276   // We have any identifiers remaining in the current AST file; return
7277   // the next one.
7278   StringRef Result = *Current;
7279   ++Current;
7280   return Result;
7281 }
7282
7283 namespace {
7284
7285 /// A utility for appending two IdentifierIterators.
7286 class ChainedIdentifierIterator : public IdentifierIterator {
7287   std::unique_ptr<IdentifierIterator> Current;
7288   std::unique_ptr<IdentifierIterator> Queued;
7289
7290 public:
7291   ChainedIdentifierIterator(std::unique_ptr<IdentifierIterator> First,
7292                             std::unique_ptr<IdentifierIterator> Second)
7293       : Current(std::move(First)), Queued(std::move(Second)) {}
7294
7295   StringRef Next() override {
7296     if (!Current)
7297       return StringRef();
7298
7299     StringRef result = Current->Next();
7300     if (!result.empty())
7301       return result;
7302
7303     // Try the queued iterator, which may itself be empty.
7304     Current.reset();
7305     std::swap(Current, Queued);
7306     return Next();
7307   }
7308 };
7309
7310 } // end anonymous namespace.
7311
7312 IdentifierIterator *ASTReader::getIdentifiers() {
7313   if (!loadGlobalIndex()) {
7314     std::unique_ptr<IdentifierIterator> ReaderIter(
7315         new ASTIdentifierIterator(*this, /*SkipModules=*/true));
7316     std::unique_ptr<IdentifierIterator> ModulesIter(
7317         GlobalIndex->createIdentifierIterator());
7318     return new ChainedIdentifierIterator(std::move(ReaderIter),
7319                                          std::move(ModulesIter));
7320   }
7321
7322   return new ASTIdentifierIterator(*this);
7323 }
7324
7325 namespace clang {
7326 namespace serialization {
7327
7328   class ReadMethodPoolVisitor {
7329     ASTReader &Reader;
7330     Selector Sel;
7331     unsigned PriorGeneration;
7332     unsigned InstanceBits;
7333     unsigned FactoryBits;
7334     bool InstanceHasMoreThanOneDecl;
7335     bool FactoryHasMoreThanOneDecl;
7336     SmallVector<ObjCMethodDecl *, 4> InstanceMethods;
7337     SmallVector<ObjCMethodDecl *, 4> FactoryMethods;
7338
7339   public:
7340     ReadMethodPoolVisitor(ASTReader &Reader, Selector Sel,
7341                           unsigned PriorGeneration)
7342         : Reader(Reader), Sel(Sel), PriorGeneration(PriorGeneration),
7343           InstanceBits(0), FactoryBits(0), InstanceHasMoreThanOneDecl(false),
7344           FactoryHasMoreThanOneDecl(false) {}
7345
7346     bool operator()(ModuleFile &M) {
7347       if (!M.SelectorLookupTable)
7348         return false;
7349
7350       // If we've already searched this module file, skip it now.
7351       if (M.Generation <= PriorGeneration)
7352         return true;
7353
7354       ++Reader.NumMethodPoolTableLookups;
7355       ASTSelectorLookupTable *PoolTable
7356         = (ASTSelectorLookupTable*)M.SelectorLookupTable;
7357       ASTSelectorLookupTable::iterator Pos = PoolTable->find(Sel);
7358       if (Pos == PoolTable->end())
7359         return false;
7360
7361       ++Reader.NumMethodPoolTableHits;
7362       ++Reader.NumSelectorsRead;
7363       // FIXME: Not quite happy with the statistics here. We probably should
7364       // disable this tracking when called via LoadSelector.
7365       // Also, should entries without methods count as misses?
7366       ++Reader.NumMethodPoolEntriesRead;
7367       ASTSelectorLookupTrait::data_type Data = *Pos;
7368       if (Reader.DeserializationListener)
7369         Reader.DeserializationListener->SelectorRead(Data.ID, Sel);
7370
7371       InstanceMethods.append(Data.Instance.begin(), Data.Instance.end());
7372       FactoryMethods.append(Data.Factory.begin(), Data.Factory.end());
7373       InstanceBits = Data.InstanceBits;
7374       FactoryBits = Data.FactoryBits;
7375       InstanceHasMoreThanOneDecl = Data.InstanceHasMoreThanOneDecl;
7376       FactoryHasMoreThanOneDecl = Data.FactoryHasMoreThanOneDecl;
7377       return true;
7378     }
7379
7380     /// \brief Retrieve the instance methods found by this visitor.
7381     ArrayRef<ObjCMethodDecl *> getInstanceMethods() const {
7382       return InstanceMethods;
7383     }
7384
7385     /// \brief Retrieve the instance methods found by this visitor.
7386     ArrayRef<ObjCMethodDecl *> getFactoryMethods() const {
7387       return FactoryMethods;
7388     }
7389
7390     unsigned getInstanceBits() const { return InstanceBits; }
7391     unsigned getFactoryBits() const { return FactoryBits; }
7392     bool instanceHasMoreThanOneDecl() const {
7393       return InstanceHasMoreThanOneDecl;
7394     }
7395     bool factoryHasMoreThanOneDecl() const { return FactoryHasMoreThanOneDecl; }
7396   };
7397
7398 } // end namespace serialization
7399 } // end namespace clang
7400
7401 /// \brief Add the given set of methods to the method list.
7402 static void addMethodsToPool(Sema &S, ArrayRef<ObjCMethodDecl *> Methods,
7403                              ObjCMethodList &List) {
7404   for (unsigned I = 0, N = Methods.size(); I != N; ++I) {
7405     S.addMethodToGlobalList(&List, Methods[I]);
7406   }
7407 }
7408
7409 void ASTReader::ReadMethodPool(Selector Sel) {
7410   // Get the selector generation and update it to the current generation.
7411   unsigned &Generation = SelectorGeneration[Sel];
7412   unsigned PriorGeneration = Generation;
7413   Generation = getGeneration();
7414   SelectorOutOfDate[Sel] = false;
7415
7416   // Search for methods defined with this selector.
7417   ++NumMethodPoolLookups;
7418   ReadMethodPoolVisitor Visitor(*this, Sel, PriorGeneration);
7419   ModuleMgr.visit(Visitor);
7420
7421   if (Visitor.getInstanceMethods().empty() &&
7422       Visitor.getFactoryMethods().empty())
7423     return;
7424
7425   ++NumMethodPoolHits;
7426
7427   if (!getSema())
7428     return;
7429
7430   Sema &S = *getSema();
7431   Sema::GlobalMethodPool::iterator Pos
7432     = S.MethodPool.insert(std::make_pair(Sel, Sema::GlobalMethods())).first;
7433
7434   Pos->second.first.setBits(Visitor.getInstanceBits());
7435   Pos->second.first.setHasMoreThanOneDecl(Visitor.instanceHasMoreThanOneDecl());
7436   Pos->second.second.setBits(Visitor.getFactoryBits());
7437   Pos->second.second.setHasMoreThanOneDecl(Visitor.factoryHasMoreThanOneDecl());
7438
7439   // Add methods to the global pool *after* setting hasMoreThanOneDecl, since
7440   // when building a module we keep every method individually and may need to
7441   // update hasMoreThanOneDecl as we add the methods.
7442   addMethodsToPool(S, Visitor.getInstanceMethods(), Pos->second.first);
7443   addMethodsToPool(S, Visitor.getFactoryMethods(), Pos->second.second);
7444 }
7445
7446 void ASTReader::updateOutOfDateSelector(Selector Sel) {
7447   if (SelectorOutOfDate[Sel])
7448     ReadMethodPool(Sel);
7449 }
7450
7451 void ASTReader::ReadKnownNamespaces(
7452                           SmallVectorImpl<NamespaceDecl *> &Namespaces) {
7453   Namespaces.clear();
7454
7455   for (unsigned I = 0, N = KnownNamespaces.size(); I != N; ++I) {
7456     if (NamespaceDecl *Namespace
7457                 = dyn_cast_or_null<NamespaceDecl>(GetDecl(KnownNamespaces[I])))
7458       Namespaces.push_back(Namespace);
7459   }
7460 }
7461
7462 void ASTReader::ReadUndefinedButUsed(
7463     llvm::MapVector<NamedDecl *, SourceLocation> &Undefined) {
7464   for (unsigned Idx = 0, N = UndefinedButUsed.size(); Idx != N;) {
7465     NamedDecl *D = cast<NamedDecl>(GetDecl(UndefinedButUsed[Idx++]));
7466     SourceLocation Loc =
7467         SourceLocation::getFromRawEncoding(UndefinedButUsed[Idx++]);
7468     Undefined.insert(std::make_pair(D, Loc));
7469   }
7470 }
7471
7472 void ASTReader::ReadMismatchingDeleteExpressions(llvm::MapVector<
7473     FieldDecl *, llvm::SmallVector<std::pair<SourceLocation, bool>, 4>> &
7474                                                      Exprs) {
7475   for (unsigned Idx = 0, N = DelayedDeleteExprs.size(); Idx != N;) {
7476     FieldDecl *FD = cast<FieldDecl>(GetDecl(DelayedDeleteExprs[Idx++]));
7477     uint64_t Count = DelayedDeleteExprs[Idx++];
7478     for (uint64_t C = 0; C < Count; ++C) {
7479       SourceLocation DeleteLoc =
7480           SourceLocation::getFromRawEncoding(DelayedDeleteExprs[Idx++]);
7481       const bool IsArrayForm = DelayedDeleteExprs[Idx++];
7482       Exprs[FD].push_back(std::make_pair(DeleteLoc, IsArrayForm));
7483     }
7484   }
7485 }
7486
7487 void ASTReader::ReadTentativeDefinitions(
7488                   SmallVectorImpl<VarDecl *> &TentativeDefs) {
7489   for (unsigned I = 0, N = TentativeDefinitions.size(); I != N; ++I) {
7490     VarDecl *Var = dyn_cast_or_null<VarDecl>(GetDecl(TentativeDefinitions[I]));
7491     if (Var)
7492       TentativeDefs.push_back(Var);
7493   }
7494   TentativeDefinitions.clear();
7495 }
7496
7497 void ASTReader::ReadUnusedFileScopedDecls(
7498                                SmallVectorImpl<const DeclaratorDecl *> &Decls) {
7499   for (unsigned I = 0, N = UnusedFileScopedDecls.size(); I != N; ++I) {
7500     DeclaratorDecl *D
7501       = dyn_cast_or_null<DeclaratorDecl>(GetDecl(UnusedFileScopedDecls[I]));
7502     if (D)
7503       Decls.push_back(D);
7504   }
7505   UnusedFileScopedDecls.clear();
7506 }
7507
7508 void ASTReader::ReadDelegatingConstructors(
7509                                  SmallVectorImpl<CXXConstructorDecl *> &Decls) {
7510   for (unsigned I = 0, N = DelegatingCtorDecls.size(); I != N; ++I) {
7511     CXXConstructorDecl *D
7512       = dyn_cast_or_null<CXXConstructorDecl>(GetDecl(DelegatingCtorDecls[I]));
7513     if (D)
7514       Decls.push_back(D);
7515   }
7516   DelegatingCtorDecls.clear();
7517 }
7518
7519 void ASTReader::ReadExtVectorDecls(SmallVectorImpl<TypedefNameDecl *> &Decls) {
7520   for (unsigned I = 0, N = ExtVectorDecls.size(); I != N; ++I) {
7521     TypedefNameDecl *D
7522       = dyn_cast_or_null<TypedefNameDecl>(GetDecl(ExtVectorDecls[I]));
7523     if (D)
7524       Decls.push_back(D);
7525   }
7526   ExtVectorDecls.clear();
7527 }
7528
7529 void ASTReader::ReadUnusedLocalTypedefNameCandidates(
7530     llvm::SmallSetVector<const TypedefNameDecl *, 4> &Decls) {
7531   for (unsigned I = 0, N = UnusedLocalTypedefNameCandidates.size(); I != N;
7532        ++I) {
7533     TypedefNameDecl *D = dyn_cast_or_null<TypedefNameDecl>(
7534         GetDecl(UnusedLocalTypedefNameCandidates[I]));
7535     if (D)
7536       Decls.insert(D);
7537   }
7538   UnusedLocalTypedefNameCandidates.clear();
7539 }
7540
7541 void ASTReader::ReadReferencedSelectors(
7542        SmallVectorImpl<std::pair<Selector, SourceLocation> > &Sels) {
7543   if (ReferencedSelectorsData.empty())
7544     return;
7545
7546   // If there are @selector references added them to its pool. This is for
7547   // implementation of -Wselector.
7548   unsigned int DataSize = ReferencedSelectorsData.size()-1;
7549   unsigned I = 0;
7550   while (I < DataSize) {
7551     Selector Sel = DecodeSelector(ReferencedSelectorsData[I++]);
7552     SourceLocation SelLoc
7553       = SourceLocation::getFromRawEncoding(ReferencedSelectorsData[I++]);
7554     Sels.push_back(std::make_pair(Sel, SelLoc));
7555   }
7556   ReferencedSelectorsData.clear();
7557 }
7558
7559 void ASTReader::ReadWeakUndeclaredIdentifiers(
7560        SmallVectorImpl<std::pair<IdentifierInfo *, WeakInfo> > &WeakIDs) {
7561   if (WeakUndeclaredIdentifiers.empty())
7562     return;
7563
7564   for (unsigned I = 0, N = WeakUndeclaredIdentifiers.size(); I < N; /*none*/) {
7565     IdentifierInfo *WeakId
7566       = DecodeIdentifierInfo(WeakUndeclaredIdentifiers[I++]);
7567     IdentifierInfo *AliasId
7568       = DecodeIdentifierInfo(WeakUndeclaredIdentifiers[I++]);
7569     SourceLocation Loc
7570       = SourceLocation::getFromRawEncoding(WeakUndeclaredIdentifiers[I++]);
7571     bool Used = WeakUndeclaredIdentifiers[I++];
7572     WeakInfo WI(AliasId, Loc);
7573     WI.setUsed(Used);
7574     WeakIDs.push_back(std::make_pair(WeakId, WI));
7575   }
7576   WeakUndeclaredIdentifiers.clear();
7577 }
7578
7579 void ASTReader::ReadUsedVTables(SmallVectorImpl<ExternalVTableUse> &VTables) {
7580   for (unsigned Idx = 0, N = VTableUses.size(); Idx < N; /* In loop */) {
7581     ExternalVTableUse VT;
7582     VT.Record = dyn_cast_or_null<CXXRecordDecl>(GetDecl(VTableUses[Idx++]));
7583     VT.Location = SourceLocation::getFromRawEncoding(VTableUses[Idx++]);
7584     VT.DefinitionRequired = VTableUses[Idx++];
7585     VTables.push_back(VT);
7586   }
7587
7588   VTableUses.clear();
7589 }
7590
7591 void ASTReader::ReadPendingInstantiations(
7592        SmallVectorImpl<std::pair<ValueDecl *, SourceLocation> > &Pending) {
7593   for (unsigned Idx = 0, N = PendingInstantiations.size(); Idx < N;) {
7594     ValueDecl *D = cast<ValueDecl>(GetDecl(PendingInstantiations[Idx++]));
7595     SourceLocation Loc
7596       = SourceLocation::getFromRawEncoding(PendingInstantiations[Idx++]);
7597
7598     Pending.push_back(std::make_pair(D, Loc));
7599   }
7600   PendingInstantiations.clear();
7601 }
7602
7603 void ASTReader::ReadLateParsedTemplates(
7604     llvm::MapVector<const FunctionDecl *, std::unique_ptr<LateParsedTemplate>>
7605         &LPTMap) {
7606   for (unsigned Idx = 0, N = LateParsedTemplates.size(); Idx < N;
7607        /* In loop */) {
7608     FunctionDecl *FD = cast<FunctionDecl>(GetDecl(LateParsedTemplates[Idx++]));
7609
7610     auto LT = llvm::make_unique<LateParsedTemplate>();
7611     LT->D = GetDecl(LateParsedTemplates[Idx++]);
7612
7613     ModuleFile *F = getOwningModuleFile(LT->D);
7614     assert(F && "No module");
7615
7616     unsigned TokN = LateParsedTemplates[Idx++];
7617     LT->Toks.reserve(TokN);
7618     for (unsigned T = 0; T < TokN; ++T)
7619       LT->Toks.push_back(ReadToken(*F, LateParsedTemplates, Idx));
7620
7621     LPTMap.insert(std::make_pair(FD, std::move(LT)));
7622   }
7623
7624   LateParsedTemplates.clear();
7625 }
7626
7627 void ASTReader::LoadSelector(Selector Sel) {
7628   // It would be complicated to avoid reading the methods anyway. So don't.
7629   ReadMethodPool(Sel);
7630 }
7631
7632 void ASTReader::SetIdentifierInfo(IdentifierID ID, IdentifierInfo *II) {
7633   assert(ID && "Non-zero identifier ID required");
7634   assert(ID <= IdentifiersLoaded.size() && "identifier ID out of range");
7635   IdentifiersLoaded[ID - 1] = II;
7636   if (DeserializationListener)
7637     DeserializationListener->IdentifierRead(ID, II);
7638 }
7639
7640 /// \brief Set the globally-visible declarations associated with the given
7641 /// identifier.
7642 ///
7643 /// If the AST reader is currently in a state where the given declaration IDs
7644 /// cannot safely be resolved, they are queued until it is safe to resolve
7645 /// them.
7646 ///
7647 /// \param II an IdentifierInfo that refers to one or more globally-visible
7648 /// declarations.
7649 ///
7650 /// \param DeclIDs the set of declaration IDs with the name @p II that are
7651 /// visible at global scope.
7652 ///
7653 /// \param Decls if non-null, this vector will be populated with the set of
7654 /// deserialized declarations. These declarations will not be pushed into
7655 /// scope.
7656 void
7657 ASTReader::SetGloballyVisibleDecls(IdentifierInfo *II,
7658                               const SmallVectorImpl<uint32_t> &DeclIDs,
7659                                    SmallVectorImpl<Decl *> *Decls) {
7660   if (NumCurrentElementsDeserializing && !Decls) {
7661     PendingIdentifierInfos[II].append(DeclIDs.begin(), DeclIDs.end());
7662     return;
7663   }
7664
7665   for (unsigned I = 0, N = DeclIDs.size(); I != N; ++I) {
7666     if (!SemaObj) {
7667       // Queue this declaration so that it will be added to the
7668       // translation unit scope and identifier's declaration chain
7669       // once a Sema object is known.
7670       PreloadedDeclIDs.push_back(DeclIDs[I]);
7671       continue;
7672     }
7673
7674     NamedDecl *D = cast<NamedDecl>(GetDecl(DeclIDs[I]));
7675
7676     // If we're simply supposed to record the declarations, do so now.
7677     if (Decls) {
7678       Decls->push_back(D);
7679       continue;
7680     }
7681
7682     // Introduce this declaration into the translation-unit scope
7683     // and add it to the declaration chain for this identifier, so
7684     // that (unqualified) name lookup will find it.
7685     pushExternalDeclIntoScope(D, II);
7686   }
7687 }
7688
7689 IdentifierInfo *ASTReader::DecodeIdentifierInfo(IdentifierID ID) {
7690   if (ID == 0)
7691     return nullptr;
7692
7693   if (IdentifiersLoaded.empty()) {
7694     Error("no identifier table in AST file");
7695     return nullptr;
7696   }
7697
7698   ID -= 1;
7699   if (!IdentifiersLoaded[ID]) {
7700     GlobalIdentifierMapType::iterator I = GlobalIdentifierMap.find(ID + 1);
7701     assert(I != GlobalIdentifierMap.end() && "Corrupted global identifier map");
7702     ModuleFile *M = I->second;
7703     unsigned Index = ID - M->BaseIdentifierID;
7704     const char *Str = M->IdentifierTableData + M->IdentifierOffsets[Index];
7705
7706     // All of the strings in the AST file are preceded by a 16-bit length.
7707     // Extract that 16-bit length to avoid having to execute strlen().
7708     // NOTE: 'StrLenPtr' is an 'unsigned char*' so that we load bytes as
7709     //  unsigned integers.  This is important to avoid integer overflow when
7710     //  we cast them to 'unsigned'.
7711     const unsigned char *StrLenPtr = (const unsigned char*) Str - 2;
7712     unsigned StrLen = (((unsigned) StrLenPtr[0])
7713                        | (((unsigned) StrLenPtr[1]) << 8)) - 1;
7714     auto &II = PP.getIdentifierTable().get(StringRef(Str, StrLen));
7715     IdentifiersLoaded[ID] = &II;
7716     markIdentifierFromAST(*this,  II);
7717     if (DeserializationListener)
7718       DeserializationListener->IdentifierRead(ID + 1, &II);
7719   }
7720
7721   return IdentifiersLoaded[ID];
7722 }
7723
7724 IdentifierInfo *ASTReader::getLocalIdentifier(ModuleFile &M, unsigned LocalID) {
7725   return DecodeIdentifierInfo(getGlobalIdentifierID(M, LocalID));
7726 }
7727
7728 IdentifierID ASTReader::getGlobalIdentifierID(ModuleFile &M, unsigned LocalID) {
7729   if (LocalID < NUM_PREDEF_IDENT_IDS)
7730     return LocalID;
7731
7732   ContinuousRangeMap<uint32_t, int, 2>::iterator I
7733     = M.IdentifierRemap.find(LocalID - NUM_PREDEF_IDENT_IDS);
7734   assert(I != M.IdentifierRemap.end()
7735          && "Invalid index into identifier index remap");
7736
7737   return LocalID + I->second;
7738 }
7739
7740 MacroInfo *ASTReader::getMacro(MacroID ID) {
7741   if (ID == 0)
7742     return nullptr;
7743
7744   if (MacrosLoaded.empty()) {
7745     Error("no macro table in AST file");
7746     return nullptr;
7747   }
7748
7749   ID -= NUM_PREDEF_MACRO_IDS;
7750   if (!MacrosLoaded[ID]) {
7751     GlobalMacroMapType::iterator I
7752       = GlobalMacroMap.find(ID + NUM_PREDEF_MACRO_IDS);
7753     assert(I != GlobalMacroMap.end() && "Corrupted global macro map");
7754     ModuleFile *M = I->second;
7755     unsigned Index = ID - M->BaseMacroID;
7756     MacrosLoaded[ID] = ReadMacroRecord(*M, M->MacroOffsets[Index]);
7757
7758     if (DeserializationListener)
7759       DeserializationListener->MacroRead(ID + NUM_PREDEF_MACRO_IDS,
7760                                          MacrosLoaded[ID]);
7761   }
7762
7763   return MacrosLoaded[ID];
7764 }
7765
7766 MacroID ASTReader::getGlobalMacroID(ModuleFile &M, unsigned LocalID) {
7767   if (LocalID < NUM_PREDEF_MACRO_IDS)
7768     return LocalID;
7769
7770   ContinuousRangeMap<uint32_t, int, 2>::iterator I
7771     = M.MacroRemap.find(LocalID - NUM_PREDEF_MACRO_IDS);
7772   assert(I != M.MacroRemap.end() && "Invalid index into macro index remap");
7773
7774   return LocalID + I->second;
7775 }
7776
7777 serialization::SubmoduleID
7778 ASTReader::getGlobalSubmoduleID(ModuleFile &M, unsigned LocalID) {
7779   if (LocalID < NUM_PREDEF_SUBMODULE_IDS)
7780     return LocalID;
7781
7782   ContinuousRangeMap<uint32_t, int, 2>::iterator I
7783     = M.SubmoduleRemap.find(LocalID - NUM_PREDEF_SUBMODULE_IDS);
7784   assert(I != M.SubmoduleRemap.end()
7785          && "Invalid index into submodule index remap");
7786
7787   return LocalID + I->second;
7788 }
7789
7790 Module *ASTReader::getSubmodule(SubmoduleID GlobalID) {
7791   if (GlobalID < NUM_PREDEF_SUBMODULE_IDS) {
7792     assert(GlobalID == 0 && "Unhandled global submodule ID");
7793     return nullptr;
7794   }
7795
7796   if (GlobalID > SubmodulesLoaded.size()) {
7797     Error("submodule ID out of range in AST file");
7798     return nullptr;
7799   }
7800
7801   return SubmodulesLoaded[GlobalID - NUM_PREDEF_SUBMODULE_IDS];
7802 }
7803
7804 Module *ASTReader::getModule(unsigned ID) {
7805   return getSubmodule(ID);
7806 }
7807
7808 ModuleFile *ASTReader::getLocalModuleFile(ModuleFile &F, unsigned ID) {
7809   if (ID & 1) {
7810     // It's a module, look it up by submodule ID.
7811     auto I = GlobalSubmoduleMap.find(getGlobalSubmoduleID(F, ID >> 1));
7812     return I == GlobalSubmoduleMap.end() ? nullptr : I->second;
7813   } else {
7814     // It's a prefix (preamble, PCH, ...). Look it up by index.
7815     unsigned IndexFromEnd = ID >> 1;
7816     assert(IndexFromEnd && "got reference to unknown module file");
7817     return getModuleManager().pch_modules().end()[-IndexFromEnd];
7818   }
7819 }
7820
7821 unsigned ASTReader::getModuleFileID(ModuleFile *F) {
7822   if (!F)
7823     return 1;
7824
7825   // For a file representing a module, use the submodule ID of the top-level
7826   // module as the file ID. For any other kind of file, the number of such
7827   // files loaded beforehand will be the same on reload.
7828   // FIXME: Is this true even if we have an explicit module file and a PCH?
7829   if (F->isModule())
7830     return ((F->BaseSubmoduleID + NUM_PREDEF_SUBMODULE_IDS) << 1) | 1;
7831
7832   auto PCHModules = getModuleManager().pch_modules();
7833   auto I = std::find(PCHModules.begin(), PCHModules.end(), F);
7834   assert(I != PCHModules.end() && "emitting reference to unknown file");
7835   return (I - PCHModules.end()) << 1;
7836 }
7837
7838 llvm::Optional<ExternalASTSource::ASTSourceDescriptor>
7839 ASTReader::getSourceDescriptor(unsigned ID) {
7840   if (const Module *M = getSubmodule(ID))
7841     return ExternalASTSource::ASTSourceDescriptor(*M);
7842
7843   // If there is only a single PCH, return it instead.
7844   // Chained PCH are not suported.
7845   if (ModuleMgr.size() == 1) {
7846     ModuleFile &MF = ModuleMgr.getPrimaryModule();
7847     StringRef ModuleName = llvm::sys::path::filename(MF.OriginalSourceFileName);
7848     StringRef FileName = llvm::sys::path::filename(MF.FileName);
7849     return ASTReader::ASTSourceDescriptor(ModuleName, MF.OriginalDir, FileName,
7850                                           MF.Signature);
7851   }
7852   return None;
7853 }
7854
7855 Selector ASTReader::getLocalSelector(ModuleFile &M, unsigned LocalID) {
7856   return DecodeSelector(getGlobalSelectorID(M, LocalID));
7857 }
7858
7859 Selector ASTReader::DecodeSelector(serialization::SelectorID ID) {
7860   if (ID == 0)
7861     return Selector();
7862
7863   if (ID > SelectorsLoaded.size()) {
7864     Error("selector ID out of range in AST file");
7865     return Selector();
7866   }
7867
7868   if (SelectorsLoaded[ID - 1].getAsOpaquePtr() == nullptr) {
7869     // Load this selector from the selector table.
7870     GlobalSelectorMapType::iterator I = GlobalSelectorMap.find(ID);
7871     assert(I != GlobalSelectorMap.end() && "Corrupted global selector map");
7872     ModuleFile &M = *I->second;
7873     ASTSelectorLookupTrait Trait(*this, M);
7874     unsigned Idx = ID - M.BaseSelectorID - NUM_PREDEF_SELECTOR_IDS;
7875     SelectorsLoaded[ID - 1] =
7876       Trait.ReadKey(M.SelectorLookupTableData + M.SelectorOffsets[Idx], 0);
7877     if (DeserializationListener)
7878       DeserializationListener->SelectorRead(ID, SelectorsLoaded[ID - 1]);
7879   }
7880
7881   return SelectorsLoaded[ID - 1];
7882 }
7883
7884 Selector ASTReader::GetExternalSelector(serialization::SelectorID ID) {
7885   return DecodeSelector(ID);
7886 }
7887
7888 uint32_t ASTReader::GetNumExternalSelectors() {
7889   // ID 0 (the null selector) is considered an external selector.
7890   return getTotalNumSelectors() + 1;
7891 }
7892
7893 serialization::SelectorID
7894 ASTReader::getGlobalSelectorID(ModuleFile &M, unsigned LocalID) const {
7895   if (LocalID < NUM_PREDEF_SELECTOR_IDS)
7896     return LocalID;
7897
7898   ContinuousRangeMap<uint32_t, int, 2>::iterator I
7899     = M.SelectorRemap.find(LocalID - NUM_PREDEF_SELECTOR_IDS);
7900   assert(I != M.SelectorRemap.end()
7901          && "Invalid index into selector index remap");
7902
7903   return LocalID + I->second;
7904 }
7905
7906 DeclarationName
7907 ASTReader::ReadDeclarationName(ModuleFile &F,
7908                                const RecordData &Record, unsigned &Idx) {
7909   DeclarationName::NameKind Kind = (DeclarationName::NameKind)Record[Idx++];
7910   switch (Kind) {
7911   case DeclarationName::Identifier:
7912     return DeclarationName(GetIdentifierInfo(F, Record, Idx));
7913
7914   case DeclarationName::ObjCZeroArgSelector:
7915   case DeclarationName::ObjCOneArgSelector:
7916   case DeclarationName::ObjCMultiArgSelector:
7917     return DeclarationName(ReadSelector(F, Record, Idx));
7918
7919   case DeclarationName::CXXConstructorName:
7920     return Context.DeclarationNames.getCXXConstructorName(
7921                           Context.getCanonicalType(readType(F, Record, Idx)));
7922
7923   case DeclarationName::CXXDestructorName:
7924     return Context.DeclarationNames.getCXXDestructorName(
7925                           Context.getCanonicalType(readType(F, Record, Idx)));
7926
7927   case DeclarationName::CXXConversionFunctionName:
7928     return Context.DeclarationNames.getCXXConversionFunctionName(
7929                           Context.getCanonicalType(readType(F, Record, Idx)));
7930
7931   case DeclarationName::CXXOperatorName:
7932     return Context.DeclarationNames.getCXXOperatorName(
7933                                        (OverloadedOperatorKind)Record[Idx++]);
7934
7935   case DeclarationName::CXXLiteralOperatorName:
7936     return Context.DeclarationNames.getCXXLiteralOperatorName(
7937                                        GetIdentifierInfo(F, Record, Idx));
7938
7939   case DeclarationName::CXXUsingDirective:
7940     return DeclarationName::getUsingDirectiveName();
7941   }
7942
7943   llvm_unreachable("Invalid NameKind!");
7944 }
7945
7946 void ASTReader::ReadDeclarationNameLoc(ModuleFile &F,
7947                                        DeclarationNameLoc &DNLoc,
7948                                        DeclarationName Name,
7949                                       const RecordData &Record, unsigned &Idx) {
7950   switch (Name.getNameKind()) {
7951   case DeclarationName::CXXConstructorName:
7952   case DeclarationName::CXXDestructorName:
7953   case DeclarationName::CXXConversionFunctionName:
7954     DNLoc.NamedType.TInfo = GetTypeSourceInfo(F, Record, Idx);
7955     break;
7956
7957   case DeclarationName::CXXOperatorName:
7958     DNLoc.CXXOperatorName.BeginOpNameLoc
7959         = ReadSourceLocation(F, Record, Idx).getRawEncoding();
7960     DNLoc.CXXOperatorName.EndOpNameLoc
7961         = ReadSourceLocation(F, Record, Idx).getRawEncoding();
7962     break;
7963
7964   case DeclarationName::CXXLiteralOperatorName:
7965     DNLoc.CXXLiteralOperatorName.OpNameLoc
7966         = ReadSourceLocation(F, Record, Idx).getRawEncoding();
7967     break;
7968
7969   case DeclarationName::Identifier:
7970   case DeclarationName::ObjCZeroArgSelector:
7971   case DeclarationName::ObjCOneArgSelector:
7972   case DeclarationName::ObjCMultiArgSelector:
7973   case DeclarationName::CXXUsingDirective:
7974     break;
7975   }
7976 }
7977
7978 void ASTReader::ReadDeclarationNameInfo(ModuleFile &F,
7979                                         DeclarationNameInfo &NameInfo,
7980                                       const RecordData &Record, unsigned &Idx) {
7981   NameInfo.setName(ReadDeclarationName(F, Record, Idx));
7982   NameInfo.setLoc(ReadSourceLocation(F, Record, Idx));
7983   DeclarationNameLoc DNLoc;
7984   ReadDeclarationNameLoc(F, DNLoc, NameInfo.getName(), Record, Idx);
7985   NameInfo.setInfo(DNLoc);
7986 }
7987
7988 void ASTReader::ReadQualifierInfo(ModuleFile &F, QualifierInfo &Info,
7989                                   const RecordData &Record, unsigned &Idx) {
7990   Info.QualifierLoc = ReadNestedNameSpecifierLoc(F, Record, Idx);
7991   unsigned NumTPLists = Record[Idx++];
7992   Info.NumTemplParamLists = NumTPLists;
7993   if (NumTPLists) {
7994     Info.TemplParamLists = new (Context) TemplateParameterList*[NumTPLists];
7995     for (unsigned i = 0; i != NumTPLists; ++i)
7996       Info.TemplParamLists[i] = ReadTemplateParameterList(F, Record, Idx);
7997   }
7998 }
7999
8000 TemplateName
8001 ASTReader::ReadTemplateName(ModuleFile &F, const RecordData &Record,
8002                             unsigned &Idx) {
8003   TemplateName::NameKind Kind = (TemplateName::NameKind)Record[Idx++];
8004   switch (Kind) {
8005   case TemplateName::Template:
8006       return TemplateName(ReadDeclAs<TemplateDecl>(F, Record, Idx));
8007
8008   case TemplateName::OverloadedTemplate: {
8009     unsigned size = Record[Idx++];
8010     UnresolvedSet<8> Decls;
8011     while (size--)
8012       Decls.addDecl(ReadDeclAs<NamedDecl>(F, Record, Idx));
8013
8014     return Context.getOverloadedTemplateName(Decls.begin(), Decls.end());
8015   }
8016
8017   case TemplateName::QualifiedTemplate: {
8018     NestedNameSpecifier *NNS = ReadNestedNameSpecifier(F, Record, Idx);
8019     bool hasTemplKeyword = Record[Idx++];
8020     TemplateDecl *Template = ReadDeclAs<TemplateDecl>(F, Record, Idx);
8021     return Context.getQualifiedTemplateName(NNS, hasTemplKeyword, Template);
8022   }
8023
8024   case TemplateName::DependentTemplate: {
8025     NestedNameSpecifier *NNS = ReadNestedNameSpecifier(F, Record, Idx);
8026     if (Record[Idx++])  // isIdentifier
8027       return Context.getDependentTemplateName(NNS,
8028                                                GetIdentifierInfo(F, Record,
8029                                                                  Idx));
8030     return Context.getDependentTemplateName(NNS,
8031                                          (OverloadedOperatorKind)Record[Idx++]);
8032   }
8033
8034   case TemplateName::SubstTemplateTemplateParm: {
8035     TemplateTemplateParmDecl *param
8036       = ReadDeclAs<TemplateTemplateParmDecl>(F, Record, Idx);
8037     if (!param) return TemplateName();
8038     TemplateName replacement = ReadTemplateName(F, Record, Idx);
8039     return Context.getSubstTemplateTemplateParm(param, replacement);
8040   }
8041
8042   case TemplateName::SubstTemplateTemplateParmPack: {
8043     TemplateTemplateParmDecl *Param
8044       = ReadDeclAs<TemplateTemplateParmDecl>(F, Record, Idx);
8045     if (!Param)
8046       return TemplateName();
8047
8048     TemplateArgument ArgPack = ReadTemplateArgument(F, Record, Idx);
8049     if (ArgPack.getKind() != TemplateArgument::Pack)
8050       return TemplateName();
8051
8052     return Context.getSubstTemplateTemplateParmPack(Param, ArgPack);
8053   }
8054   }
8055
8056   llvm_unreachable("Unhandled template name kind!");
8057 }
8058
8059 TemplateArgument ASTReader::ReadTemplateArgument(ModuleFile &F,
8060                                                  const RecordData &Record,
8061                                                  unsigned &Idx,
8062                                                  bool Canonicalize) {
8063   if (Canonicalize) {
8064     // The caller wants a canonical template argument. Sometimes the AST only
8065     // wants template arguments in canonical form (particularly as the template
8066     // argument lists of template specializations) so ensure we preserve that
8067     // canonical form across serialization.
8068     TemplateArgument Arg = ReadTemplateArgument(F, Record, Idx, false);
8069     return Context.getCanonicalTemplateArgument(Arg);
8070   }
8071
8072   TemplateArgument::ArgKind Kind = (TemplateArgument::ArgKind)Record[Idx++];
8073   switch (Kind) {
8074   case TemplateArgument::Null:
8075     return TemplateArgument();
8076   case TemplateArgument::Type:
8077     return TemplateArgument(readType(F, Record, Idx));
8078   case TemplateArgument::Declaration: {
8079     ValueDecl *D = ReadDeclAs<ValueDecl>(F, Record, Idx);
8080     return TemplateArgument(D, readType(F, Record, Idx));
8081   }
8082   case TemplateArgument::NullPtr:
8083     return TemplateArgument(readType(F, Record, Idx), /*isNullPtr*/true);
8084   case TemplateArgument::Integral: {
8085     llvm::APSInt Value = ReadAPSInt(Record, Idx);
8086     QualType T = readType(F, Record, Idx);
8087     return TemplateArgument(Context, Value, T);
8088   }
8089   case TemplateArgument::Template:
8090     return TemplateArgument(ReadTemplateName(F, Record, Idx));
8091   case TemplateArgument::TemplateExpansion: {
8092     TemplateName Name = ReadTemplateName(F, Record, Idx);
8093     Optional<unsigned> NumTemplateExpansions;
8094     if (unsigned NumExpansions = Record[Idx++])
8095       NumTemplateExpansions = NumExpansions - 1;
8096     return TemplateArgument(Name, NumTemplateExpansions);
8097   }
8098   case TemplateArgument::Expression:
8099     return TemplateArgument(ReadExpr(F));
8100   case TemplateArgument::Pack: {
8101     unsigned NumArgs = Record[Idx++];
8102     TemplateArgument *Args = new (Context) TemplateArgument[NumArgs];
8103     for (unsigned I = 0; I != NumArgs; ++I)
8104       Args[I] = ReadTemplateArgument(F, Record, Idx);
8105     return TemplateArgument(llvm::makeArrayRef(Args, NumArgs));
8106   }
8107   }
8108
8109   llvm_unreachable("Unhandled template argument kind!");
8110 }
8111
8112 TemplateParameterList *
8113 ASTReader::ReadTemplateParameterList(ModuleFile &F,
8114                                      const RecordData &Record, unsigned &Idx) {
8115   SourceLocation TemplateLoc = ReadSourceLocation(F, Record, Idx);
8116   SourceLocation LAngleLoc = ReadSourceLocation(F, Record, Idx);
8117   SourceLocation RAngleLoc = ReadSourceLocation(F, Record, Idx);
8118
8119   unsigned NumParams = Record[Idx++];
8120   SmallVector<NamedDecl *, 16> Params;
8121   Params.reserve(NumParams);
8122   while (NumParams--)
8123     Params.push_back(ReadDeclAs<NamedDecl>(F, Record, Idx));
8124
8125   // TODO: Concepts
8126   TemplateParameterList* TemplateParams =
8127     TemplateParameterList::Create(Context, TemplateLoc, LAngleLoc,
8128                                   Params, RAngleLoc, nullptr);
8129   return TemplateParams;
8130 }
8131
8132 void
8133 ASTReader::
8134 ReadTemplateArgumentList(SmallVectorImpl<TemplateArgument> &TemplArgs,
8135                          ModuleFile &F, const RecordData &Record,
8136                          unsigned &Idx, bool Canonicalize) {
8137   unsigned NumTemplateArgs = Record[Idx++];
8138   TemplArgs.reserve(NumTemplateArgs);
8139   while (NumTemplateArgs--)
8140     TemplArgs.push_back(ReadTemplateArgument(F, Record, Idx, Canonicalize));
8141 }
8142
8143 /// \brief Read a UnresolvedSet structure.
8144 void ASTReader::ReadUnresolvedSet(ModuleFile &F, LazyASTUnresolvedSet &Set,
8145                                   const RecordData &Record, unsigned &Idx) {
8146   unsigned NumDecls = Record[Idx++];
8147   Set.reserve(Context, NumDecls);
8148   while (NumDecls--) {
8149     DeclID ID = ReadDeclID(F, Record, Idx);
8150     AccessSpecifier AS = (AccessSpecifier)Record[Idx++];
8151     Set.addLazyDecl(Context, ID, AS);
8152   }
8153 }
8154
8155 CXXBaseSpecifier
8156 ASTReader::ReadCXXBaseSpecifier(ModuleFile &F,
8157                                 const RecordData &Record, unsigned &Idx) {
8158   bool isVirtual = static_cast<bool>(Record[Idx++]);
8159   bool isBaseOfClass = static_cast<bool>(Record[Idx++]);
8160   AccessSpecifier AS = static_cast<AccessSpecifier>(Record[Idx++]);
8161   bool inheritConstructors = static_cast<bool>(Record[Idx++]);
8162   TypeSourceInfo *TInfo = GetTypeSourceInfo(F, Record, Idx);
8163   SourceRange Range = ReadSourceRange(F, Record, Idx);
8164   SourceLocation EllipsisLoc = ReadSourceLocation(F, Record, Idx);
8165   CXXBaseSpecifier Result(Range, isVirtual, isBaseOfClass, AS, TInfo,
8166                           EllipsisLoc);
8167   Result.setInheritConstructors(inheritConstructors);
8168   return Result;
8169 }
8170
8171 CXXCtorInitializer **
8172 ASTReader::ReadCXXCtorInitializers(ModuleFile &F, const RecordData &Record,
8173                                    unsigned &Idx) {
8174   unsigned NumInitializers = Record[Idx++];
8175   assert(NumInitializers && "wrote ctor initializers but have no inits");
8176   auto **CtorInitializers = new (Context) CXXCtorInitializer*[NumInitializers];
8177   for (unsigned i = 0; i != NumInitializers; ++i) {
8178     TypeSourceInfo *TInfo = nullptr;
8179     bool IsBaseVirtual = false;
8180     FieldDecl *Member = nullptr;
8181     IndirectFieldDecl *IndirectMember = nullptr;
8182
8183     CtorInitializerType Type = (CtorInitializerType)Record[Idx++];
8184     switch (Type) {
8185     case CTOR_INITIALIZER_BASE:
8186       TInfo = GetTypeSourceInfo(F, Record, Idx);
8187       IsBaseVirtual = Record[Idx++];
8188       break;
8189
8190     case CTOR_INITIALIZER_DELEGATING:
8191       TInfo = GetTypeSourceInfo(F, Record, Idx);
8192       break;
8193
8194      case CTOR_INITIALIZER_MEMBER:
8195       Member = ReadDeclAs<FieldDecl>(F, Record, Idx);
8196       break;
8197
8198      case CTOR_INITIALIZER_INDIRECT_MEMBER:
8199       IndirectMember = ReadDeclAs<IndirectFieldDecl>(F, Record, Idx);
8200       break;
8201     }
8202
8203     SourceLocation MemberOrEllipsisLoc = ReadSourceLocation(F, Record, Idx);
8204     Expr *Init = ReadExpr(F);
8205     SourceLocation LParenLoc = ReadSourceLocation(F, Record, Idx);
8206     SourceLocation RParenLoc = ReadSourceLocation(F, Record, Idx);
8207
8208     CXXCtorInitializer *BOMInit;
8209     if (Type == CTOR_INITIALIZER_BASE)
8210       BOMInit = new (Context)
8211           CXXCtorInitializer(Context, TInfo, IsBaseVirtual, LParenLoc, Init,
8212                              RParenLoc, MemberOrEllipsisLoc);
8213     else if (Type == CTOR_INITIALIZER_DELEGATING)
8214       BOMInit = new (Context)
8215           CXXCtorInitializer(Context, TInfo, LParenLoc, Init, RParenLoc);
8216     else if (Member)
8217       BOMInit = new (Context)
8218           CXXCtorInitializer(Context, Member, MemberOrEllipsisLoc, LParenLoc,
8219                              Init, RParenLoc);
8220     else
8221       BOMInit = new (Context)
8222           CXXCtorInitializer(Context, IndirectMember, MemberOrEllipsisLoc,
8223                              LParenLoc, Init, RParenLoc);
8224
8225     if (/*IsWritten*/Record[Idx++]) {
8226       unsigned SourceOrder = Record[Idx++];
8227       BOMInit->setSourceOrder(SourceOrder);
8228     }
8229
8230     CtorInitializers[i] = BOMInit;
8231   }
8232
8233   return CtorInitializers;
8234 }
8235
8236 NestedNameSpecifier *
8237 ASTReader::ReadNestedNameSpecifier(ModuleFile &F,
8238                                    const RecordData &Record, unsigned &Idx) {
8239   unsigned N = Record[Idx++];
8240   NestedNameSpecifier *NNS = nullptr, *Prev = nullptr;
8241   for (unsigned I = 0; I != N; ++I) {
8242     NestedNameSpecifier::SpecifierKind Kind
8243       = (NestedNameSpecifier::SpecifierKind)Record[Idx++];
8244     switch (Kind) {
8245     case NestedNameSpecifier::Identifier: {
8246       IdentifierInfo *II = GetIdentifierInfo(F, Record, Idx);
8247       NNS = NestedNameSpecifier::Create(Context, Prev, II);
8248       break;
8249     }
8250
8251     case NestedNameSpecifier::Namespace: {
8252       NamespaceDecl *NS = ReadDeclAs<NamespaceDecl>(F, Record, Idx);
8253       NNS = NestedNameSpecifier::Create(Context, Prev, NS);
8254       break;
8255     }
8256
8257     case NestedNameSpecifier::NamespaceAlias: {
8258       NamespaceAliasDecl *Alias =ReadDeclAs<NamespaceAliasDecl>(F, Record, Idx);
8259       NNS = NestedNameSpecifier::Create(Context, Prev, Alias);
8260       break;
8261     }
8262
8263     case NestedNameSpecifier::TypeSpec:
8264     case NestedNameSpecifier::TypeSpecWithTemplate: {
8265       const Type *T = readType(F, Record, Idx).getTypePtrOrNull();
8266       if (!T)
8267         return nullptr;
8268
8269       bool Template = Record[Idx++];
8270       NNS = NestedNameSpecifier::Create(Context, Prev, Template, T);
8271       break;
8272     }
8273
8274     case NestedNameSpecifier::Global: {
8275       NNS = NestedNameSpecifier::GlobalSpecifier(Context);
8276       // No associated value, and there can't be a prefix.
8277       break;
8278     }
8279
8280     case NestedNameSpecifier::Super: {
8281       CXXRecordDecl *RD = ReadDeclAs<CXXRecordDecl>(F, Record, Idx);
8282       NNS = NestedNameSpecifier::SuperSpecifier(Context, RD);
8283       break;
8284     }
8285     }
8286     Prev = NNS;
8287   }
8288   return NNS;
8289 }
8290
8291 NestedNameSpecifierLoc
8292 ASTReader::ReadNestedNameSpecifierLoc(ModuleFile &F, const RecordData &Record,
8293                                       unsigned &Idx) {
8294   unsigned N = Record[Idx++];
8295   NestedNameSpecifierLocBuilder Builder;
8296   for (unsigned I = 0; I != N; ++I) {
8297     NestedNameSpecifier::SpecifierKind Kind
8298       = (NestedNameSpecifier::SpecifierKind)Record[Idx++];
8299     switch (Kind) {
8300     case NestedNameSpecifier::Identifier: {
8301       IdentifierInfo *II = GetIdentifierInfo(F, Record, Idx);
8302       SourceRange Range = ReadSourceRange(F, Record, Idx);
8303       Builder.Extend(Context, II, Range.getBegin(), Range.getEnd());
8304       break;
8305     }
8306
8307     case NestedNameSpecifier::Namespace: {
8308       NamespaceDecl *NS = ReadDeclAs<NamespaceDecl>(F, Record, Idx);
8309       SourceRange Range = ReadSourceRange(F, Record, Idx);
8310       Builder.Extend(Context, NS, Range.getBegin(), Range.getEnd());
8311       break;
8312     }
8313
8314     case NestedNameSpecifier::NamespaceAlias: {
8315       NamespaceAliasDecl *Alias =ReadDeclAs<NamespaceAliasDecl>(F, Record, Idx);
8316       SourceRange Range = ReadSourceRange(F, Record, Idx);
8317       Builder.Extend(Context, Alias, Range.getBegin(), Range.getEnd());
8318       break;
8319     }
8320
8321     case NestedNameSpecifier::TypeSpec:
8322     case NestedNameSpecifier::TypeSpecWithTemplate: {
8323       bool Template = Record[Idx++];
8324       TypeSourceInfo *T = GetTypeSourceInfo(F, Record, Idx);
8325       if (!T)
8326         return NestedNameSpecifierLoc();
8327       SourceLocation ColonColonLoc = ReadSourceLocation(F, Record, Idx);
8328
8329       // FIXME: 'template' keyword location not saved anywhere, so we fake it.
8330       Builder.Extend(Context,
8331                      Template? T->getTypeLoc().getBeginLoc() : SourceLocation(),
8332                      T->getTypeLoc(), ColonColonLoc);
8333       break;
8334     }
8335
8336     case NestedNameSpecifier::Global: {
8337       SourceLocation ColonColonLoc = ReadSourceLocation(F, Record, Idx);
8338       Builder.MakeGlobal(Context, ColonColonLoc);
8339       break;
8340     }
8341
8342     case NestedNameSpecifier::Super: {
8343       CXXRecordDecl *RD = ReadDeclAs<CXXRecordDecl>(F, Record, Idx);
8344       SourceRange Range = ReadSourceRange(F, Record, Idx);
8345       Builder.MakeSuper(Context, RD, Range.getBegin(), Range.getEnd());
8346       break;
8347     }
8348     }
8349   }
8350
8351   return Builder.getWithLocInContext(Context);
8352 }
8353
8354 SourceRange
8355 ASTReader::ReadSourceRange(ModuleFile &F, const RecordData &Record,
8356                            unsigned &Idx) {
8357   SourceLocation beg = ReadSourceLocation(F, Record, Idx);
8358   SourceLocation end = ReadSourceLocation(F, Record, Idx);
8359   return SourceRange(beg, end);
8360 }
8361
8362 /// \brief Read an integral value
8363 llvm::APInt ASTReader::ReadAPInt(const RecordData &Record, unsigned &Idx) {
8364   unsigned BitWidth = Record[Idx++];
8365   unsigned NumWords = llvm::APInt::getNumWords(BitWidth);
8366   llvm::APInt Result(BitWidth, NumWords, &Record[Idx]);
8367   Idx += NumWords;
8368   return Result;
8369 }
8370
8371 /// \brief Read a signed integral value
8372 llvm::APSInt ASTReader::ReadAPSInt(const RecordData &Record, unsigned &Idx) {
8373   bool isUnsigned = Record[Idx++];
8374   return llvm::APSInt(ReadAPInt(Record, Idx), isUnsigned);
8375 }
8376
8377 /// \brief Read a floating-point value
8378 llvm::APFloat ASTReader::ReadAPFloat(const RecordData &Record,
8379                                      const llvm::fltSemantics &Sem,
8380                                      unsigned &Idx) {
8381   return llvm::APFloat(Sem, ReadAPInt(Record, Idx));
8382 }
8383
8384 // \brief Read a string
8385 std::string ASTReader::ReadString(const RecordData &Record, unsigned &Idx) {
8386   unsigned Len = Record[Idx++];
8387   std::string Result(Record.data() + Idx, Record.data() + Idx + Len);
8388   Idx += Len;
8389   return Result;
8390 }
8391
8392 std::string ASTReader::ReadPath(ModuleFile &F, const RecordData &Record,
8393                                 unsigned &Idx) {
8394   std::string Filename = ReadString(Record, Idx);
8395   ResolveImportedPath(F, Filename);
8396   return Filename;
8397 }
8398
8399 VersionTuple ASTReader::ReadVersionTuple(const RecordData &Record,
8400                                          unsigned &Idx) {
8401   unsigned Major = Record[Idx++];
8402   unsigned Minor = Record[Idx++];
8403   unsigned Subminor = Record[Idx++];
8404   if (Minor == 0)
8405     return VersionTuple(Major);
8406   if (Subminor == 0)
8407     return VersionTuple(Major, Minor - 1);
8408   return VersionTuple(Major, Minor - 1, Subminor - 1);
8409 }
8410
8411 CXXTemporary *ASTReader::ReadCXXTemporary(ModuleFile &F,
8412                                           const RecordData &Record,
8413                                           unsigned &Idx) {
8414   CXXDestructorDecl *Decl = ReadDeclAs<CXXDestructorDecl>(F, Record, Idx);
8415   return CXXTemporary::Create(Context, Decl);
8416 }
8417
8418 DiagnosticBuilder ASTReader::Diag(unsigned DiagID) {
8419   return Diag(CurrentImportLoc, DiagID);
8420 }
8421
8422 DiagnosticBuilder ASTReader::Diag(SourceLocation Loc, unsigned DiagID) {
8423   return Diags.Report(Loc, DiagID);
8424 }
8425
8426 /// \brief Retrieve the identifier table associated with the
8427 /// preprocessor.
8428 IdentifierTable &ASTReader::getIdentifierTable() {
8429   return PP.getIdentifierTable();
8430 }
8431
8432 /// \brief Record that the given ID maps to the given switch-case
8433 /// statement.
8434 void ASTReader::RecordSwitchCaseID(SwitchCase *SC, unsigned ID) {
8435   assert((*CurrSwitchCaseStmts)[ID] == nullptr &&
8436          "Already have a SwitchCase with this ID");
8437   (*CurrSwitchCaseStmts)[ID] = SC;
8438 }
8439
8440 /// \brief Retrieve the switch-case statement with the given ID.
8441 SwitchCase *ASTReader::getSwitchCaseWithID(unsigned ID) {
8442   assert((*CurrSwitchCaseStmts)[ID] != nullptr && "No SwitchCase with this ID");
8443   return (*CurrSwitchCaseStmts)[ID];
8444 }
8445
8446 void ASTReader::ClearSwitchCaseIDs() {
8447   CurrSwitchCaseStmts->clear();
8448 }
8449
8450 void ASTReader::ReadComments() {
8451   std::vector<RawComment *> Comments;
8452   for (SmallVectorImpl<std::pair<BitstreamCursor,
8453                                  serialization::ModuleFile *> >::iterator
8454        I = CommentsCursors.begin(),
8455        E = CommentsCursors.end();
8456        I != E; ++I) {
8457     Comments.clear();
8458     BitstreamCursor &Cursor = I->first;
8459     serialization::ModuleFile &F = *I->second;
8460     SavedStreamPosition SavedPosition(Cursor);
8461
8462     RecordData Record;
8463     while (true) {
8464       llvm::BitstreamEntry Entry =
8465         Cursor.advanceSkippingSubblocks(BitstreamCursor::AF_DontPopBlockAtEnd);
8466
8467       switch (Entry.Kind) {
8468       case llvm::BitstreamEntry::SubBlock: // Handled for us already.
8469       case llvm::BitstreamEntry::Error:
8470         Error("malformed block record in AST file");
8471         return;
8472       case llvm::BitstreamEntry::EndBlock:
8473         goto NextCursor;
8474       case llvm::BitstreamEntry::Record:
8475         // The interesting case.
8476         break;
8477       }
8478
8479       // Read a record.
8480       Record.clear();
8481       switch ((CommentRecordTypes)Cursor.readRecord(Entry.ID, Record)) {
8482       case COMMENTS_RAW_COMMENT: {
8483         unsigned Idx = 0;
8484         SourceRange SR = ReadSourceRange(F, Record, Idx);
8485         RawComment::CommentKind Kind =
8486             (RawComment::CommentKind) Record[Idx++];
8487         bool IsTrailingComment = Record[Idx++];
8488         bool IsAlmostTrailingComment = Record[Idx++];
8489         Comments.push_back(new (Context) RawComment(
8490             SR, Kind, IsTrailingComment, IsAlmostTrailingComment,
8491             Context.getLangOpts().CommentOpts.ParseAllComments));
8492         break;
8493       }
8494       }
8495     }
8496   NextCursor:
8497     // De-serialized SourceLocations get negative FileIDs for other modules,
8498     // potentially invalidating the original order. Sort it again.
8499     std::sort(Comments.begin(), Comments.end(),
8500               BeforeThanCompare<RawComment>(SourceMgr));
8501     Context.Comments.addDeserializedComments(Comments);
8502   }
8503 }
8504
8505 std::string ASTReader::getOwningModuleNameForDiagnostic(const Decl *D) {
8506   // If we know the owning module, use it.
8507   if (Module *M = D->getImportedOwningModule())
8508     return M->getFullModuleName();
8509
8510   // Otherwise, use the name of the top-level module the decl is within.
8511   if (ModuleFile *M = getOwningModuleFile(D))
8512     return M->ModuleName;
8513
8514   // Not from a module.
8515   return "";
8516 }
8517
8518 void ASTReader::finishPendingActions() {
8519   while (!PendingIdentifierInfos.empty() ||
8520          !PendingIncompleteDeclChains.empty() || !PendingDeclChains.empty() ||
8521          !PendingMacroIDs.empty() || !PendingDeclContextInfos.empty() ||
8522          !PendingUpdateRecords.empty()) {
8523     // If any identifiers with corresponding top-level declarations have
8524     // been loaded, load those declarations now.
8525     typedef llvm::DenseMap<IdentifierInfo *, SmallVector<Decl *, 2> >
8526       TopLevelDeclsMap;
8527     TopLevelDeclsMap TopLevelDecls;
8528
8529     while (!PendingIdentifierInfos.empty()) {
8530       IdentifierInfo *II = PendingIdentifierInfos.back().first;
8531       SmallVector<uint32_t, 4> DeclIDs =
8532           std::move(PendingIdentifierInfos.back().second);
8533       PendingIdentifierInfos.pop_back();
8534
8535       SetGloballyVisibleDecls(II, DeclIDs, &TopLevelDecls[II]);
8536     }
8537
8538     // For each decl chain that we wanted to complete while deserializing, mark
8539     // it as "still needs to be completed".
8540     for (unsigned I = 0; I != PendingIncompleteDeclChains.size(); ++I) {
8541       markIncompleteDeclChain(PendingIncompleteDeclChains[I]);
8542     }
8543     PendingIncompleteDeclChains.clear();
8544
8545     // Load pending declaration chains.
8546     for (unsigned I = 0; I != PendingDeclChains.size(); ++I)
8547       loadPendingDeclChain(PendingDeclChains[I].first, PendingDeclChains[I].second);
8548     PendingDeclChains.clear();
8549
8550     // Make the most recent of the top-level declarations visible.
8551     for (TopLevelDeclsMap::iterator TLD = TopLevelDecls.begin(),
8552            TLDEnd = TopLevelDecls.end(); TLD != TLDEnd; ++TLD) {
8553       IdentifierInfo *II = TLD->first;
8554       for (unsigned I = 0, N = TLD->second.size(); I != N; ++I) {
8555         pushExternalDeclIntoScope(cast<NamedDecl>(TLD->second[I]), II);
8556       }
8557     }
8558
8559     // Load any pending macro definitions.
8560     for (unsigned I = 0; I != PendingMacroIDs.size(); ++I) {
8561       IdentifierInfo *II = PendingMacroIDs.begin()[I].first;
8562       SmallVector<PendingMacroInfo, 2> GlobalIDs;
8563       GlobalIDs.swap(PendingMacroIDs.begin()[I].second);
8564       // Initialize the macro history from chained-PCHs ahead of module imports.
8565       for (unsigned IDIdx = 0, NumIDs = GlobalIDs.size(); IDIdx != NumIDs;
8566            ++IDIdx) {
8567         const PendingMacroInfo &Info = GlobalIDs[IDIdx];
8568         if (!Info.M->isModule())
8569           resolvePendingMacro(II, Info);
8570       }
8571       // Handle module imports.
8572       for (unsigned IDIdx = 0, NumIDs = GlobalIDs.size(); IDIdx != NumIDs;
8573            ++IDIdx) {
8574         const PendingMacroInfo &Info = GlobalIDs[IDIdx];
8575         if (Info.M->isModule())
8576           resolvePendingMacro(II, Info);
8577       }
8578     }
8579     PendingMacroIDs.clear();
8580
8581     // Wire up the DeclContexts for Decls that we delayed setting until
8582     // recursive loading is completed.
8583     while (!PendingDeclContextInfos.empty()) {
8584       PendingDeclContextInfo Info = PendingDeclContextInfos.front();
8585       PendingDeclContextInfos.pop_front();
8586       DeclContext *SemaDC = cast<DeclContext>(GetDecl(Info.SemaDC));
8587       DeclContext *LexicalDC = cast<DeclContext>(GetDecl(Info.LexicalDC));
8588       Info.D->setDeclContextsImpl(SemaDC, LexicalDC, getContext());
8589     }
8590
8591     // Perform any pending declaration updates.
8592     while (!PendingUpdateRecords.empty()) {
8593       auto Update = PendingUpdateRecords.pop_back_val();
8594       ReadingKindTracker ReadingKind(Read_Decl, *this);
8595       loadDeclUpdateRecords(Update.first, Update.second);
8596     }
8597   }
8598
8599   // At this point, all update records for loaded decls are in place, so any
8600   // fake class definitions should have become real.
8601   assert(PendingFakeDefinitionData.empty() &&
8602          "faked up a class definition but never saw the real one");
8603
8604   // If we deserialized any C++ or Objective-C class definitions, any
8605   // Objective-C protocol definitions, or any redeclarable templates, make sure
8606   // that all redeclarations point to the definitions. Note that this can only
8607   // happen now, after the redeclaration chains have been fully wired.
8608   for (Decl *D : PendingDefinitions) {
8609     if (TagDecl *TD = dyn_cast<TagDecl>(D)) {
8610       if (const TagType *TagT = dyn_cast<TagType>(TD->getTypeForDecl())) {
8611         // Make sure that the TagType points at the definition.
8612         const_cast<TagType*>(TagT)->decl = TD;
8613       }
8614
8615       if (auto RD = dyn_cast<CXXRecordDecl>(D)) {
8616         for (auto *R = getMostRecentExistingDecl(RD); R;
8617              R = R->getPreviousDecl()) {
8618           assert((R == D) ==
8619                      cast<CXXRecordDecl>(R)->isThisDeclarationADefinition() &&
8620                  "declaration thinks it's the definition but it isn't");
8621           cast<CXXRecordDecl>(R)->DefinitionData = RD->DefinitionData;
8622         }
8623       }
8624
8625       continue;
8626     }
8627
8628     if (auto ID = dyn_cast<ObjCInterfaceDecl>(D)) {
8629       // Make sure that the ObjCInterfaceType points at the definition.
8630       const_cast<ObjCInterfaceType *>(cast<ObjCInterfaceType>(ID->TypeForDecl))
8631         ->Decl = ID;
8632
8633       for (auto *R = getMostRecentExistingDecl(ID); R; R = R->getPreviousDecl())
8634         cast<ObjCInterfaceDecl>(R)->Data = ID->Data;
8635
8636       continue;
8637     }
8638
8639     if (auto PD = dyn_cast<ObjCProtocolDecl>(D)) {
8640       for (auto *R = getMostRecentExistingDecl(PD); R; R = R->getPreviousDecl())
8641         cast<ObjCProtocolDecl>(R)->Data = PD->Data;
8642
8643       continue;
8644     }
8645
8646     auto RTD = cast<RedeclarableTemplateDecl>(D)->getCanonicalDecl();
8647     for (auto *R = getMostRecentExistingDecl(RTD); R; R = R->getPreviousDecl())
8648       cast<RedeclarableTemplateDecl>(R)->Common = RTD->Common;
8649   }
8650   PendingDefinitions.clear();
8651
8652   // Load the bodies of any functions or methods we've encountered. We do
8653   // this now (delayed) so that we can be sure that the declaration chains
8654   // have been fully wired up (hasBody relies on this).
8655   // FIXME: We shouldn't require complete redeclaration chains here.
8656   for (PendingBodiesMap::iterator PB = PendingBodies.begin(),
8657                                PBEnd = PendingBodies.end();
8658        PB != PBEnd; ++PB) {
8659     if (FunctionDecl *FD = dyn_cast<FunctionDecl>(PB->first)) {
8660       // FIXME: Check for =delete/=default?
8661       // FIXME: Complain about ODR violations here?
8662       const FunctionDecl *Defn = nullptr;
8663       if (!getContext().getLangOpts().Modules || !FD->hasBody(Defn))
8664         FD->setLazyBody(PB->second);
8665       else
8666         mergeDefinitionVisibility(const_cast<FunctionDecl*>(Defn), FD);
8667       continue;
8668     }
8669
8670     ObjCMethodDecl *MD = cast<ObjCMethodDecl>(PB->first);
8671     if (!getContext().getLangOpts().Modules || !MD->hasBody())
8672       MD->setLazyBody(PB->second);
8673   }
8674   PendingBodies.clear();
8675
8676   // Do some cleanup.
8677   for (auto *ND : PendingMergedDefinitionsToDeduplicate)
8678     getContext().deduplicateMergedDefinitonsFor(ND);
8679   PendingMergedDefinitionsToDeduplicate.clear();
8680 }
8681
8682 void ASTReader::diagnoseOdrViolations() {
8683   if (PendingOdrMergeFailures.empty() && PendingOdrMergeChecks.empty())
8684     return;
8685
8686   // Trigger the import of the full definition of each class that had any
8687   // odr-merging problems, so we can produce better diagnostics for them.
8688   // These updates may in turn find and diagnose some ODR failures, so take
8689   // ownership of the set first.
8690   auto OdrMergeFailures = std::move(PendingOdrMergeFailures);
8691   PendingOdrMergeFailures.clear();
8692   for (auto &Merge : OdrMergeFailures) {
8693     Merge.first->buildLookup();
8694     Merge.first->decls_begin();
8695     Merge.first->bases_begin();
8696     Merge.first->vbases_begin();
8697     for (auto *RD : Merge.second) {
8698       RD->decls_begin();
8699       RD->bases_begin();
8700       RD->vbases_begin();
8701     }
8702   }
8703
8704   // For each declaration from a merged context, check that the canonical
8705   // definition of that context also contains a declaration of the same
8706   // entity.
8707   //
8708   // Caution: this loop does things that might invalidate iterators into
8709   // PendingOdrMergeChecks. Don't turn this into a range-based for loop!
8710   while (!PendingOdrMergeChecks.empty()) {
8711     NamedDecl *D = PendingOdrMergeChecks.pop_back_val();
8712
8713     // FIXME: Skip over implicit declarations for now. This matters for things
8714     // like implicitly-declared special member functions. This isn't entirely
8715     // correct; we can end up with multiple unmerged declarations of the same
8716     // implicit entity.
8717     if (D->isImplicit())
8718       continue;
8719
8720     DeclContext *CanonDef = D->getDeclContext();
8721
8722     bool Found = false;
8723     const Decl *DCanon = D->getCanonicalDecl();
8724
8725     for (auto RI : D->redecls()) {
8726       if (RI->getLexicalDeclContext() == CanonDef) {
8727         Found = true;
8728         break;
8729       }
8730     }
8731     if (Found)
8732       continue;
8733
8734     // Quick check failed, time to do the slow thing. Note, we can't just
8735     // look up the name of D in CanonDef here, because the member that is
8736     // in CanonDef might not be found by name lookup (it might have been
8737     // replaced by a more recent declaration in the lookup table), and we
8738     // can't necessarily find it in the redeclaration chain because it might
8739     // be merely mergeable, not redeclarable.
8740     llvm::SmallVector<const NamedDecl*, 4> Candidates;
8741     for (auto *CanonMember : CanonDef->decls()) {
8742       if (CanonMember->getCanonicalDecl() == DCanon) {
8743         // This can happen if the declaration is merely mergeable and not
8744         // actually redeclarable (we looked for redeclarations earlier).
8745         //
8746         // FIXME: We should be able to detect this more efficiently, without
8747         // pulling in all of the members of CanonDef.
8748         Found = true;
8749         break;
8750       }
8751       if (auto *ND = dyn_cast<NamedDecl>(CanonMember))
8752         if (ND->getDeclName() == D->getDeclName())
8753           Candidates.push_back(ND);
8754     }
8755
8756     if (!Found) {
8757       // The AST doesn't like TagDecls becoming invalid after they've been
8758       // completed. We only really need to mark FieldDecls as invalid here.
8759       if (!isa<TagDecl>(D))
8760         D->setInvalidDecl();
8761
8762       // Ensure we don't accidentally recursively enter deserialization while
8763       // we're producing our diagnostic.
8764       Deserializing RecursionGuard(this);
8765
8766       std::string CanonDefModule =
8767           getOwningModuleNameForDiagnostic(cast<Decl>(CanonDef));
8768       Diag(D->getLocation(), diag::err_module_odr_violation_missing_decl)
8769         << D << getOwningModuleNameForDiagnostic(D)
8770         << CanonDef << CanonDefModule.empty() << CanonDefModule;
8771
8772       if (Candidates.empty())
8773         Diag(cast<Decl>(CanonDef)->getLocation(),
8774              diag::note_module_odr_violation_no_possible_decls) << D;
8775       else {
8776         for (unsigned I = 0, N = Candidates.size(); I != N; ++I)
8777           Diag(Candidates[I]->getLocation(),
8778                diag::note_module_odr_violation_possible_decl)
8779             << Candidates[I];
8780       }
8781
8782       DiagnosedOdrMergeFailures.insert(CanonDef);
8783     }
8784   }
8785
8786   if (OdrMergeFailures.empty())
8787     return;
8788
8789   // Ensure we don't accidentally recursively enter deserialization while
8790   // we're producing our diagnostics.
8791   Deserializing RecursionGuard(this);
8792
8793   // Issue any pending ODR-failure diagnostics.
8794   for (auto &Merge : OdrMergeFailures) {
8795     // If we've already pointed out a specific problem with this class, don't
8796     // bother issuing a general "something's different" diagnostic.
8797     if (!DiagnosedOdrMergeFailures.insert(Merge.first).second)
8798       continue;
8799
8800     bool Diagnosed = false;
8801     for (auto *RD : Merge.second) {
8802       // Multiple different declarations got merged together; tell the user
8803       // where they came from.
8804       if (Merge.first != RD) {
8805         // FIXME: Walk the definition, figure out what's different,
8806         // and diagnose that.
8807         if (!Diagnosed) {
8808           std::string Module = getOwningModuleNameForDiagnostic(Merge.first);
8809           Diag(Merge.first->getLocation(),
8810                diag::err_module_odr_violation_different_definitions)
8811             << Merge.first << Module.empty() << Module;
8812           Diagnosed = true;
8813         }
8814
8815         Diag(RD->getLocation(),
8816              diag::note_module_odr_violation_different_definitions)
8817           << getOwningModuleNameForDiagnostic(RD);
8818       }
8819     }
8820
8821     if (!Diagnosed) {
8822       // All definitions are updates to the same declaration. This happens if a
8823       // module instantiates the declaration of a class template specialization
8824       // and two or more other modules instantiate its definition.
8825       //
8826       // FIXME: Indicate which modules had instantiations of this definition.
8827       // FIXME: How can this even happen?
8828       Diag(Merge.first->getLocation(),
8829            diag::err_module_odr_violation_different_instantiations)
8830         << Merge.first;
8831     }
8832   }
8833 }
8834
8835 void ASTReader::StartedDeserializing() {
8836   if (++NumCurrentElementsDeserializing == 1 && ReadTimer.get())
8837     ReadTimer->startTimer();
8838 }
8839
8840 void ASTReader::FinishedDeserializing() {
8841   assert(NumCurrentElementsDeserializing &&
8842          "FinishedDeserializing not paired with StartedDeserializing");
8843   if (NumCurrentElementsDeserializing == 1) {
8844     // We decrease NumCurrentElementsDeserializing only after pending actions
8845     // are finished, to avoid recursively re-calling finishPendingActions().
8846     finishPendingActions();
8847   }
8848   --NumCurrentElementsDeserializing;
8849
8850   if (NumCurrentElementsDeserializing == 0) {
8851     // Propagate exception specification updates along redeclaration chains.
8852     while (!PendingExceptionSpecUpdates.empty()) {
8853       auto Updates = std::move(PendingExceptionSpecUpdates);
8854       PendingExceptionSpecUpdates.clear();
8855       for (auto Update : Updates) {
8856         ProcessingUpdatesRAIIObj ProcessingUpdates(*this);
8857         auto *FPT = Update.second->getType()->castAs<FunctionProtoType>();
8858         auto ESI = FPT->getExtProtoInfo().ExceptionSpec;
8859         if (auto *Listener = Context.getASTMutationListener())
8860           Listener->ResolvedExceptionSpec(cast<FunctionDecl>(Update.second));
8861         for (auto *Redecl : Update.second->redecls())
8862           Context.adjustExceptionSpec(cast<FunctionDecl>(Redecl), ESI);
8863       }
8864     }
8865
8866     if (ReadTimer)
8867       ReadTimer->stopTimer();
8868
8869     diagnoseOdrViolations();
8870
8871     // We are not in recursive loading, so it's safe to pass the "interesting"
8872     // decls to the consumer.
8873     if (Consumer)
8874       PassInterestingDeclsToConsumer();
8875   }
8876 }
8877
8878 void ASTReader::pushExternalDeclIntoScope(NamedDecl *D, DeclarationName Name) {
8879   if (IdentifierInfo *II = Name.getAsIdentifierInfo()) {
8880     // Remove any fake results before adding any real ones.
8881     auto It = PendingFakeLookupResults.find(II);
8882     if (It != PendingFakeLookupResults.end()) {
8883       for (auto *ND : It->second)
8884         SemaObj->IdResolver.RemoveDecl(ND);
8885       // FIXME: this works around module+PCH performance issue.
8886       // Rather than erase the result from the map, which is O(n), just clear
8887       // the vector of NamedDecls.
8888       It->second.clear();
8889     }
8890   }
8891
8892   if (SemaObj->IdResolver.tryAddTopLevelDecl(D, Name) && SemaObj->TUScope) {
8893     SemaObj->TUScope->AddDecl(D);
8894   } else if (SemaObj->TUScope) {
8895     // Adding the decl to IdResolver may have failed because it was already in
8896     // (even though it was not added in scope). If it is already in, make sure
8897     // it gets in the scope as well.
8898     if (std::find(SemaObj->IdResolver.begin(Name),
8899                   SemaObj->IdResolver.end(), D) != SemaObj->IdResolver.end())
8900       SemaObj->TUScope->AddDecl(D);
8901   }
8902 }
8903
8904 ASTReader::ASTReader(Preprocessor &PP, ASTContext &Context,
8905                      const PCHContainerReader &PCHContainerRdr,
8906                      ArrayRef<std::shared_ptr<ModuleFileExtension>> Extensions,
8907                      StringRef isysroot, bool DisableValidation,
8908                      bool AllowASTWithCompilerErrors,
8909                      bool AllowConfigurationMismatch, bool ValidateSystemInputs,
8910                      bool UseGlobalIndex,
8911                      std::unique_ptr<llvm::Timer> ReadTimer)
8912     : Listener(DisableValidation
8913                    ? cast<ASTReaderListener>(new SimpleASTReaderListener(PP))
8914                    : cast<ASTReaderListener>(new PCHValidator(PP, *this))),
8915       SourceMgr(PP.getSourceManager()), FileMgr(PP.getFileManager()),
8916       PCHContainerRdr(PCHContainerRdr), Diags(PP.getDiagnostics()), PP(PP),
8917       Context(Context), ModuleMgr(PP.getFileManager(), PCHContainerRdr),
8918       DummyIdResolver(PP), ReadTimer(std::move(ReadTimer)), isysroot(isysroot),
8919       DisableValidation(DisableValidation),
8920       AllowASTWithCompilerErrors(AllowASTWithCompilerErrors),
8921       AllowConfigurationMismatch(AllowConfigurationMismatch),
8922       ValidateSystemInputs(ValidateSystemInputs),
8923       UseGlobalIndex(UseGlobalIndex), CurrSwitchCaseStmts(&SwitchCaseStmts) {
8924   SourceMgr.setExternalSLocEntrySource(this);
8925
8926   for (const auto &Ext : Extensions) {
8927     auto BlockName = Ext->getExtensionMetadata().BlockName;
8928     auto Known = ModuleFileExtensions.find(BlockName);
8929     if (Known != ModuleFileExtensions.end()) {
8930       Diags.Report(diag::warn_duplicate_module_file_extension)
8931         << BlockName;
8932       continue;
8933     }
8934
8935     ModuleFileExtensions.insert({BlockName, Ext});
8936   }
8937 }
8938
8939 ASTReader::~ASTReader() {
8940   if (OwnsDeserializationListener)
8941     delete DeserializationListener;
8942 }
8943
8944 IdentifierResolver &ASTReader::getIdResolver() {
8945   return SemaObj ? SemaObj->IdResolver : DummyIdResolver;
8946 }
8947
8948 unsigned ASTRecordReader::readRecord(llvm::BitstreamCursor &Cursor,
8949                                      unsigned AbbrevID) {
8950   Idx = 0;
8951   Record.clear();
8952   return Cursor.readRecord(AbbrevID, Record);
8953 }