Проектирование систем для интервью и не только

У меня более чем 15 лет опыта работы в индустрии, и в течение последних 9 лет я занимался созданием масштабируемых, высокодоступных и быстродействующих распределенных систем. Долгое время я задавался вопросом, как наиболее эффективно изучать системное проектирование. Хотя существует много отличных ресурсов для изучения отдельных концепций, но немногие предоставляют голистическое представление о том, как проектировать системы. И даже после того, как вы вложили много времени и получили много знаний, все еще трудно развивать истинное мышление системного проектирования. Мышление, которое помогает ответить на вопросы: с чего начать мой дизайн; куда идти дальше; как разбить эту большую неясную проблему на подзадачи, которые я знаю, как решить; и даже если я не знаю ответа, могу ли я сделать обоснованный предположение? Поэтому я бросил себе вызов создать курс, который может помочь развивать и улучшать мышление системного проектирования. И через два года вы можете увидеть результат этой работы.

1. Требования к системе (функциональные и нефункциональные требования)
2. Функциональные требования (как определить, метод «работать назад»)
3. Высокая доступность (доступность на основе времени и количества, принципы проектирования, процессы и метрики SLA и SLO)
4. Отказоустойчивость, устойчивость, надежность (ошибка, сбой, отказ, отказоустойчивость, устойчивость, chaos engineering, надежность)
5. Масштабируемость (вертикальное и горизонтальное масштабирование, эластичность и масштабируемость)
6. Производительность (задержка, пропускная способность, процентили, увеличение записи и пропускной способности, пропускная способность)
7. Долговечность (резервное копирование, RAID, репликация, контрольная сумма, доступность против долговечности)
8. Согласованность (модели согласованности, конечная согласованность, линеаризуемость, монотонное чтение, чтение после записи, согласованное чтение префикса)
9. Обеспечение сопровождаемости, безопасности и экономичности (аспекты сопровождаемости, аспекты безопасности (тройственность CIA, управление идентификацией и разрешениями, защита инфраструктуры и данных), аспекты экономичности (разработка, обслуживание, оборудование, программное обеспечение))
10. Список наиболее популярных нефункциональных требований
11. Регионы, зоны доступности, центры данных, стойки, серверы (как оборудование помогает достигать определенных качеств)
12. Физические серверы, виртуальные машины, контейнеры, серверы без серверов (преимущества и недостатки различных вычислительных сред, для чего они подходят)
13. Синхронное и асинхронное взаимодействие (модели синхронного и асинхронного запрос-ответа, асинхронная передача сообщений)
14. Асинхронные шаблоны обмена сообщениями (очередь сообщений, издатель/подписчик, конкурирующие потребители, запрос/ответ, приоритетная очередь, проверка прав)
15. Сетевые протоколы (TCP, UDP, HTTP, запрос и ответ HTTP)
16. Блокировка vs неблокировка I/O (сокет (блокировка и неблокировка), соединение, модель потока на соединение, модель потока на запрос с неблокировкой I/O, модель событийного цикла, параллелизм vs конкурентность)
17. Форматы кодирования данных (текстовые vs бинарные форматы, опции обмена схемами, обратная совместимость, прямая совместимость)
18. Подтверждение сообщений (безопасные и небезопасные режимы подтверждения)
19. Кэш дедупликации (локальный vs внешний кэш, добавление данных в кэш (явно, неявно), вытеснение кэш-данных (основанное на размере, основанное на времени, явное), истечение vs обновление)
20. Кэш метаданных (шаблон кэш-отложенного выполнения, шаблоны чтения и записи, запись с отложенным выполнением (отложенная запись))
21. Очередь (ограниченные и неограниченные очереди, циклический буфер (кольцевой буфер) и его применение)
22. Проблемы полной и пустой очереди (управление нагрузкой, ограничение скорости, что делать с неудачными запросами, обратное давление, эластичное масштабирование)
23. Начните с чего-то простого (сходство между концепциями одиночной машины и распределенной системы, совет для интервью)
24. Блокирующая очередь и шаблон производитель-потребитель (шаблон производитель-потребитель, ожидание и уведомление, семафоры, приложения блокирующей очереди)
25. Пул потоков (преимущества и недостатки, задачи, связанные с ЦП и вводом-выводом, плавное завершение работы)
26. Архитектура больших вычислений (модель пакетной обработки, задачи, легко распараллелимые)
27. Логи (память vs диск, сегментация лога, позиция сообщения (offset))
28. Индекс (эффективная реализация индекса для системы обмена сообщениями)
29. Хранение и извлечение данных временных рядов в масштабе и с низкой задержкой
30. Простая база данных "ключ-значение" (как построить простую базу данных "ключ-значение", компактификация логов)
31. B-дерево (как базы данных и системы обмена сообщениями используют B-деревья)
32. Встроенная база данных (встроенная vs удаленная база данных)
33. RocksDB (мемтаблица, журнал записи перед таблицей с отсортированными строками (SSTable))
34. LSM-дерево vs B-дерево (структура данных слияния логов, усиление записи, усиление чтения)
35. Кэш страницы (как увеличить производительность диска (пакетная обработка, чтение без копирования))
36. Push vs Pull (плюсы и минусы обеих моделей)
37. Обнаружение хоста (DNS, anycast)
38. Обнаружение сервиса (паттерны обнаружения на стороне сервера и клиента, реестр сервисов и его применение)
39. Обнаружение узлов (варианты обнаружения узлов, проблемы обнаружения и сбоев, seed-узел, применение протокола gossip и его применение)
40. Как выбрать сетевой протокол (когда и как выбирать между TCP, UDP и HTTP)
41. Сетевые протоколы в системах реальной жизни (тест: какой сетевой протокол вы выберете для различных проблем дизайна систем)
42. Видео через HTTP (адаптивное потоковое воспроизведение)
43. CDN (как использовать, как работает, точки присутствия (POP), преимущества)
44. Технологии Push и Pull (короткий опрос, длинный опрос, WebSocket, события, отправленные сервером)
45. Технологии Push и Pull в системах реальной жизни (тест: какую технологию вы выберете для различных проблем дизайна систем)
46. Архитектуры для передачи данных на больших масштабах (проблемы C10K и C10M, примеры архитектур, проблемы обработки долгоживущих соединений на большой масштабе).
47. Как создать надежные, масштабируемые и быстрые системы (список распространенных проблем в распределенных системах, список концепций проектирования систем, которые помогают решать эти проблемы, трехуровневая архитектура).
48. Таймауты (быстрые и медленные отказы, таймауты соединения и запроса).
49. Как обрабатывать неудачные запросы (стратегии обработки неудачных запросов (отмена, повтор, переключение, откат)).
50. Когда повторять (идемпотентность, тест: какие ошибки AWS API безопасны для повторной попытки).
51. Как повторять (экспоненциальная задержка, джиттер).
52. Гарантии доставки сообщений (at-most-once, at-least-once, exactly-once).
53. Смещения потребителей (системы логирования сообщений, чекпоинтинг).
54. Групповая обработка запросов (плюсы и минусы, как обрабатывать групповые запросы).
55. Сжатие (плюсы и минусы, алгоритмы сжатия и компромиссы, которые они делают).
56. Как масштабировать потребление сообщений (один потребитель против нескольких потребителей, проблемы с несколькими потребителями (порядок обработки сообщений, двойная обработка)).
57. Разбиение в реальных системах (плюсы и минусы, применение разбиения).
58. Стратегии разбиения (стратегия поиска, стратегия диапазона, стратегия хэширования).
59. Маршрутизация запросов (физические и виртуальные разделы, варианты маршрутизации запросов).
60. Перебалансировка разделов (как перебалансировать разделы).
61. Консистентное хэширование (как реализовать, преимущества и недостатки, виртуальные узлы, применение консистентного хэширования).
62. Перегрузка системы (почему важно защищать систему от перегрузок)
63. Автомасштабирование (политики масштабирования (основанные на метриках, на расписании, предиктивные))
64. Проектирование системы автомасштабирования (как проектировать систему автомасштабирования)
65. Разгрузка (как реализовать ее в распределенных системах, важные аспекты)
66. Ограничение скорости (как использовать знания, полученные в курсе, для решения проблемы ограничения скорости (пошаговое руководство))
67. Синхронные и асинхронные клиенты (системы контроля допуска, блокирующие и неблокирующие клиенты ввода/вывода)
68. Выключатель цепи (конечный автомат выключателя цепи, важные аспекты)
69. Принцип проектирования Fail-Fast (проблемы с медленными сервисами (реакции цепной реакции, каскадные сбои) и способы их решения)
70. Балкон (как реализовать этот шаблон в распределенных системах)
71. Shuffle sharding (как реализовать этот шаблон в распределенных системах)
72. Конец (список тем, которые мы будем рассматривать в следующем модуле курса)