ARKit 4.0 Express

Augmented Reality – это технология дополненной реальности, позволяющая интегрировать виртуальные объекты (3D и 2D-графику, видео, текст и звук) в окружающую нас среду обитания и затем взаимодействовать с ними. Любой iPhone с чипсетом от A9 до A14 может стать вашим персональным гидом в мир дополненной реальности. Сегодня уже не существует таких отраслей куда бы не пришли AR-технологии: это торговля, образование, индустрия развлечений, навигация на дорогах, мода, туризм, медицина, ремонтные работы, общественное питание, архитектура и многое-многое другое.

В 2007 году Apple представила миру свой первый iPhone 2G, который был мало на что способен по современным меркам. А в 2020 году мы уже увидели первый iPad Pro c лазерным LiDAR-сканером, нейромодулем, контролирующим CoreML-задачи, и фронтальной инфракрасной TrueDepth-камерой. За прошедшие годы технологический гигант реализовал свыше двух миллиардов iPhone и iPad. Более полутора миллиардов из проданных устройств поддерживают AR. Цифры впечатляют. Но возникает вопрос: будут ли развиваться AR-технологии в обозримом будущем и стоит ли делать на них ставку? На этот вопрос нам дают ответ аналитики Global Market Insights. Специалисты GMI подсчитали, что совокупный рынок AR-технологий к концу 2025 года будет стоить более $200 миллиардов, и в дальнейшем AR-тренд однозначно продолжит своё развитие.

В 2020 году компания Apple предоставила своим пользователям три уникальных возможности:

1) Совершать покупки товаров в режиме дополненной реальности.

2) Высокоточно позиционировать 3D-модели в окружающей среде при помощи карт Apple Maps, GPS и продвинутой локализации с элементами машинного обучения.

3) Генерировать 3D mesh окружающей среды в радиусе 5 метров, состоящую из Dense Point Cloud, треугольных поли-фэйсов и якорей в типизации ARMeshAnchor.

На данный момент наблюдается большой всплеск активности в AR и ML секторах не только в США, Европе и Азии, но и, естественно, в России. Если вы хотите научится разрабатывать AR-приложения с элементами искусственного интеллекта (AI) и машинного обучения (ML) для iPhone и iPad, а затем достойно монетизировать свои знания – добро пожаловать на авторский онлайн-курс Андрея Фёдорова "ARKit 4.0 Express".

День первый
История возникновения Дополненной Реальности (AR). Композитинг.
Аппаратное обеспечение: гироскоп, акселерометр, LiDAR, TrueDepth.
Три главных концепции AR – Tracking, Scene Understanding и Rendering.
Использование фреймворков UIKit и SwiftUI для создания интерфейса.
Создание AR и VR приложений на базе SceneKit. ARWorldTrackingConfig.

День второй

9 типов якорей фреймворка ARKit. Настройка конфигурации AR-сессии.
Создание приложения для распознавания изображений и их трекинга.
Camera Tracking и Object Tracking. Файловые форматы USDZ, DAE, SCN.
Шейдинг и назначение текстур для 3D-моделей: программно и через UI.
Использование протоколов ARSCNViewDelegate и ARSessionDelegate.

День третий

Plane Detection для горизонтальных и вертикальных поверхностей.
Визуализация поверхностей. ARPlaneAnchors. Пять методов renderer.
Размещение моделей в 3D-сцене при помощи методов Raycasting’а.
Загрузка видео-контента со звуком в AR-сцену при помощи SpriteKit.
Создание AR-игры с физикой и системой частиц фреймворка SceneKit.

День четвёртый

Сохранение и загрузка ARWorldMap-карт. Архиваторы и деархиваторы.
ARFaceTrackingConfig. Распознавание 3 лиц при помощи Selfie-модуля.
Создание 3D-геометрии для приложение AR-Portal. Occlusion-материал.
AVFoundation. Настройка и воспроизведение пространственного звука.
Команды zsh-терминала для конвертации OBJ, GLTF и FBX файлов.

День пятый

MultipeerConnectivity SDK. Создание AR-приложения для 6 персон.
Создание и позиционирование 3D-текста в приложении AR-рулетка.
UIGestureRecognizer и управление анимацией моделей в SceneKit.
Особенности работы с AR-контентом при помощи фреймворка SwiftUI.
Основы работы с Reality Composer, Reality Convertor и RealityKit SDK.