آموزش میدان های تابشی عصبی (NeRF)

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• مقدمه ای بر بازسازی - قسمت 1 Introduction to reconstruction - part 1

• مقدمه ای بر بازسازی - قسمت 2 Introduction to reconstruction - part 2

بازسازی سه بعدی 3D reconstruction

• ردیابی اشعه و مدل دوربین Ray tracing and Camera Model

• دوربین: تجسم Camera: visualization

• رندر سه بعدی 3D rendering

• رندر حجمی - قسمت 1 Volumetric rendering - part 1

• رندر حجمی - قسمت 2 Volumetric rendering - part 2

• رندر و بهینه سازی متفاوت Differentiable rendering & Optimization

• اضافه کردن یک ماتریس چرخش به دوربین: Camera To World Adding a rotation matrix to the camera: Camera To World

بازسازی سه بعدی: ماژول ها 3D reconstruction : modules

• دوربین و مجموعه داده - قسمت 1 Camera and Dataset - part 1

• دوربین و مجموعه داده - قسمت 2 Camera and Dataset - part 2

• رندر حجمی Volumetric Rendering

• مدل سه بعدی: Voxels 3D model: Voxels

• حلقه بهینه سازی یادگیری ماشین Machine Learning Optimization loop

• تنظیم پس زمینه سفید White background regularization

• فروپاشی حالت در داده های مصنوعی: راه حل Mode collapse on synthetic data: solution

NeRF: میدان های تابشی عصبی NeRF : Neural Radiance Fields

• معرفی Introduction

• معماری: اجرا Architecture: implementation

• رمزگذاری موقعیتی: پیاده سازی Positional encoding : implementation

• نتایج Results

سنتز نمای جدید Novel view synthesis

• سنتز نمای جدید Novel view synthesis

استخراج مش Mesh extraction

• استخراج مش Mesh extraction

• استخراج رنگ - روش 1 Colour extraction - method 1

• استخراج رنگ - روش 2 Colour extraction - method 2

ادامه مطلب: مقالات علمی Going further: scientific papers

• ساختار این بخش Structure of this section

• ویژگی های فوریه به شبکه ها اجازه می دهد تا توابع فرکانس بالا را در ابعاد پایین بیاموزند Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional

• نمایش های عصبی ضمنی با توابع فعال سازی دوره ای Implicit Neural Representations with Periodic Activation Functions

• شبکه های فیلتر ضربی Multiplicative Filter Networks

• راه‌اندازی‌های آموخته‌شده برای بهینه‌سازی بازنمایی‌های عصبی مبتنی بر مختصات Learned Initializations for Optimizing Coordinate-Based Neural Representations

• GRF: یادگیری یک میدان تابشی عمومی برای نمایش و رندر سه بعدی GRF: Learning a General Radiance Field for 3D Representation and Rendering

• pixelNeRF: میدان های تابشی عصبی از یک یا چند تصویر pixelNeRF: Neural Radiance Fields from One or Few Images

• زرافه: نمایش صحنه ها به عنوان میدان های ویژگی عصبی مولد ترکیبی GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields

• iNeRF: معکوس کردن فیلدهای تابشی عصبی برای تخمین پوس iNeRF: Inverting Neural Radiance Fields for Pose Estimation

• NeRF--: میدان های تابشی عصبی بدون پارامترهای شناخته شده دوربین NeRF−−: Neural Radiance Fields Without Known Camera Parameters

• AutoInt: یکپارچه سازی خودکار برای رندر سریع حجم عصبی AutoInt: Automatic Integration for Fast Neural Volume Rendering

• KiloNeRF: افزایش سرعت میدان های درخشندگی عصبی با هزاران MLP کوچک KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs

• شبکه های میدان نور: بازنمایی صحنه های عصبی با ارزیابی منفرد Light Field Networks: Neural Scene Representations with Single-Evaluation

• FastNeRF: رندر عصبی با وفاداری بالا در 200 فریم بر ثانیه FastNeRF: High-Fidelity Neural Rendering at 200FPS

• SqueezeNeRF: FastNeRF فاکتورسازی شده بیشتر برای استنتاج کارآمد حافظه SqueezeNeRF: Further factorized FastNeRF for memory-efficient inference

• PlenOctrees برای رندر زمان واقعی میدان های درخشندگی عصبی PlenOctrees for Real-time Rendering of Neural Radiance Fields

• DeepSDF: یادگیری توابع فاصله با امضای پیوسته DeepSDF: Learning Continuous Signed Distance Functions

• NeuS: یادگیری سطوح ضمنی عصبی با رندر حجم NeuS: Learning Neural Implicit Surfaces by Volume Rendering

• UNISURF: یکپارچه سازی سطوح ضمنی عصبی و میدان های درخشندگی UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields

• پلنوکسل ها: میدان های تابشی بدون شبکه های عصبی Plenoxels: Radiance Fields without Neural Networks

• Instant Neural Graphics Primitives با کدگذاری هش چند رزولوشن Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

• وضعیت هنر در رندر عصبی State of the Art on Neural Rendering

• پیشرفت در رندر عصبی Advances in Neural Rendering

• NeRF++: تجزیه و تحلیل و بهبود میدان های درخشندگی عصبی NeRF++: Analyzing and improving neural radiance fields

• Mip-NeRF: نمایشی چند مقیاسی برای میدان های تشعشع عصبی Anti-Aliasing Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

• Mip-NeRF 360: میدان های تشعشع عصبی نامحدود ضد مستعار Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields

• میدان های تابشی عصبی خود کالیبره شونده Self-Calibrating Neural Radiance Fields

• DeRF: میدان های تابشی تجزیه شده DeRF: Decomposed Radiance Fields

• فیلدهای وکسل پراکنده عصبی Neural Sparse Voxel Fields

ابزارها و پیاده سازی های متن باز Tools and open source implementations

• لوما Luma

• nerf_pl nerf_pl

• NerfStudio - مقدمه NerfStudio - Introduction

• NerfStudio - نصب و آموزش NerfStudio - Installation and Training

• ادغام مدل های خود در NerfStudio Incorporating your models into NerfStudio

• NerfStudio - داشبورد و نتایج NerfStudio - dashboard and results

• SDF Studio SDF Studio

• کوچک-کودا-nn tiny-cuda-nn

• بهبود Nerf با MLPهای کاملاً ذوب شده Improving Nerf with fully fused MLPs

• instant-ngp instant-ngp

• ngp_pl ngp_pl

• ngp_pl - نصب ngp_pl - installation

• ngp_pl - آموزش ngp_pl - training

• ngp_pl - تست ngp_pl - testing

• NerfAcc NerfAcc

نتیجه Conclusion

• نتیجه Conclusion