آموزش میدان‌های تابش عصبی (NeRF) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• مقدمه‌ای بر بازسازی – بخش ۱ Introduction to reconstruction - part 1

• مقدمه‌ای بر بازسازی – بخش ۲ Introduction to reconstruction - part 2

بازسازی سه‌بعدی 3D reconstruction

• ردیابی پرتو و مدل دوربین Ray tracing and Camera Model

• دوربین: مصورسازی Camera: visualization

• رندرینگ سه‌بعدی 3D rendering

• رندرینگ حجمی – بخش ۱ Volumetric rendering - part 1

• رندرینگ حجمی – بخش ۲ Volumetric rendering - part 2

• رندرینگ قابل افتراق و بهینه‌سازی Differentiable rendering & Optimization

• اضافه کردن ماتریس چرخش به دوربین: دوربین به جهان Adding a rotation matrix to the camera: Camera To World

بازسازی سه‌بعدی: ماژول‌ها 3D reconstruction : modules

• دوربین و دیتاست – بخش ۱ Camera and Dataset - part 1

• دوربین و دیتاست – بخش ۲ Camera and Dataset - part 2

• رندرینگ حجمی Volumetric Rendering

• مدل سه‌بعدی: وکسل‌ها 3D model: Voxels

• حلقه بهینه‌سازی یادگیری ماشین Machine Learning Optimization loop

• منظم‌سازی پس‌زمینه سفید White background regularization

• فروپاشی حالت بر روی داده‌های مصنوعی: راه حل Mode collapse on synthetic data: solution

NeRF: میدان‌های تابش عصبی NeRF : Neural Radiance Fields

• مقدمه Introduction

• معماری: پیاده‌سازی Architecture: implementation

• کدگذاری موقعیتی: پیاده‌سازی Positional encoding : implementation

• نتایج Results

ترکیب نمای نو Novel view synthesis

• ترکیب نمای نو Novel view synthesis

استخراج مش Mesh extraction

• استخراج مش Mesh extraction

• استخراج رنگ – روش ۱ Colour extraction - method 1

• استخراج رنگ – روش ۲ Colour extraction - method 2

فراتر رفتن: مقالات علمی Going further: scientific papers

• ساختار این بخش Structure of this section

• ویژگی‌های فوریه: شبکه‌ها را قادر می‌سازد توابع فرکانس بالا را در ابعاد پایین بیاموزند Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional

• نمایش‌های عصبی ضمنی با توابع فعال‌سازی دوره‌ای Implicit Neural Representations with Periodic Activation Functions

• شبکه‌های فیلتر ضربی Multiplicative Filter Networks

• مقداردهی اولیه آموخته شده برای بهینه‌سازی نمایش‌های عصبی مبتنی بر مختصات Learned Initializations for Optimizing Coordinate-Based Neural Representations

• GRF: یادگیری یک میدان تابش عمومی برای نمایش و رندرینگ سه‌بعدی GRF: Learning a General Radiance Field for 3D Representation and Rendering

• pixelNeRF: میدان‌های تابش عصبی از یک یا چند تصویر pixelNeRF: Neural Radiance Fields from One or Few Images

• GIRAFFE: نمایش صحنه‌ها به عنوان میدان‌های ویژگی عصبی ترکیبی مولد GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields

• iNeRF: معکوس کردن میدان‌های تابش عصبی برای تخمین وضعیت iNeRF: Inverting Neural Radiance Fields for Pose Estimation

• NeRF−−: میدان‌های تابش عصبی بدون پارامترهای شناخته شده دوربین NeRF−−: Neural Radiance Fields Without Known Camera Parameters

• AutoInt: ادغام خودکار برای رندرینگ حجمی عصبی سریع AutoInt: Automatic Integration for Fast Neural Volume Rendering

• KiloNeRF: افزایش سرعت میدان‌های تابش عصبی با هزاران MLP کوچک KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs

• شبکه‌های میدان نور: نمایش صحنه‌های عصبی با ارزیابی واحد Light Field Networks: Neural Scene Representations with Single-Evaluation

• FastNeRF: رندرینگ عصبی با وفاداری بالا در ۲٠٠ فریم بر ثانیه FastNeRF: High-Fidelity Neural Rendering at 200FPS

• SqueezeNeRF: FastNeRF فاکتوربندی شده بیشتر برای استنتاج حافظه کارآمد SqueezeNeRF: Further factorized FastNeRF for memory-efficient inference

• PlenOctrees برای رندرینگ بلادرنگ میدان‌های تابش عصبی PlenOctrees for Real-time Rendering of Neural Radiance Fields

• DeepSDF: یادگیری توابع فاصله علامت‌دار پیوسته DeepSDF: Learning Continuous Signed Distance Functions

• NeuS: یادگیری سطوح ضمنی عصبی با رندرینگ حجمی NeuS: Learning Neural Implicit Surfaces by Volume Rendering

• UNISURF: یکپارچه‌سازی سطوح ضمنی عصبی و میدان‌های تابش UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields

• Plenoxels: میدان‌های تابش بدون شبکه‌های عصبی Plenoxels: Radiance Fields without Neural Networks

• الگوهای گرافیک عصبی فوری با یک کدگذاری هش چند رزولوشن Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

• وضعیت هنر در رندرینگ عصبی State of the Art on Neural Rendering

• پیشرفت‌ها در رندرینگ عصبی Advances in Neural Rendering

• NeRF++: تجزیه و تحلیل و بهبود میدان‌های تابش عصبی NeRF++: Analyzing and improving neural radiance fields

• Mip-NeRF: نمایش چند مقیاسی برای میدان‌های تابش عصبی ضد الیاس Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

• Mip-NeRF 360: میدان‌های تابش عصبی نامحدود ضد الیاس Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields

• میدان‌های تابش عصبی خود کالیبره Self-Calibrating Neural Radiance Fields

• DeRF: میدان‌های تابش تجزیه شده DeRF: Decomposed Radiance Fields

• میدان‌های وکسل پراکنده عصبی Neural Sparse Voxel Fields

ابزارها و پیاده‌سازی‌های منبع باز Tools and open source implementations

• Luma Luma

• nerf_pl nerf_pl

• NerfStudio - مقدمه NerfStudio - Introduction

• NerfStudio - نصب و آموزش NerfStudio - Installation and Training

• ادغام مدل‌های شما در NerfStudio Incorporating your models into NerfStudio

• NerfStudio - داشبورد و نتایج NerfStudio - dashboard and results

• SDF Studio SDF Studio

• tiny-cuda-nn tiny-cuda-nn

• بهبود Nerf با MLPهای کاملاً ادغام شده Improving Nerf with fully fused MLPs

• instant-ngp instant-ngp

• ngp_pl ngp_pl

• ngp_pl - نصب ngp_pl - installation

• ngp_pl - آموزش ngp_pl - training

• ngp_pl - تست ngp_pl - testing

• NerfAcc NerfAcc

نتیجه‌گیری Conclusion

• نتیجه‌گیری Conclusion