fullseye

integrate — 3D `tsdf_fusion` op

データ種: sdf × depth → sdf
呼び出し: import fullseye as fs; fs.ledger.integrate(tsdf: 'np.ndarray', weight: 'np.ndarray', depth: 'np.ndarray', K, R, t, trunc: 'float', bounds: 'Optional[Bounds]' = None) -> 'None' (実装を直接呼ぶなら import tsdf_fusion; tsdf_fusion.integrate(tsdf: 'np.ndarray', weight: 'np.ndarray', depth: 'np.ndarray', K, R, t, trunc: 'float', bounds: 'Optional[Bounds]' = None) -> 'None'、台帳から引くなら ops3d.get("integrate"))

使い方

深度 1 枚を投影的 TSDF で volume に統合(in-place、重み付き移動平均)。

各 voxel 中心を (K,R,t) で射影(X_cam = R X + t, u = fx*X/Z+cx)し、対応画素の観測深度 d_meas と voxel のカメラ深度 d_voxel = Z_cam を比較。 sdf = min(1, (d_meas - d_voxel)/trunc) を、以下すべてを満たす voxel にのみ適用: 画像内・d_meas>0 かつ有限・(d_meas - d_voxel) >= -trunc(表面より trunc 以上奥= 遮蔽領域は観測不能として 更新しない)。この valid 集合では sdf ∈ [-1,1]。更新: tsdf = (w*tsdf + sdf)/(w+1)、weight = w+1(1 フレーム重み 1)。

bounds を渡すと voxel 中心を world で解釈し (K,R,t) は world→camera。bounds=None(既定) では voxel 中心を grid-index フレーム((i+0.5,…))で解釈し (K,R,t) は grid→camera とする (fuse は bounds を渡すので world 座標で融合される)。

背景知識ガイド(この op の手前にある物理・規約)

depth_sensors — 深度センサの知識 — 測距原理・実機の値・欠測の出方

参考(サンプルデータ・文献)

サンプルデータカタログ(DL URL / ライセンス) — 2-D は skimage.data(BSD/public)+ 合成、3-D は実データ源(Stanford/PDS 等)の DL URL。
演算子の来歴・参考文献 — この op 族の元になった研究/手法の出典。

実行できる例(この op を実際に呼ぶ検証済みサンプル)

transforms_repr — py -3.11 examples_3d/transforms_repr.py

型が繋がる次の op(`sdf` を入力に取れる)

sdf_to_occupancy · fuse_to_voxel · extract_surface_points · query_distance · sdf_union · sdf_intersect · sdf_subtract · sdf_smooth_union

同カテゴリ(`tsdf_fusion`)

fuse · extract_surface_points

Provenance: tsdf_fusion.py — 3D operator registry. この per-op ノートは tools/opdocs.py md が自動生成(手編集しない)。

This site is open source. Improve this page.