CN1582457A - 从2d图像序列生成立体图像序列 - Google Patents

从2d图像序列生成立体图像序列 Download PDF

Info

Publication number
CN1582457A
CN1582457A CNA018239390A CN01823939A CN1582457A CN 1582457 A CN1582457 A CN 1582457A CN A018239390 A CNA018239390 A CN A018239390A CN 01823939 A CN01823939 A CN 01823939A CN 1582457 A CN1582457 A CN 1582457A
Authority
CN
China
Prior art keywords
image
distortion
scene type
photography
press
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA018239390A
Other languages
English (en)
Other versions
CN1295655C (zh
Inventor
R·-D·纳斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3D world, Inc.
New vision Co.
Vision Inc.
X3D TECHNOLOGIES
X3D Technologies GmbH
Original Assignee
TDV TECHNOLOGIES CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDV TECHNOLOGIES CORP filed Critical TDV TECHNOLOGIES CORP
Publication of CN1582457A publication Critical patent/CN1582457A/zh
Application granted granted Critical
Publication of CN1295655C publication Critical patent/CN1295655C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Abstract

本发明说明用于从两维图像序列生成三维图像的一种方法和一个装置,该方法的特征尤其在于,对两维的图像从其景像类型方面进行分析,并根据所求出的景像类型来选择分配给该景像类型的变形,用该变形使所述的两维图像变形,并输送给至少一个观察信道。此外还规定了不同的过渡功能,用这些过渡功能达到了从一种变形连续和无干扰地过渡到任何新的变形。

Description

从2D图像序列生成立体图像序列
本发明涉及用于从两维图像序列生成三维(3D)图像的一种方法和一种装置。
尤其在医学和自然科学中,人们常常利用三维图像的生成来用于分析研究对象。对于一般的消费者领域也已开发了不同的方法,用这些方法尤其可以三维再现电视图像。
人们在此基础上区分图像顺序传输和并行传输,在图像顺序传输时交替地相继传输右眼和左眼的图像,或存储在存储媒体中,而在并行传输时在两个分开的信道上传输图像。
图像顺序传输与常规电视系统相结合的特别的缺点在于,每个眼睛的图像重复率降低到了每秒25个图像。因此对于观察者产生了一种不舒服的闪烁。虽然在通过各自一个自己的(左或右的)信道来并行传输图像序列时不出现这种限制。但是在同步两个信道时,以及通过对必须同时接收和处理两个分开信道的接收机所提出的要求在此可能产生问题。这在市面上通常的系统中是不可能的。
在未来的电视系统中应该完全数字式进行信号传输和处理。在此情况下,每个图像分解为各个数字化传输的像点。为了降低必要的带宽,在此采用相应的压缩方法,这些压缩方法却对于立体传输提出了问题。
在数据块编码法中,例如在合宜的压缩比时一般不可能准确地重建图像的每个单个的行。此外,例如像MPEG-2那样的帧间编码不能实现图像顺序地传输或存储立体图像,因为来自一个图像的图像信息还含有在另一个图像中,并因此导至所谓的串音效应,这些串音效应使得将右图像从左图像清晰地分开成为不可能。
在DE 35 30 610和EP 0 665 697中公布了其它的方法,用其从两维图像序列生成三维图像序列。在EP 0 520 179中说明了用图像内插法的自动立体系统,而在″Huang著:图像序列分析″(Springer出版社)中论述了在图像序列中识别运动范围的问题。
从US-PS 6,108,005中公开了一种用于生成合成的立体图像的方法,在该方法中从一个所输送的图像生成至少两个图像,其中,相对于所输送的图像来放大、缩小、旋转、移动、或以这种方式来改变图像中的至少一个,使得与一个另外图像中相对应的部分相比较,至少部分的图像相对于图像的另外部分移动了。不过在此不利的是,是否通过合适地选择所述的改变对观察者产生准确或自然的立体的图像印象,这在很大程度上依赖于操作人员的技术。
本发明所基于的任务在于,创造开始时所述类型的一种方法和一种装置,用该方法/装置基本上可以没有通过操作人员或观察者的介入,来生成具有特别自然的三维图像印象的3D图像。
用根据权利要求1的方法和根据权利要求11的装置来解决该任务。
从属权利要求的内容为本发明的有利改进方案。
从以下的借助图的优选实施形式的说明中,得出本发明的其它的细节、特征和优点:
图1展示了本发明电路装置示意的方框电路图;
图2展示了用于通过球面投影来阐述变形的示意图;和
图3展示了本发明方法的流程图。
图1中示意地示出了本发明装置的主要部件和它们彼此间的连接。装置包括一个输入端E,通过该输入端E将由摄像机摄取和数字化的两维图像输送给第一图像存储器1,该第一图像存储器1用于暂存至少一个各自当前的图像。
从第一图像存储器1中将所输送的图像传输到与此相连接的第二图像存储器2中,安排该第二图像存储器2用于存储预先可规定数量的相继图像和用于这些图像的内插。
此外,用于景像(Szene)分析的装置3还与第一图像存储器1相连接,用该景像分析的装置对当前的、存储在第一图像存储器1中的图像从其内容方面进行分析研究,以便将图像分配给例如像″近距摄像″、″正常摄像″(中等摄像(Mediumaufnahme))或″广角摄像″那样的某种景像类型。
用于景像分析的装置3与用于图像变形的装置4相连接,用该装置按照用装置3所求出的景像类型,使从第一图像存储器1中所输送的图像经受分配给该类型的图像变形。
第二图像存储器2也与装置4相连接,使得同样可以将通过先前图像的内插所生成的图像变形。
在图像变形存储器5中存储了这种图像变形用的不同的样板,和它们对至少一个景像类型的分配,从该图像变形存储器5中通过用于图像变形的装置4可以调用样板。
相位转换器6最后与装置4的一个输出端相连接,给该相位转换器6可以传送来自第一图像存储器1中的未变形的图像和从中用装置4所生成的变形的图像。这些图像于是施加在相位转换器6的第一和第二输出端A1,A2上,并分别形成图像的第一或第二序列,这些图像的第一或第二序列输送给左或右立体图像的左或右观察信道BL,BR
由此那么其中一个图像序列由未改变的输送图像所组成,而另一个图像序列由从中生成的、施加了变形的图像所组成(非对称的变形)。替代地,也可以对两个图像序列的图像施加变形(对称的变形)。另一种可能性最后在于,附加或替代地给装置4输送一个在第二图像存储器2中内插的图像,并从中(以变形的和/或未变形的形式)组成第一和/或第二图像序列。
为此目的,通过内插存储在第二图像存储器2中的图像序列x(i,j,α),例如通过全部像点的线性样条(Spline)近似、或更高阶或多项式的近似来计算出内插的图像,其中,α是近似变量,并表示当前图像的时间间隔,在该时间间隔中生成一个合成(内插的)图像。为此优选采用在WO 01/76258中所说明的方法。所以在此通过引用,使该文献的内容成为本公布的组成部分。
用本发明装置因此可以从施加在输入端E上的两维地摄取并数字化图像的序列中,生成第一和第二图像序列,当第一和第二图像序列输送给左眼或右眼时,所述第一和第二图像序列共同实现了原始两维图像的三维观察。
以下首先说明用于通过″非对称的″图像变形来生成立体图像序列的第一方法,在该″非对称的″图像变形中将所输送的图像序列基本上不改变地,即施加″零变形″地用作为第一图像序列,并通过第一图像序列的图像的变形来生成第二图像序列。
随后说明用于通过″对称的″图像变形来生成立体图像序列的第二方法,在该方法中第一图像序列的图像也是变形的图像。
于是最后说明,如何通过景像分析以实时地按照图像内容(景像类型)可以对图像变形进行选择和匹配或优化,以及如何优选进行不同图像变形之间的过渡,使得不出现干扰的过渡效应。
A)设xij为第一图像序列在时刻t的数字化图像(第一立体图像),具有水平分辨率I和垂直分辨率J。如下从中得出第二立体图像x*(i*,j*):
[i*:=i+i_Index(i,j)bzw.j*:=j+j_Index(i,j).式中Index=下标,bzw.=或]
这意味着,通过在i和j方向上的移动得出新的像点i*和j*。原则上可以将所有的数学函数采用于此。所以以下所述的变形只应理解为这种函数的实例。
I.)对于第一方法阐述三种不同的变形:
1.)俯仰(Tilt)变形:
在此,按以下的公式水平连续增加从上向下扩张新图像的像点:
                      i_Index(i,j):=0;
j_Index(i,j):=(1-(tL-i)/tL)((0,5Ppl-j)/0,5PpL)·Tilt
           füri:=0,...,tL undj:=0,...,PpL
在此意味着:tL为行的数量,PpL为每行的像点数量,以及″Tilt″为决定扩张程度的任意的标度常数。
2.)球面变形:
在此,按以下的公式使新图像的像点同心地从图像的中心点向边缘畸变:
   i_Index(i,j):=((0,5PpL-j)/0,5PpL)(1-(4/tL2)(0,5tL-i)2)·Sphere
   j_Index(i,j):=((0,5tL-i)/0,5tL)(1-(4/PpL2)(0,5Ppl-j)2)·Sphere
                    对于i:=0,...,tL和j:=0,...,PpL
在此意味着:tL为行的数量,PpL为每行的像点数量,以及″Sphere″为决定畸变程度的任意的标度常数。
3.)球面-俯仰变形:
在此,按以下的公式使新图像的像点同时从上向下和同心地从图像的中心点畸变和扩张:
i_Index(i,j):=((0,5PpL-j)/0,5PpL)(1-(4/tL2)(0,5tL-i)2)·Sphere
j_Index(i,j):=((0,5tL-i)/0,5tL)(1-(4/PpL2)(0,5Ppl-j)2)·Sphere
               +((tL-i)/tL)((0,5PpL-j)/0,5PpL)·Tilt
               对于i:=0,...,tL和j:=0,...,PpL
在此意味着:tL为行的数量,PpL为每行的像点数量,以及″Sphere″为决定畸变程度的任意的标度常数,和″Tilt″为决定扩张程度的任意的标度常数。
II.)第二方法用对称的图像变形来工作,在对称的图像变形中附加地也使当前的原始图像变形,即几何上畸变。以根据图2的一般形式,将图像平面B的当前像点0至PpL的映像示出到拱形面F(映射面)上,其中,以距离D从左眼和右眼A1,A2的两个观察点来观察该映像。从观察者出发,以对两个眼睛A1,A2不同的方式(j′和xM′对于A1,或j″和xM″对于A2),将映射面F上的像点(例如z(j)或范围xM)反回投影到图像平面B上。头脑因而获得从两个视角来观察图像的印象。
原则上在此也又可以应用任意的数学函数或投影的面。以下应示范性地说明两种变形:
1.)球面投影:
图像面在此是一个向外呈拱形的球面。对于每个原始的像点x(i,j)得出在对着观察者呈凸弧的球面上″合成的″像点z(i,j):
      z(i,j):=(1-(4/PpL2)(0,5PpL-j)2)(1-(4/tL2)(0,5tL-i)2)·Sphere
在此意味着:tL为行的数量,PpL为每行的像点数量,以及″Sphere ″为决定畸变程度的任意的标度常数。
按照射束定理将左观察者位置E1的j-Index(下标)映射到:
               j′:={(j-E1)/(1-z(i,j)/D)}+E1
由于适用  0≤z(i,j)≤Sphere(球面),人们发现,常数″Sphere″必须总是小于等于观察者距离D。
对于右观察者位置Er得出:
               j″:={(j-Er)/(1-z(i,j)/D)}+Er
2.)圆柱面投影:
图像面在此是一个向外呈拱形的圆柱面。对于每个原始的像点x(i,j)得出在对着观察者呈凸弧的圆柱面上″合成的″像点z(i,j):
        z(i,j):=(1-(4/PpL2)(0,5PpL-j)2)·Sphere
在此意味着:PpL为每行的像点数量,以及″Sphere″为决定畸变程度的任意的标度常数。
对于新的下标j′和j″又像对于球面投影那样,对于左观察者位置E1得出:
       j′:={(j-E1)/(1-z(i,j)/D)}+E1
而对于右观察者位置Er得出:
       j″:={(j-Er)/(1-z(i,j)/D)}+Er
现察者位置的数量不局限于二,这适用于球面投影和圆柱面投影。更确切地说,基本上可以计算出任意多的左和右观察者位置Ek(k=1,...n)来代替只有左和右观察者位置。这对于自动立体的多观察者监视器尤其是重要的。
由于通过两个上述下标的值j′和j″有可能未给新图像的全部下标分配值,必须通过连接在后面的平滑法和内插法来补偿或″充填″由此形成的″孔隙″。
通过下标i_Index和j_Index来准确说明每种单个的变形,这适用于两种方法(I.和II.)。在图像变形存储器5中,对于每种变形存储了从每个像点移动用的上述公式中得出的值(移动值)。
B.)以下现在说明方法,用这些方法执行景像分析,和根据所求出的景像类型可以动态控制或选出所采用的图像变形。
优选为此规定三种不同的景像类型,分析研究图像的这些景像类型。但是原则上也可以规定更大数量的景像类型。
在这里示范性地说明的景像类型是近距摄影N、广角摄影W和中等摄影(正常摄影)M。
在近距摄影中假设物体置放到了图像中心点上,并遮盖了图像从中心点出发的最大部分。在此情况下,球面投影最好地适合于变形(转换)。以此也达到了某种″弹出(Pop-out)″效应,在该效应中图像的中心看起来从图像中走出来。
在广角摄影中常常涉及风景摄影。在此情况下,一般用俯仰变形达到最好的三维效应。
如果涉及一个在图像中心的、用摄像机以某个距离跟踪的物体组(正常摄影或中等摄影),则一般用球面-俯仰变形产生最好的三维印象。
对于以下的规定首先设P为一个固定的常数,式中P:=0.2(0≤P≤0.5)。
1.)景像类型″近距摄影″(N)的规定:
设xN为在具有总图像xG的例如60%全部像点的范围中的、当前图像的矩形子图像。
设δG 2为总图像xG=x(i,j)的均方标准偏差(方差),和此外设δN 2为子图像xN的均方标准偏差(方差)。如果δN 2≤PδG 2,则确定了景像类型近距摄影N。在此适用:
              δN 2:=∑(xij- xN)2überi,j∈xN
式中,平均值 xN:=(1/|xN|)∑xijüberi,j∈xN
2.)景像类型″正常摄影或中等摄影″(M)的规定:
设xM为在具有总图像xG的例如40%全部像点的范围中的、当前图像的矩形子图像。
设δG 2为总图像xG=x(i,j)的均方标准偏差(方差),和此外设δM 2为子图像xM的均方标准偏差(方差)。如果δM 2≤PδG 2,则确定了景像类型中等摄影M。在此适用:
            δM2:=∑(xij- xM)2überi,j∈xM
式中,平均值 xM:=(1/|xM|)∑xijüberi,j∈xM
3.)景像类型″广角摄影″(W)的规定:
设x1和x2为左和右上部图像范围中的两个矩形子图像,而y1和y2为左和右下部图像范围中的两个矩形子图像。此外还将X图像范围之间的互相关性的绝对值定义为
k x : = | ( Σ x 1 i x 2 i ) / ( ( Σ x 1 i 2 Σ x 2 i 2 ) ) |
和将Y图像范围之间的互相关性的绝对值定义为
k y : = | ( Σ y 1 i y 2 i ) / ( ( Σ y 1 i 2 Σ y 2 i 2 ) ) |
如果kx≥1-P和ky≥1-P,X范围和Y范围则高度相关。这被规定为广角摄影W。
C.)在应用图像变形时应考虑到,在景像类型相对于以前的景像类型变化时,不应简单地在所分配的变形函数之间进行转接。也就是这会由观察者感觉为干扰、或″仃顿″、或″抖动(Ruckeln)″。
在此情况下宁可通过一个过渡功能(bergangsfunktion)来安排,将迄今的变形分布到约二至三个图像上,比较平滑或连续地过渡到新的变形中去。因此要对变形与新的图像内容进行动态匹配。
为此目的,对于从一种″旧的″变形到另一种″新的″变形的每种过渡规定一种过渡变形,该过渡变形例如同样存放在图像变形存储器5中。通过预先规定数量K的过渡矩阵来形成这种过渡变形,通过优选线性地内插对于旧的和新的变形所存储的每个像点的移动值来计算出和同样来存储这些过渡矩阵的值。
在变化景像类型时,因此用过渡功能施加于所传输的、已改变其景像类型的图像,该过渡功能由过渡变形以及随后的新的变形所组成,该过渡变形通过数量K的过渡矩阵来规定,而该随后的新的变形分配给了所求出的新的景像类型。在此情况下,在应用过渡功能期间不考虑景像分析的在这期间所输送的其它结果。
例如设出发点在于,正在传输的图像的景像类型是″广角摄影″,而事先传输的图像曾是景像类型″近距摄影″。因而应该从分配给近距摄影的(旧的)图像变形″球面″转接到了分配给广角摄影的(新的)图像变形″俯仰″。此外还设数量K=2,并因此确定了两个过渡矩阵。
在应用新的图像变形之前,因此用第一过渡矩阵施加于正在传输的图像,并随后用第二过渡矩阵施加于下一个图像,这两个过渡矩阵共同形成过渡变形。
通过按照数量K的过渡矩阵来线性地内插旧的图像变形(球面)和新的图像变形(俯仰)的移动值,得出了各个值,这些值含有过渡矩阵,并且这些值分别是像点的过渡移动。如果例如对于一个像点,旧图像变形的移动值为0,而新图像变形的移动值为6.0,则对于该像点K=2,在第一过渡矩阵中得出2.0的移动值,而在第二过渡矩阵中得出4.0的移动值。
对于在景像类型之间的,和因而在各自分配的变形之间的所有可能的过渡,可以预先计算出并在图像变形存储器5中存储全部的过渡矩阵。
在此要考虑的是,在从第二变形过渡到第一变形的情况下,将对从第一变形到第二变形的过渡所存储的过渡矩阵,以相反的顺序应用到所传输的图像上。
图3展示了本发明方法的流程图。
在接通装置之后,用第一步骤10首先在用于图像变形的装置4中,将第一状态″当前变形″到开始变形上,确定为应用的变形,该应用的变形例如是圆柱形变形。于是用第二步骤11,例如同样将第二状态″新的变形″到标准变形或规定变形(设定变形)上,设置到圆柱形变形上,并随后借助用于景像分析的装置3根据以上的说明来求出当前(所输送)图像的景像类型。
于是用第三步骤12来查询,是否作为景像类型已求出了近距摄影N。如果是这种情况,则根据第四步骤13设置第二状态″新的变形:=球面″,并用(第九)步骤18继续该第二状态。
如果在第三步骤12中否定地回答了查询,则用第五步骤14来查询,是否作为景像类型已求出了媒体摄影M。如果是这种情况,则根据第六步骤15设置第二状态″新的变形:=球面-俯仰″,并用(第九)步骤18继续该第二状态。
如果在第五步骤14中否定地回答了查询,则用第七步骤16来查询,是否作为景像类型已求出了广角摄影W。如果是这种情况,则根据第八步骤17设置第二状态″新的变形:=俯仰″,并用(第九)步骤18继续该第二状态。
如果在第七步骤16中同样否定地回答了查询,则用第九步骤18继续,用该第九步骤18查询,用第一和第二状态所设置的变形是否是相同的。
以用于景像分析的装置3执行这些步骤11至18。
如果肯定地回答了用第九步骤18的查询,则根据第十步骤19借助用于图像变形的装置4使当前的图像经受(未改变的)图像变形,并作为第二图像序列的图像来输出。于是用第二步骤11对于下一个图像重复该方法过程。
如果否定地回答了用第九步骤18的查询,则应该应用过渡功能,并根据第十一步骤20首先将计数器的值k设置到k:=0上。
随后用第十二步骤21,应用第一过渡矩阵来将图像存储器1的当前的图像变形,并作为第二图像序列的图像来输出。此外将计数器的值提高1(k:=k+1)。于是用第十三步骤22查询,计数器读数k是否大于过渡矩阵的数量K。
如果不是这种情况,则重复第十二步骤21,并将图像存储器1的现在当前的图像变形,并且也就是现在用第二(下一个)过渡矩阵来使图像存储器1的现在当前的图像变形,以便然后作为(第二)图像序列的下一个图像来输出。
在应用了规定数量K的过渡矩阵之后,在过渡变形结束时使得当前的图像,经受新的根据步骤13,15或17设置的图像变形,并又将计数器读数值提高1。于是肯定地回答用第十三步骤22跟随的查询,使得用第十四步骤23来继续,用该步骤将第一状态″当前的变形″设置到新的变形上。随后通过向第二步骤11的回跳,用下一个所输送的图像重复所述的方法。
优选在数字式图像处理系统中实施了图1所示的装置,该图像处理系统用于从两维传输或存储的图像来生成三维的再现。
优选以一个或多个计算机程序的形式来实施所述的方法,这些计算机程序具有用于用计算机,尤其是用微处理机单元来执行各个方法步骤的程序码装置。
所述的方法也可以实施为具有存储在机器可读载体上的、用于实施方法步骤的程序码的计算机程序产品,如果将该程序码装载到可编程的微处理机单元的存储器中,或在计算机上实施该程序码,该微处理机单元/计算机是数字式图像处理系统的组成部分。
权利要求书
(按照条约第19条的修改)
1.用于从两维图像序列生成三维(3D)图像的方法,在该方法中对两维图像从至少一种景像类型方面进行分析,该景像类型确定为近距摄影、或正常摄影(中等摄影)、或广角摄影,并在该景像类型中用分配给所求出景像类型的变形来使所述的两维图像变形,并输送给至少一个观察信道,其中,给所述的景像类型近距摄影分配球面变形、给所述的景像类型正常摄影分配球面-俯仰变形、和给所述的景像类型广角摄影分配俯仰变形。
2.按权利要求1的方法,
其特征在于,在所述的球面变形上使所变形图像的像点从所述图像的中心点向外同心地畸变。
3.按权利要求1的方法,
其特征在于,在所述的球面-俯仰变形上使所变形图像的像点同时从上向下和从所述图像的中心点同心地畸变和扩张。
4.按权利要求1的方法,
其特征在于,在所述的俯仰变形上使所变形图像的像点水平连续增加地从上向下扩张。
5.按权利要求1的方法,
其特征在于,将球面变形分配给所述的景像类型近距摄影,其中,通过到所变形图像上的不同的视角给出了第一和第二观察信道。
6.按权利要求1的方法,
其特征在于,将圆柱面变形分配给所述的景像类型广角摄影,其中,通过到所变形图像上的不同的视角给出了第一和第二观察信道。
7.按以上权利要求之一的方法,
其特征在于,对于至少一个观察信道经受了变形的所述的两维图像,是一个通过内插可预先规定数量的相继图像而获得的图像。
8.按权利要求1的方法,
其特征在于,在第二图像的景像类型相对于以前第一图像变化时,使所述第二图像经受过渡功能,为了避免不自然的图像印象,用该过渡功能将该第二图像连续地从分配给所述以前景像类型的变形适配到分配给所述新景像类型的变形。
9.按权利要求8的方法,
其特征在于,通过预先规定数量K的过渡变形,以及所述新的图像变形来形成所述的过渡功能,其中,通过所述以前的变形和所述新的变形的线性内插来对于每个像点求出所述的过渡变形。
10.用于实施按以上权利要求之一方法的装置,具有一个用于通过规定至少一个子图像和所述子图像与所述总图像的比较来景像分析所输入的图像的装置(3),以及具有一个用于存储所述景像类型和至少一个分配给每种景像类型的变形的图像变形存储器(5)。
11.按权利要求10的装置,
其特征在于,安排所述用于景像分析的装置(3)用于在所述总图像的图像中心范围内规定具有可变大小的子图像,和用于求出所述子图像及总图像的均方标准偏差,以便从中求出一种景像类型近距摄影或正常摄影。
12.按权利要求10的装置,
其特征在于,安排所述用于景像分析的装置(3)用于在所述总图像的边缘范围中规定多个子图像,和用于在不同图像范围之间求出互相关性的绝对值,以便从中求出一种景像类型广角摄影。
13.按权利要求10的方法,
其特征在于,安排了所述的图像变形存储器(5)用于存储分配给两种变形之间的每种过渡的过渡变形。
14.具有程序码工具的计算机程序,如果在计算机上实施所述的程序,则用于实施按权利要求1至9之一方法的步骤。
15.具有根据权利要求14的、存储在计算机可读的数据载体上的程序码工具的计算机程序。
16.具有存储在机器可读载体的程序码工具的计算机程序产品用于实施按权利要求1至9之一的方法步骤,如果在计算机上实施所述的程序。
17.用于从两维传输或存储的图像生成三维再现的数字式图像处理系统,其特征在于一个按权利要求10至13之一的装置。

Claims (18)

1.用于从两维图像的序列生成三维(3D)图像的方法,
其特征在于,对两维图像从其景像类型方面进行分析,并根据所求出的景像类型来选择一种分配给该景像类型的变形,用该变形来使所述的两维图像变形,并输送给至少一个观察信道。
2.按权利要求1的方法,
其特征在于,将近距摄影、正常摄影(中等摄影)和广角摄影确定为景像类型。
3.按权利要求2的方法,
其特征在于,将球面变形分配给所述的景像类型近距摄影,在该球面变形中使所变形图像的像点从所述图像的中心点向外同心地畸变。
4.按权利要求2的方法,
其特征在于,将球面-俯仰变形分配给所述的景像类型正常摄影,在该球面-俯仰变形中使所变形图像的像点同时从上向下,并从所述图像的中心点向外同心地畸变和扩张。
5.按权利要求2的方法,
其特征在于,将俯仰变形分配给所述的景像类型广角摄影,在该俯仰变形中使所变形图像的像点水平连续增加地从上开始扩张。
6.按权利要求1的方法,
其特征在于,将球面变形分配给所述的景像类型近距摄影,其中,通过到所变形图像上的不同的视角给出了第一和第二观察信道。
7.按权利要求1的方法,
其特征在于,将圆柱面变形分配给所述的景像类型广角摄影,其中,通过到所变形图像上的不同的视角给出了第一和第二观察信道。
8.按以上权利要求之一的方法,
其特征在于,对于至少一个观察信道经受变形的所述的两维图像,是一个通过内插可预先规定数量的相继图像而获得的图像。
9.按权利要求1的方法,
其特征在于,在第二图像的景像类型相对于以前第一图像变化时,使所述第二图像经受过渡功能,为了避免不自然的图像印象,用该过渡功能将该第二图像连续地从分配给所述以前景像类型的变形适配到分配给所述新景像类型的变形。
10.按权利要求9的方法,
其特征在于,通过预先规定数量K的过渡变形,以及所述新的图像变形来形成所述的过渡功能,其中,通过所述以前的变形和所述新的变形的线性内插来对于每个像点求出所述的过渡变形。
11.用于实施按以上权利要求之一方法的装置,
其特征在于一个用于通过规定至少一个子图像和所述子图像与所述总图像的比较来景像分析所输入的图像的装置(3)。
12.按权利要求11的装置,
其特征在于,安排所述用于景像分析的装置(3)用于在所述总图像的图像中心范围内规定具有可变大小的子图像,和用于求出所述子图像及总图像的均方标准偏差,以便从中求出一种景像类型近距摄影或正常摄影。
13.按权利要求11的装置,
其特征在于,安排所述用于景像分析的装置(3)用于在所述总图像的边缘范围中规定多个子图像,和用于在不同图像范围之间求出互相关性的绝对值,以便从中求出一种景像类型广角摄影。
14.按权利要求11的装置,
其特征在于一个图像变形存储器(5)用于存储多种景像类型、分配给每种景像类型的变形、以及分配给两种变形之间的每种过渡的过渡变形。
15.具有程序码工具的计算机程序,如果在计算机上实施所述的程序,则用于实施按权利要求1至10之一方法的步骤。
16.具有根据权利要求15的、存储在计算机可读的数据载体上的程序码工具的计算机程序。
17.具有存储在机器可读载体上的程序码工具的计算机程序产品用于实施按权利要求1至10之一的方法步骤,如果在计算机上实施所述的程序。
18.用于从两维传输或存储的图像生成三维再现的数字式图像处理系统,
其特征在于一个按权利要求11至14之一的装置。
CNB018239390A 2001-11-24 2001-11-24 从2d图像序列生成立体图像序列 Expired - Fee Related CN1295655C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2001/013674 WO2003046832A1 (de) 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Publications (2)

Publication Number Publication Date
CN1582457A true CN1582457A (zh) 2005-02-16
CN1295655C CN1295655C (zh) 2007-01-17

Family

ID=8164692

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018239390A Expired - Fee Related CN1295655C (zh) 2001-11-24 2001-11-24 从2d图像序列生成立体图像序列

Country Status (8)

Country Link
US (2) US7321374B2 (zh)
EP (1) EP1451775A1 (zh)
JP (1) JP5020458B2 (zh)
KR (1) KR20040071145A (zh)
CN (1) CN1295655C (zh)
AU (1) AU2002233198A1 (zh)
CA (1) CA2472272A1 (zh)
WO (1) WO2003046832A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399997B (zh) * 2007-09-29 2010-06-16 广达电脑股份有限公司 图像处理方法
CN102612837A (zh) * 2009-09-15 2012-07-25 自然视觉系统有限责任公司 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US8256430B2 (en) 2001-06-15 2012-09-04 Monteris Medical, Inc. Hyperthermia treatment and probe therefor
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
EP1603108B1 (en) * 2004-06-02 2017-03-22 BlackBerry Limited Mixed Monochrome and Colour Display Driving Technique
US7714832B2 (en) * 2004-06-02 2010-05-11 Research In Motion Limited Mixed monochrome and colour display driving technique
JP4283785B2 (ja) * 2005-05-10 2009-06-24 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
WO2007060584A2 (en) * 2005-11-23 2007-05-31 Koninklijke Philips Electronics N.V. Rendering views for a multi-view display device
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
BR122018004904B1 (pt) 2007-04-12 2019-11-05 Dolby Int Ab ladrilhamento em codificação e decodificação de vídeo
EP2501137A3 (en) 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101450145B1 (ko) * 2007-06-11 2014-10-13 삼성전자 주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US20090295791A1 (en) * 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
KR101676059B1 (ko) 2009-01-26 2016-11-14 톰슨 라이센싱 비디오 코딩을 위한 프레임 패킹
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
US8508580B2 (en) 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
JP5722349B2 (ja) 2010-01-29 2015-05-20 トムソン ライセンシングThomson Licensing ブロックに基づくインターリーブ
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8918715B2 (en) 2010-11-16 2014-12-23 Magix Ag System and method for generating stereoscopic 3D multimedia works from 2D input material
US8682107B2 (en) 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8730232B2 (en) * 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9137519B1 (en) * 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
WO2014003855A1 (en) 2012-06-27 2014-01-03 Monteris Medical Corporation Image-guided therapy of a tissue
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9492121B2 (en) 2014-03-18 2016-11-15 Monteris Medical Corporation Image-guided therapy of a tissue
WO2015143026A1 (en) 2014-03-18 2015-09-24 Monteris Medical Corporation Image-guided therapy of a tissue
US10675113B2 (en) 2014-03-18 2020-06-09 Monteris Medical Corporation Automated therapy of a three-dimensional tissue region
US10327830B2 (en) 2015-04-01 2019-06-25 Monteris Medical Corporation Cryotherapy, thermal therapy, temperature modulation therapy, and probe apparatus therefor
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10170154B2 (en) 2015-11-16 2019-01-01 Virtual Dreamware, LLC Symmetrically mirrored video segment
CN112712584A (zh) 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 墙线确定方法以及空间建模方法、装置、设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US4729100A (en) 1984-08-28 1988-03-01 Kabushiki Kaisha Toshiba CT System which convolutes projection data with a frequency varying filter function
DE3533379A1 (de) 1985-09-19 1987-03-26 Deutsche Forsch Luft Raumfahrt Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene
US5821989A (en) 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
US6392689B1 (en) 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
AU652051B2 (en) 1991-06-27 1994-08-11 Eastman Kodak Company Electronically interpolated integral photography system
US5510832A (en) 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
KR100358021B1 (ko) 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US5739844A (en) 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
JP2846840B2 (ja) 1994-07-14 1999-01-13 三洋電機株式会社 2次元映像から3次元映像を生成する方法
KR100374463B1 (ko) 1994-09-22 2003-05-09 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환하는방법
JP2846830B2 (ja) 1994-11-22 1999-01-13 三洋電機株式会社 2次元映像を3次元映像に変換する方法
US5777666A (en) 1995-04-17 1998-07-07 Sanyo Electric Co., Ltd. Method of converting two-dimensional images into three-dimensional images
US6064393A (en) * 1995-08-04 2000-05-16 Microsoft Corporation Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline
US5953054A (en) 1996-05-31 1999-09-14 Geo-3D Inc. Method and system for producing stereoscopic 3-dimensional images
US6061067A (en) * 1996-08-02 2000-05-09 Autodesk, Inc. Applying modifiers to objects based on the types of the objects
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US5892691A (en) * 1996-10-28 1999-04-06 Reel/Frame 8218/0138 Pacific Data Images, Inc. Method, apparatus, and software product for generating weighted deformations for geometric models
US5963213A (en) * 1997-05-07 1999-10-05 Olivr Corporation Ltd. Method and system for accelerating warping
US6031564A (en) 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
KR100255748B1 (ko) 1997-07-19 2000-05-01 전주범 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JP4056154B2 (ja) 1997-12-30 2008-03-05 三星電子株式会社 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法
JPH11234703A (ja) 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
KR100334722B1 (ko) 1999-06-05 2002-05-04 강호석 Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
US6765568B2 (en) 2000-06-12 2004-07-20 Vrex, Inc. Electronic stereoscopic media delivery system
GB0105801D0 (en) 2001-03-09 2001-04-25 Koninkl Philips Electronics Nv Apparatus
JP2006522411A (ja) * 2003-03-06 2006-09-28 アニメトリックス,インク. 複数の特徴を含むオブジェクトの画像データベースの生成

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399997B (zh) * 2007-09-29 2010-06-16 广达电脑股份有限公司 图像处理方法
CN102612837A (zh) * 2009-09-15 2012-07-25 自然视觉系统有限责任公司 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置
CN102612837B (zh) * 2009-09-15 2015-06-03 自然视觉系统有限责任公司 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置

Also Published As

Publication number Publication date
KR20040071145A (ko) 2004-08-11
US20080106546A1 (en) 2008-05-08
AU2002233198A1 (en) 2003-06-10
CA2472272A1 (en) 2003-06-05
CN1295655C (zh) 2007-01-17
WO2003046832A1 (de) 2003-06-05
EP1451775A1 (de) 2004-09-01
US7321374B2 (en) 2008-01-22
US20040027346A1 (en) 2004-02-12
JP2005510922A (ja) 2005-04-21
JP5020458B2 (ja) 2012-09-05

Similar Documents

Publication Publication Date Title
CN1295655C (zh) 从2d图像序列生成立体图像序列
US9811946B1 (en) High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
EP3251346B1 (en) Digital multi-dimensional image photon platform system and methods of use
CN1270542C (zh) 视频图像压缩方法
EP1308902A3 (en) Three-dimensional computer modelling
CN1477597A (zh) 适用于计算机图像观看的实时广角图像校正系统和方法
CN101035261A (zh) 一种交互式多视点视频系统的图像信号处理方法
CN1922544A (zh) 用于提供组合图像的方法和装置
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN1956555A (zh) 三维图像处理设备和方法
CN1079350A (zh) 视频图象处理
EP1241898A3 (en) Method for generating panoramic images from a plurality of images
JP2019041389A (ja) パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
CN1700776A (zh) 三维图像显示方法、三维图像捕获方法以及三维显示装置
CN1930585A (zh) 建立深度图
CN105210374B (zh) 利用图像特征对频率提高超分辨率的控制
CN1498501A (zh) 视频数据压缩和解压缩的方法
CN1433640A (zh) 用于子画面生成的全局运动估计
JP2022502755A (ja) 画像合成
CN107454377A (zh) 一种利用相机进行三维成像的算法和系统
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
CN1512456A (zh) 一种显示三维图像的方法
CN111064945B (zh) 一种裸眼3d图像采集及生成方法
CN1145908C (zh) 处理具有图象点的数字化图象的方法和装置
CN1311677C (zh) 一种数字视像节目角色头部的替换方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: CHUANSHUWANG VIDEO HOLDING COMPANY

Free format text: FORMER OWNER: XINJINXIANG CO.,LTD.

Effective date: 20091002

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee

Owner name: X3D TECHNOLOGIES, INC.

Free format text: FORMER NAME: 3D WORLD CO.,LTD.

Owner name: 3D WORLD CO.,LTD.

Free format text: FORMER NAME: TDV TECHNOLOGY CO.,LTD.

Owner name: XINJINXIANG CO.,LTD.

Free format text: FORMER NAME: VISUAL CO.,LTD.

Owner name: VISUAL CO.,LTD.

Free format text: FORMER NAME: X3D TECHNOLOGIES, INC.

CP03 Change of name, title or address

Address after: American New York

Patentee after: New vision Co.

Address before: American New York

Patentee before: Vision Inc.

Address after: American New York

Patentee after: Vision Inc.

Address before: American New York

Patentee before: X3D technologies

Address after: American New York

Patentee after: 3D world, Inc.

Address before: American New York

Patentee before: NEWSIGHT Corp.

Address after: American New York

Patentee after: X3D technologies

Address before: American New York

Patentee before: 3D world, Inc.

TR01 Transfer of patent right

Effective date of registration: 20091002

Address after: Luxemburg Luxemburg

Patentee after: X3D Technologies GmbH

Address before: American New York

Patentee before: New vision Co.

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070117

Termination date: 20131124