Menu

精致的像素级别的风格转换-Deep Image Analogy

0 Comment

文/Hungryof   

总说



一般情况下,咱们不料两张相片。,A和B′。也许A是正文,咱们愿望的图像与愿意的确认。,然而有些人图像属性(拿 … 来说色),相似地象脉络般分布于B,咱们罢免这张相片是A。,同一,咱们也可以规定B。。

与先于风格转换的异同:

先于风格 转变的办法是全球的的。,它指的是一种制图风格。,这种转换与土著的愿意的无什么相干。,拿 … 来说,过时的风景画的制图风格或剽窃,是风格的一切的意象表达。 也许是图像属性通道的转换, 这是像素级风格。。
拿 … 来说,图A有A的轮廓。,对应驻扎军队的愿意的简直相通。。但是全体的图像的属性(如色),象脉络般分布于)变为B′。,它发展成了暗黄色,脸的象脉络般分布于也被抹去了很多。。

根本意向

A:A::B:B

在内部地A和B是未知的。。这么的表现有两个约束条件。:

1. A和A完整外国的。,同一地,B和B也相似的。。
2. A和BB在图像角色上是确认的。。(拿 … 来说,色),象脉络般分布于)。



作者们以为导演学到从A到B′的晒是故障的(白色)。这是因A和B有不一样的视觉效应。,像素上在紊乱。也许左右晒下决定成

1. 晒A到A的相通驻扎军队。(这是外国的的。,spatial驻扎军队上,这执意为什么A可以从反面再形成某事物的缘故。

2. 浇铸晒到A to B。(这执意紊乱的在。,因而运用NNF搜索

现时规定两个晒。。也许A,B,也许A,B’被晒。,也执意说,它将A的P点晒到B′的P′驻扎军队。。故此,作为一体'A'自身执意同一体驻扎军队点的晒(完整外国的),B和B’也外国的的小块地。。故此,A到B的晒可以被尊敬是从A或A到B的晒。。同一,咱们可以将B规定为A。。

A(p)=B(Φa→b(p))andA′(p)=B′(Φa→b(p))(1)

上文的前半面积得是,使用着的图的P点,也许该点晒到B图的P′点,在内部地p′=a,b,p。这两点得是相似的的。。自然,为了勉励整齐约束。,可以添加双向约束。:Φb→a(Φa→b(p))=p    Φa→b(Φb→a(p))=p

A和B的建造

因咱们有A和B。,也许我有,我也有A和B。, 和,咱们可以吸引晒A,B和B A。。梦想A是A的愿意的作文。,它也有B′的小事。。 现时想想,也许a和a是外国的的,不料小事不一样(本地新闻象脉络般分布于),色等。,美国有线电视新闻网A和A的表明是确认的。。因而在盖,导演万一是A和A是相当的。,和逐步回复在美国有线电视新闻网的浅层。,回复的办法是将现在时的层的特点与CH合。,外表地,可以结构电流层的B。。一次结构床。,最后的,咱们吸引了输出层的a’和b’。。

Deep PatchMatch

输出A和B, 和,可以吸引L层的A和B’的特点。,这是事后计算的。。 假定保温培养期 images A和B (添加两个输出)。,一切4个图像先前在。,咱们可以规定晒Φa→b和Φb→a执意一次NNF(Nearest-neighbor 接)搜索。上面先前讲到,在制度的顶端,咱们可以导演记起A和A。, B和B是相似的的。。现时思索:

也许咱们先前具有L层正中鹄的4幅图片的特点。L 1L的1层特点,其思惟是将L层A的特点与特点雷管被拖。。因A和A的露面根本相通(要做错不一样),故此,咱们可以把A级的特点乘以必然的重任。,作为L 1L的1层特点的一面积,B的表明也对建筑艺术起到了必然的功能。,大体而言,B’企图了A的小事。。后面说到,B’和A’无外国的。!因而咱们需求小块地B。,将晒特点与,这可以是集成的。。

这是什么晒到B′?也执意说,L程度是由T计算暴露的。, 见表达(1)

算法举步



输出B,每个层的FlA和FLB可以事后计算。。和咱们万一第五级(盖)F5a′=F5a。,F5B=F5B′。和,咱们可以率先计算第五级的5A,B和5B 5B A通道搜索。。和再战场ϕ5a→b对F5B′举行修正(使之在房间驻扎军队上与A的特点相婚配)吸引FLB′(ϕ5a→b),但值当睬的是,制度采取VGG。。传播层选择,层通道是池。。因而咱们吸引FLB(X 5A到B)在某种程度上的F4A浆糊。,如上图所示。也许咱们导演抽样5A,B,膨胀两遍吸引5A’B,再 FLB′(ϕ′5a→b)FB′L(ϕa→b′5),实际上,会涌现成绩。。上面将对此举行更特别的的解说。。

预期

VGGⅠ块的第床卷绕层的Relu层。这是重行开端的。,即relu1_1, relu2_1,….relu5_1。neural 浇铸也运用这5层作为浇铸层。。它先前议论过健康状况如何举行预期。。

Nearest-neighbor Field Search

在四周L级,规定:
ϕLa→b(p)=argminq∑x∈N(p),y∈N(q)(∥F¯¯¯¯LA(x)−F¯¯¯¯LB(y)∥2+∥F¯¯¯¯LA′(x)−F¯¯¯¯LB′(y)∥2)



N(P)N(P)是以PP点为激励的小斑块。。当L=5,4,3L=5,4,3时,取3×3 L=2,1L=2,1小时服用5×5。。F¯¯¯¯L(x)=FL(x)|FL(x)|F¯L(x)=FL(x)|FL(x)|。

当咱们吸引La,B,A,BL,咱们要达到L*1L 1层FL*1A'FA L* 1。

FL−1A′=FL−1A∘WL−1A+RL−1B′∘(1−WL−1A)

在内部地RL的1B’是由FLB间隔的。。我合法的说的。,咱们运用LL层如愿以偿LAB。, 抽样,如愿以偿LA’b, FLB保守,获取FLB(R'LA to B),作为RL1B。所发生的RL*1b’与FL 1a不外国的。。这是因La B和L1A 1A B通道在由受话人付费的。,故此它们通道并做错简略的上采取就可以吸引(同时L-1层与L层通道是通道卷绕等停止处理的)。这是个成绩。:咱们需求吸引FL 1A。, 不只需求FLA, 还需求FLB的特别的信息。。前者是事后计算的。,后者与之无特征性。。因而咱们需求再形成某事物。。咱们可以运用LA到B的晒。,但大体而言,这做错L 1A B。,同时 L、1A、B不克不及简略地由La La B采样。。

A终极再形成某事物的仅仅妨碍议事是:健康状况如何使用RL La 1B如愿以偿FL’1B’与RL 1B 1B的FL外国的
轮番沉思,也许咱们先前吸引RL 1B,它得具有什么特点?。它得通道L层1和L层通道的计算。,它得是FLB(LAB)。

CNNLL(1)的规定是中间性L 1和L程度通道的子网。。这么CNNLL−1(RL−1B′)显然是要与FLB′(ϕLa→b)放量近似额。因而咱们可以用左右。:

LRL−1B′=∥CNNLL−1(RL−1B′)−FLB′(ϕLa→b)∥2

咱们可以吸引近似的FLB’(La,b)。

再形成某事物A(或B)

上面的仅仅成绩是WL 1A吸引它。,实际上,它是手工生产选择的。。显然WL−1A越大则阐明咱们希望的事FL−1A′使用更多的FLA的愿意的作文,运用更少的FLB小事。
详细的选择是:

WL−1A=αL−1ML−1A

在内部地,1AmAl 1AmAl 1在1AFAl一致后为FL。,和发送信号一体SigMID功能。,如下吸引。

ML−1A(x)=11+exp(−κ×(|FL−1A(x)|2−τ))

Kappa=300,τ=。

故此,A(或B)的重构是三个跑过。:在现在时的层的特点弄弯上晒现在时的层,和去卷积吸引下层特点。,和合。如下图所示:


Nearest-neighbor Field Upsampling

后面先前说了导演从ϕLa→b上采样吸引的晒ϕ′L−1a→b无法作为ϕL−1a→b,但它可以用作L1A B的设定初值值。。ϕL−1a→b不得不是由L−1层的4幅图的特点通道NNF搜索精调准吸引的。L 1层正中鹄的NNF搜索,在P点附近地区的必然长度内举行随机搜索。,因而锐调谐L1A到B,吸引L 1A B。。在四周{4,3,2,1}层,搜索长度的半径为{ 6,6,4,4}。因全体的跑过是一体鳃基的肉燥的跑过。,故此,从后者的晒有助于TH的晒。。也许随机设定初值不运用因为,那你就无法再形成某事物。。



你可以从上面笔记。,也许是层 孤独词,再形成某事物的小块地将会被弄乱。。

算法伪行为准则



咱们可以从一体阶段下降到另一体阶段。,吸引1A,和,导演1A B到A B。。这是因ϕ1a→b与输出层通道是无pooling依此类推的。spatial 浆糊是相似的的。。如愿以偿A后,你可以再形成某事物A。。A′(p)=1n∑x∈N(p)(B′(Φa→b(x)),在内部地n=5。同一地,B可以被再形成某事物。

归结为启示



归结为好于深 photo style 转变好。,改正。

连同这幅素描与真实有木架的通道的转换。,出路相当改正。。


涉及论文:Visual Attribute Transfer through Deep Image Analogy

发表评论

电子邮件地址不会被公开。 必填项已用*标注