カメラで撮影した際に生じる冊子の見開き画像の歪みを補正する技術を開発

オーバーヘッド型スキャナで厚みのある冊子の見開きを撮影するだけで、歪みのない画像を生成可能

富士通研究開発中心有限公司（注1）と株式会社富士通研究所（注2）は、オーバーヘッド型スキャナで厚みのある冊子の見開きを撮影した際に生じる書面の歪みをフラットに補正し、読みやすい画像を生成する技術を開発しました。

従来、冊子の見開きなどの歪みを補正するには、特殊な模様を書面に投影してその模様の変化から歪みを推定したり、カメラを2台使うことで書面の歪みを推定し、補正処理を行っていました。1台のカメラのみで補正を行う方式もありますが、補正後の文字が位置によっては縦長になるなど、見やすさの点で課題がありました。今回、ページの輪郭線を正確に検出し、その結果から書面の高さを推定することで画像の歪みをフラットに補正するブック補正技術を開発しました。

本技術により、厚みのある冊子の見開きを1台のカメラで撮影しても歪みのない読みやすい画像を生成することができます。

本技術の詳細は、8月25日（日曜日）から米国ワシントンで開催される国際会議「ICDAR 2013 (International Conference on Document Analysis and Recognition)」にて発表します。

開発の背景

近年、タブレットPCが急速に普及し、それに伴い、冊子を電子化してタブレットPCでいつでも好きなときに閲覧したいというニーズが増えています。しかし、普及率の高い従来のコンパクトスキャナで冊子を電子化するには、冊子を裁断する必要があるため、裁断を不要にする方式が求められていました。

課題

冊子を裁断しない方式として、冊子をカメラで撮影することが考えられます。しかし、厚みのある冊子の見開きを撮影すると、書面が湾曲するため撮影画像が読みにくくなります（図1）。これまでは、特殊な模様を書面に投影してその模様の変化から歪みを推定したり、カメラを2台使うことで書面の歪みを推定して画像補正する方式が知られていました。しかし、これらの方式では特殊な装置を必要とするため、コストが高くなるという課題がありました。また、1台のカメラのみで補正を行う方式もありますが、ページの谷間の文字が縦長になりやすいなど、歪みの正確な補正が困難でした。

図1 カメラで撮影した冊子の例

開発した技術

今回、1台のカメラのみで、撮影した画像からページの輪郭線を正確に検出し、その結果から書面の高さを推定することで画像の歪みをフラットに補正するブック補正技術を開発しました。開発した技術の特徴は以下の通りです。

ページの輪郭線の高速・高精度な検出技術
撮影した画像からページの輪郭線を正確に検出します。まず低解像度の画像を用いてページの輪郭線を大まかに検出します。この処理は低解像度の画像を用いるため高速に行われます。次に、高解像度の画像を用いて先に求めた輪郭線をもとに微調整を行うことで、正確な輪郭線を検出します。このように2段階に分けて処理することで高速、かつ高精度な検出を可能にしました。
書面の高さを考慮した画像の歪み補正技術
検出した輪郭線をもとに書面の各場所での高さを推定し、画像の歪みを補正します。ある場所において輪郭線の形状をもとに隣接する場所との高さの差を推定し、差が大きい、すなわち湾曲が大きいと判断した場合は大きな補正をかけます。逆に、高さの差が小さい場合は、湾曲が小さいと判断し補正量を小さくします。これにより、ページの谷間の文字が縦長になることなく、正しく補正されます。
指領域の除去技術
オーバーヘッド型スキャナで厚みのある冊子の見開きを撮影する場合、ページを押さえる指が画像に写り込むことがあります。そこで、見やすさを向上するため、指領域の自動検出・除去も併せて行います。

これらの技術によりA4サイズの見開きページを解像度300dpi相当で読み取る場合、約90%の精度で歪み補正を行い、約1.3秒での高速処理を実現しました。

図2 ブック補正技術の概要