FPGAの最近のブログ記事

(For Maker Faire Taipei 2017 customers: English explanation is written after Japanese.)

お待たせしました。MFT2015で頒布したPICUAL(PERIDOT用LCDシールド)のデモデータを公開しました。

• PERIDOT用コンフィグレーション (cq_viola_top.rbf)
  • プロジェクトファイル一式は以下にあります。
    https://github.com/kimushu/peridot/tree/feature/picual/fpga/peridot_picual
  • コンパイル済みのバイナリで試したい方は、PERIDOT RBF-WRITERにて以下のRBFをPERIDOTに書き込んでください。
    https://github.com/kimushu/peridot/raw/feature/picual/fpga/peridot_picual/output_files/cq_viola_top.rbf
• 動画再生制御プログラム (boot.elf @ lcdunit_ckplay)
  • 上記コンフィグレーションでは、NiosIIのブートローダがSDカードからELFバイナリを起動するようになっています。
    SDカードをFAT16or32でフォーマットし、"PERIDOT"というディレクトリを作って"boot.elf"という名前で動画再生プログラムを入れておきます。このプログラムは、同じくSDカードの"PERIDOT"ディレクトリから"*.ck"というファイルを検索して、順番に再生します。いまのところ、タッチセンサによる動画切り替え等の機能はありません。
  • 本プログラム起動後の約15秒間は、タッチセンサのテスト機能が動きます。PICUAL製造後の動作テストに使っていました。
  • 動画再生制御プログラムは上記プロジェクトファイルのsoftwareディレクトリ内にあります。
    https://github.com/kimushu/peridot/tree/feature/picual/fpga/peridot_picual/software/lcdunit_ckplay
  • コンパイル済みのバイナリもあります。以下のファイルをお使い下さい。
    https://github.com/kimushu/peridot/raw/feature/picual/fpga/peridot_picual/software/lcdunit_ckplay/boot.elf
• 動画エンコーダ
  • 本サンプルでは、動画フォーマットとして長船氏によるCKコーデックが用いられています。
    エンコーダ(に音声付加機能を追加したもの)の公開許可をいただきましたので、以下で公開します。
    https://github.com/kimushu/ck_enc
• 動画データサンプル
  • CC-BYな動画をckファイルに変換しておきましたので、置いておきます。(提供元：http://mazwai.com/)
    raccooncomeandgo.ck

Demonstration and sample data for PICUAL & PERIDOT board:

• FPGA configuration for PERIDOT (cq_viola_top.rbf)
• Write this file (cq_viola_top.rbf) to PERIDOT using PERIDOT RBF-WRITER.
• If you want to edit FPGA configuration as you like, you can use the Quartus project file uploaded here: https://github.com/kimushu/peridot/tree/feature/picual/fpga/peridot_picual
• Video play control program (boot.elf @ lcdunit_ckplay)
  1. Prepare a SD-card and format with FAT16 or FAT32.
  2. Make "PERIDOT" directory at the root of SD-card
  3. Copy this file (boot.elf) into "PERIDOT" directory on SD-card.
  • If you want to edit control program, you can customize Nios II EDT project files uploaded here: https://github.com/kimushu/peridot/tree/feature/picual/fpga/peridot_picual/software/lcdunit_ckplay
  • This program includes touch panel tester and video player. After power-on, touch panel tester starts first, video player starts after about 15 seconds.
• Video encoder
  • In this demonstration, @s_osafune's "CK-codec" is used for video compression.
  • The encoder for CK-codec (ck_enc) is uploaded here: https://github.com/kimushu/ck_enc
  • After video compression, copy encoded video files (*.ck) into "PERIDOT" directory of SD-card.
• Pre-encoded video sample
  • raccooncomeandgo.ck (License: CC-BY. From http://mazwai.com/)

相変わらずの更新ペースですみません...。

先日MFT2015にサークルsilicombi名義で出展してきました。
そこで出してきたものの紹介や、頒布物を購入して頂いた人への情報ページリンクを提供します。

Terasicに注文していたSoCKitが届きました。注文時はPre-Order 2014/03/07と表示されていましたが、

待たされるのを覚悟で注文してみたら、2週間で届いてしまいました^^;

(http://sockit_support.terasic.com/)
送料(FedEx)含めて$330くらい。

載っているのは、AlteraのCycloneVにARM(Cortex-A9)を混載したSoCです。5CSXFC6D6のES版。
データシート等は誰でもダウンロードできます。→ http://www.altera.co.jp/literature/lit-cyclone-v.jsp

http://www.rocketboards.org/foswiki/Documentation/ArrowSoCKitEvaluationBoard
にブロック図がありますが、このボードはFPGA側、HPS(Hard Processor System; 要するにARM)側それぞれに
DDR3、スイッチ、LED等がついています。この規模の評価ボードとなると、DE0の頃のようなMILコネによる
GPIOはもはや付いていません。右端にあるHSMCになります。変換基板も一緒に買うべきか迷いましたが、
今回は保留しました。

イベントの時だけ更新する、という放置っぷりから脱却を図るべく、現在挑戦中(そして次のイベントで出展予定)のネタについて書いておこうと思います。

組み込み向けRubyの「mruby」をAltera FPGAのソフトコアCPU「Nios II」で動かそう、というプロジェクトです。プロジェクト名を rubic と名付けてぼちぼち進めています。

Nios IIはソフトコアCPUだけあって、自分で命令セットを増やせるとか、Tight coupled memoryが使えるとか、普通のプロセッサには無い特徴があります。それを上手く使ったらmrubyを高速化させたりできないか？というのが、このプロジェクトを始めたきっかけですね。
詳しいことはコミケで頒布している薄い本(silicombi電子工作本 vol.3)に書いてます。

作業場所はこちらに。
https://github.com/kimushu/rubic

東雲LCDの件で半年ほどrubicから離れていたら本家mrubyの進化に追いつけなくなったので(^^;)、これまでの成果は放置してやり直しをするかもしれません。

これからしばらく、rubicやmrubyの話を書いていこうかと思います。では。

コミックマーケット80で暑い中ブースを見に来ていただいた方、どうもありがとうございました。
そして、本が売り切れだった方、行ってみたら撤収した後だった方、すみませんでした。
今度からのイベント参加では、十分な数を用意するようにします。

さて、頒布していた本の「FPGA向けMPEG2デコーダ」の記事について、現状のソースコードを公開します。

m2v_dec_impl_r250.zip

気がついたら3ヶ月ちかく更新さぼってました...。

いきなりですが、夏コミに出展しています！本日(土曜日)、東地区T-02b サークル「silicombi」です！

今回の記事は「FPGA向けMPEG2デコーダをほぼフルスクラッチで作ってみた」です。
動画再生挑戦結局結合デバッグが通り始めたところまで進捗しましたので、そこまでの内容を書いています。

なお、ソースコードを当ブログで配布しますが、会場からのネットワークでトラブっているため、後日アップロードします。
ソースコード目当てで来られた方、申し訳ないですが少々お待ちください。

今回はMPEG2デコードIPの全体構成についてです。

その前に、まず動画像の基本を軽く解説します。
動画像とは、パラパラ漫画のように複数の静止画を連続して表示することで実現されます。これについてはご存じの方が大半でしょう。この静止画のことをフレームと呼びます。

問題はフレームの情報をどうやって圧縮するかです。1枚1枚をJPEGなどで圧縮すれば良さそうに思えますが、それだけでは圧縮率を上げることが出来ません。
そこで、動画像の時間的連続性を利用します。

動画像では多くの場合、連続する2枚のフレームの間に共通要素があります。シーンチェンジの瞬間を除き、前後2枚が全く別の画像になることは稀で、
・カメラの動きによる背景の移動
・物が動くことによる、一部の画像の移動
・全く変化無し
など、少なからずとも共通点があります。そこで、1枚前のフレームからの差分を用いることで、データ量を減らす工夫をします。



また、MPEG2ではフレーム内を図のように空間的に分けて取り扱います。16x16ピクセルの領域をマクロブロック と呼び、1つのマクロブロック(MB)は6つの小ブロック からなります。(分かりやすくするために私は「小」ブロックと読んでますが、規格書ではただの "block" と表されています)
小ブロックは 8x8 のサイズで、輝度成分4つと色差成分2つの計6つです。

なお、MPEG-2規格そのものについては書き始めるときりがないので、当ブログではあまり詳しく解説しません。
その代わり、
・「MPEG Video 技術」 http://home.catv.ne.jp/dd/pub/book/mpeg.html
・規格仕様書「ISO/IEC13818-2 Information technology -- Generic coding
of moving pictures and associated audio
information: Video」
などが参考になります。規格書は本来無料で手に入るものではありませんが、ドラフト版ならばネットで探せば手に入ります。
(大学の理工系図書館や、けいはんなの国立図書館なら正式版を読めるかと思います)

復活後一発目の記事では、まず現在作業している内容について紹介しようかと思います。

過去にはMP3プレイヤー(を途中まで)とかアンプ(今は訳あって使ってないけど)とかを書いてましたが、今はちょっとお休みしています。

現在はというと、MPEG2デコーダIPの製作を進めています。
この手のものって市販のIPが存在するので新規性はないんですが、動画コーデックの勉強を兼ねているので良しとします。

その代わり、

• XC3S250E (Xilinx Spantan3E) ×1の中に収める。すなわち、DWM2007年7月号の付録基板で使えるようにする。
  
• フルスクラッチで作る (＝OpenCores等からIPの一部をコピーしたりしない。全部自分で書く)
• (後に述べる)制約条件さえ満たしていれば、MPEG2の規格通りのストリームを処理する。(＝コーデック仕様を都合に合わせて勝手に改変しない)

を目標にしています。

まあ、規模の小さいFPGAなんで、解像度が高いのとかはもちろん無理で、以下のように条件を設定しています。

• MPEG2 PS (ISO13818-2) に準拠
• 解像度は最高 320x240 (QVGA) まで
  
• フレームレートは30fps固定
• プログレッシブ形式限定
• フレームタイプは I と P のみ許可

などです。
実は、これをmakeで出したくて前回のMTM06に参加してました。もちろん完成してませんでしたが^^;
会場で見に来てくれた方に次回こそは完成品持ってきます！なんて言っちゃったので頑張って作らないとｗ

というわけで、これから何回かに分けて製作の様子を公開していこうと思います。
実機で走るレベルまで達成したら、ソースは公開するつもりです。お楽しみに。(MPEG2はライセンス問題とかグレーなところがありますが、趣味でだれでも使えるようオープンにして、いろんな人に使ってもらってこそ取り組んだ甲斐があるので...)

今回は取り組みの紹介まででしたー。