link もっと前
   2020年 10月 17日 -
      2020年 10月 17日  
link もっと後

link 未来から過去へ表示(*)
link 過去から未来へ表示

2020年 10月 17日

link permalink

link 編集する

Zephyr OS で遊ぼう その 26 - SMP 対応、リグレッションテストの準備

目次: Zephyr を調べる - まとめリンク

前回は SMP に対応しました。今回はリグレッションテストを行う準備をします。

リグレッションテストの方法

Zephyr には sanitycheck というツールが用意されています。テストレポートやテスト用バイナリが生成されるので、Zephyr のトップディレクトリではなく、空ディレクトリを作ってから実行すると良いです。オプション -p でテストしたいプラットフォームを指定します。

sanitycheck の実行
$ mkdir __tmp
$ cd __tmp

$ sanitycheck -p qemu_riscv32

INFO    - JOBS: 16
INFO    - Building initial testcase list...
INFO    - 928 test configurations selected, 752 configurations discarded due to filters.
INFO    - Adding tasks to the queue...

...

いちいち sanitycheck を全部実行するとかなり時間が掛かります。テストにはタグが付いていて、sanitycheck はオプション -t で特定のタグが付いたテストのみを実行できます。便利ですね。

タグはどこから来ているかというと tests ディレクトリの下に存在する testcase.yaml というファイルに書いてあります。

テストのタグ

// zephyr/kernel/smp/testcase.yaml

tests:
  kernel.multiprocessing.smp:
    tags: smp    //★これがタグ★
    filter: (CONFIG_MP_NUM_CPUS > 1)    //★フィルタ、この条件が真でないとテストがスキップされる★

SMP 系のテストには smp というタグが付いているので、-t smp と指定します。

sanitycheck の実行(SMP 系)、スキップされる
$ sanitycheck -p qemu_riscv32 -t smp

INFO    - JOBS: 16
INFO    - Building initial testcase list...
INFO    - 928 test configurations selected, 925 configurations discarded due to filters.
INFO    - Adding tasks to the queue...
INFO    - Total complete:    3/   3  100%  skipped:    3, failed:    0
INFO    - 0 of 0 tests passed (0.00%), 0 failed, 928 skipped with 0 warnings in 1.95 seconds
INFO    - In total 0 test cases were executed on 1 out of total 292 platforms (0.34%)
INFO    - 0 tests executed on platforms, 0 tests were only built.

残念ながらテストは全てスキップされてしまいます。原因は qemu_riscv32 ボードは SMP に対応していない(CONFIG_SMP を select しない)ため、testcase.yaml に書かれたフィルタに引っかかって除外されるからです。

俺の作ったボードはどこ行った?

先日作成した qemu_rv32_virt ボードならば CONFIG_SMP が有効なので、テストが実行されるはずです。

sanitycheck の実行(SMP 系)、実行されない
$ sanitycheck -p qemu_rv32_virt -t smp

INFO    - JOBS: 16
INFO    - Building initial testcase list...
INFO    - 0 test configurations selected, 0 configurations discarded due to filters.
INFO    - Adding tasks to the queue...

INFO    - 0 of 0 tests passed (0.00%), 0 failed, 0 skipped with 0 warnings in 0.65 seconds
INFO    - In total 0 test cases were executed on 0 out of total 291 platforms (0.00%)
INFO    - 0 tests executed on platforms, 0 tests were only built.

ダメですね。こういうときは既存のボードと見比べて差分を見るとわかりやすいです。どうやら board.cmake, qemu_rv32_virt.yaml を作らないと、ボードが認識されないようです。

sanitycheck の実行に必要なファイルを追加
# zephyr/boards/riscv/qemu_rv32_virt/board.cmake

# SPDX-License-Identifier: Apache-2.0

set(EMU_PLATFORM qemu)

set(QEMU_binary_suffix riscv32)ARCH riscv32)
ARCH
  -nographic
  -machine virt
  -cpu rv32
  -bios none
  )
board_set_debugger_ifnset(qemu)


// zephyr/boards/riscv/qemu_rv32_virt/qemu_rv32_virt.yaml

identifier: qemu_rv32_virt
name: QEMU RISCV32 virt target
type: qemu
simulation: qemu
arch: riscv32
ram: 256
toolchain:
  - zephyr
  - xtools
testing:
  default: true
  ignore_tags:
    - net
    - bluetooth

もう一度実行します。

sanitycheck の実行(SMP 系)、実行できた

$ sanitycheck -p qemu_rv32_virt -t smp

INFO    - JOBS: 16
INFO    - Building initial testcase list...
INFO    - 928 test configurations selected, 925 configurations discarded due to filters.
INFO    - Adding tasks to the queue...

ERROR   - qemu_rv32_virt            tests/kernel/smp/kernel.multiprocessing.smp        FAILED: Timeout
ERROR   - see: zephyr/__tmp/sanity-out/qemu_rv32_virt/tests/kernel/smp/kernel.multiprocessing.smp/handler.log
INFO    - Total complete:    1/   3  33%  skipped:    0, failed:    1
ERROR   - qemu_rv32_virt            tests/kernel/spinlock/kernel.multiprocessing.spinlock FAILED: Failed
ERROR   - see: zephyr/__tmp/sanity-out/qemu_rv32_virt/tests/kernel/spinlock/kernel.multiprocessing.spinlock/handler.log
INFO    - Total complete:    3/   3  100%  skipped:    0, failed:    2
INFO    - 1 of 3 tests passed (33.33%), 2 failed, 925 skipped with 0 warnings in 72.61 seconds
INFO    - In total 13 test cases were executed on 1 out of total 292 platforms (0.34%)
INFO    - 2 tests executed on platforms, 1 tests were only built.

いくつかのテストが FAILED している、すなわちデグレードしていることを示していますが、ひとまずテストは実行できました。次回はデグレードした箇所を直します。

[編集者: すずき]
[更新: 2020年 10月 18日 03:24]

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link もっと前
   2020年 10月 17日 -
      2020年 10月 17日  
link もっと後

管理用メニュー

link 記事を新規作成

合計:  counter total
本日:  counter today

link About www.katsuster.net
RDF ファイル RSS 1.0
QR コード QR コード

最終更新: 10/18 04:44

カレンダー

<2020>
<<<10>>>
----123
45678910
11121314151617
18192021222324
25262728293031

最近のコメント 5件

  • link 20年09月10日
    すずき 「追加情報。最新の Debian Test...」
    (更新:10/07 16:48)
  • link 20年09月20日
    hdk 「最近は音楽聞く時やビデオ視聴時はミニコン...」
    (更新:09/24 21:43)
  • link 20年09月20日
    すずき 「ありゃー、同じ壊れ方ですね。\n新たなヘ...」
    (更新:09/24 00:23)
  • link 20年09月20日
    hdk 「うちのATH-AD300もやはり頭にプラ...」
    (更新:09/23 12:26)
  • link 20年07月10日
    すずき 「鳥のゲームは知りませんでした。色々やって...」
    (更新:08/11 18:59)

最近の記事 3件

link もっとみる
  • link 20年02月22日
    すずき 「[Zephyr を調べる - まとめリンク] 日記が増えすぎて、一...」
    (更新:10/18 04:44)
  • link 20年10月18日
    すずき 「[Zephyr OS で遊ぼう その 27 - SMP 対応、] ...」
    (更新:10/18 04:43)
  • link 20年10月17日
    すずき 「[Zephyr OS で遊ぼう その 26 - SMP 対応、] ...」
    (更新:10/18 03:24)

こんてんつ

open/close wiki
open/close Java API

過去の日記

open/close 2002年
open/close 2003年
open/close 2004年
open/close 2005年
open/close 2006年
open/close 2007年
open/close 2008年
open/close 2009年
open/close 2010年
open/close 2011年
open/close 2012年
open/close 2013年
open/close 2014年
open/close 2015年
open/close 2016年
open/close 2017年
open/close 2018年
open/close 2019年
open/close 2020年
open/close 過去日記について

その他の情報

open/close アクセス統計
open/close サーバ一覧
open/close サイトの情報