Benchmarks for Reasoning Shortcuts:
When Machine Learning Concepts Go Astray
Overview
Lorem ipsum dolor sit amet. Et fugit consequatur qui enim suscipit et recusandae animi id ipsam voluptatem qui assumenda molestiae aut corporis eaque et quibusdam unde! Aut dolorum molestiae et fuga exercitationem qui blanditiis unde rem explicabo deserunt ut mollitia molestiae qui sapiente sapiente ad nemo sint. Eum incidunt neque et iure galisum eos molestias perspiciatis qui nesciunt ullam est laudantium fuga.
Ea laboriosam laudantium eum facilis assumenda ea corporis quia vel eius ipsam et rerum explicabo. Est maxime blanditiis ex dicta odio in velit galisum non impedit aliquam aut mollitia similique ut placeat deleniti quo tempore dolor.
Sed dolorem dignissimos et nobis tempore et dolorum dolores id dolores atque. Eum sequi distinctio est fuga impedit sed laboriosam illum. Ea aperiam doloremque ex commodi modi eos explicabo laboriosam.
Ut minus illo et minima aperiam quo eaque repellendus. In minus labore eos enim maiores eum error exercitationem.
BOIA
Lorem ipsum dolor sit amet. Et fugit consequatur qui enim suscipit et recusandae animi id ipsam voluptatem qui assumenda molestiae aut corporis eaque et quibusdam unde! Aut dolorum molestiae et fuga exercitationem qui blanditiis unde rem explicabo deserunt ut mollitia molestiae qui sapiente sapiente ad nemo sint. Eum incidunt neque et iure galisum eos molestias perspiciatis qui nesciunt ullam est laudantium fuga.
Ea laboriosam laudantium eum facilis assumenda ea corporis quia vel eius ipsam et rerum explicabo. Est maxime blanditiis ex dicta odio in velit galisum non impedit aliquam aut mollitia similique ut placeat deleniti quo tempore dolor.
Sed dolorem dignissimos et nobis tempore et dolorum dolores id dolores atque. Eum sequi distinctio est fuga impedit sed laboriosam illum. Ea aperiam doloremque ex commodi modi eos explicabo laboriosam.
Architecture
Lorem ipsum dolor sit amet. Et fugit consequatur qui enim suscipit et recusandae animi id ipsam voluptatem qui assumenda molestiae aut corporis eaque et quibusdam unde! Aut dolorum molestiae et fuga exercitationem qui blanditiis unde rem explicabo deserunt ut mollitia molestiae qui sapiente sapiente ad nemo sint. Eum incidunt neque et iure galisum eos molestias perspiciatis qui nesciunt ullam est laudantium fuga.
Ea laboriosam laudantium eum facilis assumenda ea corporis quia vel eius ipsam et rerum explicabo. Est maxime blanditiis ex dicta odio in velit galisum non impedit aliquam aut mollitia similique ut placeat deleniti quo tempore dolor.
Results
Lorem ipsum dolor sit amet. Et fugit consequatur qui enim suscipit et recusandae animi id ipsam voluptatem qui assumenda molestiae aut corporis eaque et quibusdam unde! Aut dolorum molestiae et fuga exercitationem qui blanditiis unde rem explicabo deserunt ut mollitia molestiae qui sapiente sapiente ad nemo sint. Eum incidunt neque et iure galisum eos molestias perspiciatis qui nesciunt ullam est laudantium fuga.
| Table header | Table header | Table header |
|---|---|---|
| Item | True | 1 |
| Item | True | 2 |
| Item | False | 3 |
| Item | False | 4 |
Download
The datasets can be downloaded here…